bert

本分支上的模型库文件与 icraft3.31.0 版本适配，部署时对应使用 25060601 版本位流，硬件后端 仅 支持 BUYI，即：

1. 各模型2_compile/config目录下 仅支持 编译 BY 文件夹下的toml文件；
2. 各模型3_deploy/modelzoo/MODEL/cfg目录下的yaml文件中， run_backend 字段 仅支持 配置为 host 或 buyi 。
3. 模型下载后，切换至对应版本分支后执行

# 在模型根目录下
git submodule update --init

0. 文件结构说明

AI部署模型需要以下几部分文件

• weights >存放原始权重，需要自行下载
• 1_scripts >若干脚本，用于保存Icraft编译器需要的模型、编译后仿真等功能
• 2_compile >Icraft编译器编译模型时所需要的文件
• 3_deploy >将Icraft编译器编译出的模型部署到硬件时需要的python工程

1. python工程准备

1. 模型来源：

• code：
• branch：
• commit_id：
• weights：https://huggingface.co/google-bert/bert-base-cased/tree/main

2. 保存模型

目的：将模型保存成可以被Icraft编译器编译的形态

1）根据模型来源中的地址：https://huggingface.co/google-bert/bert-base-cased/tree/main，下载原始weights，存放于 /weights文件夹中

• 环境要求：Icraft编译器对导出框架模型时使用的框架版本有要求。即以下脚本中所有导出模型的脚本1_save.py ，必须在要求的框架版本下执行，其他脚本不限制。要求的版本：

  • pytorch：支持pytorch1.9.0、pytorch2.0.1两个版本的原生网络模型文件（.pt格式），以及pytorch框架保存为onnx（opset=17）格式的模型文件（.onnx格式）
  • paddle：仅支持PaddlePaddle框架保存为onnx（opset=11）格式的模型文件（.onnx格式），不支持框架原生网络模型文件
  • darknet：支持Darknet框架原生网络模型GitHub - pjreddie/darknet: Convolutional Neural Networks

• 0_infer.py >可以推理一句话并得到最终结果，模型原始权重会从 /weights 中寻找，需要您预先下载

• 1_save.py >保存模型，保存好的用于Icraft编译器的模型，会存放在 /2_compile/fmodel

  保存模型时的修改点：
  1. BertModel前向进行替换
  2. BertForMaskedLM前向进行替换
  

• 2_save_infer.py >用修改后保存的模型做前向推理，验证保存的模型与原模型是否一致

2.使用Icraft编译器编译模型

目的： 使用Icraft编译器将上一步保存好的框架模型转化为硬件可部署模型

• 1）相关命名说明：

  1）fmodel：frame model >用于Icraft编译器的框架模型

  2）imodel：icraft model >用Icraft编译器编译出的模型

  3）qtset：Quantitative Calibration Set >Icraft编译器所需的量化校准集

• 2）确认已安装正确的icraft版本

  检查方法：打开cmd运行：icraft --version

  若已正常安装则会显示当前icraft版本，例如：

  Icraft 版本:
   * 3.31.0
  
  CLI 版本:
  3.31.0.0-8639261(2507031119)
  
  

• 3）执行编译：

  在 /2_compile目录下执行编译：

  icraft compile config/BY/bert_mask_8.toml
  
  

  如果过程顺利，将得到 icraft model（以 `.json` （graph）`.raw`（param）的格式保存）
  
  其中包括编译各阶段产生的中间结果模型和最终用于片上部署的BY模型，直接被保存到:  3_deploy/modelzoo/bert/imodel
  

3. 仿真

在1_scripts目录下运行1_scripts下的sim.py文件进行仿真

结果：

Tnput text: I want to [MASK] a new car.
Completed text: I want to buy a new car.

4. 部署模型

部署环境检查

• 以root账户登录片上系统terminal（ssh或串口皆可），模型库默认的模型存放路径为以下目录，如果没有请预先创建：

/home/fmsh/ModelZoo/

• 检查板上环境是否正确：

  1. 查看环境变量，指令： icraft --version

     看打印信息是否如下：

     Icraft 版本:
     * v3.31.0
     
     CLI 版本:
     3.31.0.0-8639261(2507031119)
     
     

  2. 若是，在任意目录下输入icraft-serve即可打开server

  3. 检查icraft和customop安装包版本是否为arm64

     # 检查icraft安装包版本
     dpkg -l | grep icraft
     # 检查customop安装包版本
     dpkg -l | grep customop
     
     

     如果依次显示如下信息，则安装版本正确：

     ii  icraft                         3.31.0                             arm64        This is Icraft for arm64
     ii  customop                       3.31.0                             arm64        This is Icraft CustomOp for arm64
     
     

  4. 如果环境配置有误，请参考Part 1_1 2.3.1 ARM-Linux（片上系统环境） 编译环境准备进行部署环境配置。

  5. 根据此模型使用的硬算子，选择合适的位流，并在板上安装，所用硬算子及可选位流版本可参见本说明文档起始处的状态徽章，位流下载及安装说明请参考1/4) 其他下载资源。

python runtime:

目的：在AI硬件上执行模型前向推理

1. python运行环境要求与准备

   • python版本：3.8（否则无法使用icraft的python API）

   • 确保已安装icraft的python安装包

     • socket模式使用：pip install icraft-3.x.x-cp38-none-win_amd64.whl
     • axi模式使用：pip install icraft-3.x.x-cp38-none-manylinux2014_aarch64.whl

   • 安装python运行时所需要的依赖包

     cd 3_deploy/modelzoo/bert
     pip install -r requirements.txt
     
     

2. 执行程序

   # Windows系统下：
   python ./bert.py ../cfg/bert.yaml
   # Linux系统下：
   python icraft_launcher.py ./bert.py ../cfg/bert.yaml
   
   

   在终端查看结果

5. 模型性能记录