RegNetX-1.6GF

0. 文件结构说明

AI部署模型需要以下几部分文件

0_RegNetX-1.6GF >模型原始工程，需要自行下载(本模型无需准备此文件夹)
weights >存放原始权重，需要自行下载
1_scripts >若干脚本，用于保存AI编译器需要的模型、编译后仿真等功能
2_compile >AI编译器编译模型时所需要的文件
3_deploy >将AI编译器编译出的模型部署到硬件时需要的c++工程

1. python工程准备

python convert.py ......\weights\RepVGGplus-L2pse-train256-acc84.06.pth ......\weights\RepVGGplus-L2pse-deploy.pth -a RepVGGplus-L2pse

1. 模型来源：

code：https://github.com/pytorch/vision/blob/main/torchvision/models/RegNetX-1.6GFv2.py
branch：main
commit_id：f02caa5
weights：https://download.pytorch.org/models/RegNetX-1.6GFv2_x1-5666bf0f80.pth

2. 保存模型

目的：将模型保存成可以被AI编译器编译的形态

1）根据模型来源中的地址：https://download.pytorch.org/models/RegNetX-1.6GFv2_x1-5666bf0f80.pth ，下载原始weights，存放于 /weights文件夹中

注意：

有时开源的weights url可能会变更。如果上述weights url失效，请根据原工程相应的branch以及commit版本寻找正确的下载链接
若上述weights url永久失效，请联系本模型库相关人员获取权限下载

2）进入1_scripts执行保存模型脚本

# 在此模型根目录
cd 1_scripts
python 1_save.py

1_scripts提供脚本说明：

环境要求：AI compiler对导出框架模型时使用的框架版本有要求。既以下脚本中所有导出模型的脚本1_save.py ，必须在要求的框架版本下执行，其他脚本不限制。要求的版本：
- pytorch：支持pytorch1.9.0、pytorch2.0.1两个版本的原生网络模型文件（.pt格式），以及pytorch框架保存为onnx（opset=17）格式的模型文件（.onnx格式）
- paddle：仅支持PaddlePaddle框架保存为onnx（opset=11）格式的模型文件（.onnx格式），不支持框架原生网络模型文件
- darknet：支持Darknet框架原生网络模型GitHub - pjreddie/darknet: Convolutional Neural Networks
0_infer.py >可以推理一张图并得到最终结果，模型原始权重会从 /weights 中寻找，需要您预先下载
1_save.py >保存模型，保存好的用于AI编译器的模型，会存放在 /2_compile/fmodel
2_save_infer.py >用保存的模型做前向推理，验证保存的模型与原模型是否一致

2.使用AI编译器编译模型

目的：使用Icraft AI编译器将上一步保存好的框架模型转化为硬件可部署模型

1）相关命名说明：

1）fmodel：frame model >用于ai编译器的框架模型

2）imodel：icraft model >用icraft编译出的模型

3）qtset：Quantitative Calibration Set >量化校准集

2）确认已安装正确的icraft版本

检查方法：打开cmd运行：icraft --version

若已正常安装则会显示当前icraft版本，例如：

Icraft 版本:
 * 3.7.1

CLI 版本:
3.7.0.0-a90988f(2412231401)

3）执行编译：

在 /2_compile目录下执行编译：

icraft compile config/RegNetX-1.6GFv2_8.toml

如果过程顺利，将得到 icraft model（以 `.json` （graph）`.raw`（param）的格式保存）

其中包括编译各阶段产生的中间结果模型和最终用于片上部署的BY模型，直接被保存到:  3_deploy/modelzoo/RegNetX-1.6GF/imodel

3. 仿真

通过配置3_deploy/modelzoo/RegNetX-1.6GF/cfg/中yaml文件的sim字段为True实现模型仿真。

imodel:
   ...
   sim: true
   ...

4. 部署模型

部署环境检查

以root账户登录片上系统terminal（ssh或串口皆可），模型库默认的模型存放路径为以下目录，如果没有请预先创建：

/home/fmsh/ModelZoo/

检查板上环境是否正确：

查看环境变量，指令： icraft --version

看打印信息是否如下：

Icraft 版本:
* v3.7.1

CLI 版本:
3.7.0.0-a90988f(2412231401)

若是，在任意目录下输入icraft-serve即可打开server

检查icraft和customop安装包版本是否为arm64

# 检查icraft安装包版本
dpkg -l | grep icraft
# 检查customop安装包版本
dpkg -l | grep customop

如果依次显示如下信息，则安装版本正确：

ii  icraft                         3.7.1                             arm64        This is Icraft for arm64
ii  customop                       3.7.1                             arm64        This is Icraft CustomOp for arm64

如果环境配置有误，请参考Part 1_1 2.3.1 片上系统环境编译环境准备进行部署环境配置。
根据此模型使用的硬算子，选择合适的位流，并在板上安装，所用硬算子及可选位流版本可参见本说明文档起始处的状态徽章，位流下载及安装说明请参考1/4) 其他下载资源。

c++ runtime:

目的：编译c/c++可执行程序，在AI硬件上执行模型前向推理

模型库以ubuntu操作系统为例：

编译环境准备

os: ubuntu20.04
cmake>=3.10
compiler: aarch64-linux-gnu-g++/aarch64-linux-gnu-gcc 编译c++程序

#在3.1所需的linux编译环境中
cd 3_deploy/modelzoo/RegNetX-1.6GF/build_arm
cmake ..
make -j

执行程序

cd /home/fmsh/ModelZoo/modelzoo/RegNetX-1.6GF/build_arm
chmod 777 *
./RegNetX-1.6GF ../cfg/RegNetX-1.6GF.yaml

在io/output中查看结果

5. 精度测试

由于精度测试需要遍历一个数据集中的所有图片，因此需要使用上位机作为主控操作系统（demo中是按windows作为上位机操作系统来做的），使用网口连接板子，运行时输入数据会通过上位机经由网口传到片上进行推理。

1. 环境准备

若已准备好环境请跳过此部分

1. 网口调试环境准备（如果已经准备好网口调试环境则看下一条）

安装ssh

查看或配置板子ip

使用串口连接板子
vim /etc/rc.local
查看或设置ip

#!/bin/bash
ifconfig eth0 192.168.125.171 netmask 255.255.255.0
systemctl start sshd

修改本地网络适配器配置

参考配置
- ipv4地址：192.168.125.2
- 子网掩码：255.255.255.0
- 默认网关：192.168.125.1
- 连接速度与双工：100mbps全双工

使用网口或串口进入板上系统打开server

上位机：

ssh root@192.168.125.171

板上：确保位于root账户下，执行：

icraft-serve

请确保在root账户下执行上述命令
设备成功打开示意图

root@U:~# icraft-serve
[02/22/24 02:02:00.388] [I] Using port : 9981
[02/22/24 02:02:00.388] [I] synchronous mode
[02/22/24 02:02:00.388] [I] [irpc::port::tcp::_waitNewConn] wait for new connection

如果能正确运行则可以继续下一步。

2.编译环境准备

请参考2.1Windows编译环境准备进行精度测试环境配置。

2. 测试说明

如果使用了icorepost硬算子（如果未使用则忽略此条）

1）修改customop toml customop toml 既 config\customop\xxmodel.toml

需要将该文件中的thr_f配置成0.001

[ImageMake]
no_imkpad = 0

[DetPost]
thr_f = 0.001 # 阈值
cmp_en = 1  # 是否做阈值比较

groups = 3
anchor_num = 3
position = 5

2）重新进行模型编译

icraft compile config/RegNetX-1.6GFv2_8.toml

由于测精度程序由上位机控制，生成的imodel不用再复制到板子中

数据集准备

测试数据集下载：ImageNet
模型测试使用ImageNet数据集的Val部分，测试图片存放于 3_deploy\modelzoo\RegNetX-1.6GF\io\input及3_deploy\modelzoo\RegNetX-1.6GF\io\ImageNet2012_Test5000_imgList.txt中
如需测试其他数据集，需自行将图片存放于3_deploy\modelzoo\RegNetX-1.6GF.0\io\input,并准备对应的input.txt

修改运行时的yaml配置文件：

运行时需要配置一些模型路径，输入数据，后处理参数等，其配置文件在3_deploy/modelzoo/RegNetX-1.6GF/cfg/

测试时使用：RegNetX-1.6GF_test.yaml

需要修改：
- imodel中参数：修改精度测试所用模型文件路径dir，根据所使用板子ip设置ip。
- dataset中参数：更改自己的精度测试数据集路径。
- param中参数：如果模型没有重训，则无需更改，若重训则需要修改对应部分参数。
编译、执行运行时程序

cd 3_deploy/modelzoo/RegNetX-1.6GF
mkdir build_win
cd build_win
cmake ..
cmake --build . --config Release
./Release/RegNetX-1.6GF.exe ../cfg/RegNetX-1.6GF_test.yaml

注意：如果使用visualstudio打开sln进行调试，需要右键工程-属性-调试-环境中配置./Release/RegNetX-1.6GF.exe ../cfg/RegNetX-1.6GF_test.yaml

使用metrics测试脚本，将保存的测试结果计算出精度指标

metrics测试脚本使用与配置说明：

精度测试脚本存放于：https://gitee.com/mxh-spiger/benchmark
本模型使用./topn/topn_acc.py
result_txt字段设置为片上系统预测结果存放路径

6. 模型性能记录

RegNetX-1.6GF

Model card

RegNetX-1.6GF

0. 文件结构说明

1. python工程准备

1. 模型来源：

2. 保存模型

2.使用AI编译器编译模型

3. 仿真

4. 部署模型

部署环境检查

c++ runtime:

5. 精度测试

1. 环境准备

2. 测试说明

6. 模型性能记录