注意：

• 有时开源的weights url可能会变更。如果上述weights url失效，请根据原工程相应的branch以及commit版本寻找正确的下载链接
• 若上述weights url永久失效，请联系本模型库相关人员获取权限下载

# 在此模型根目录
mkdir 0_AiATrack
git clone -b main https://github.com/Little-Podi/AiATrack 0_AiATrack
cd 0_AiATrack
git checkout cdb3a4e

# 在此模型根目录
cd 1_scripts
python 1_save.py

保存模型时的修改点： - backbone - 去除backbone embeding前处理计算部分，仅保留resnet50模型结果 - 将`norm_layer`由***FrozenBatchNorm2d***改为***nn.BatchNorm2d***； - 将*backbone*(*Joiner*类)及其下*BackboneBase*类的输入和输出格式统一改为`Tensor`; - 去除*BackboneBase*中的`mask`相关内容，移至*网络外*作为前处理计算 - 去除以*backbone*输出为输入的*adjust*函数中的`mask`, `pos_embed`, `inr_embed`相关内容，移至*网络外*作为前处理计算，并将其输入和输出格式统一改为`Tensor`。

• transformer

  • 去除TransformerEncoder和TransformerEncoderLayer输入参数中的src_key_padding_mask（实际未使用）；
  • 去除TransformerDecoder和TransformerDecoderLayer输入参数中的refer_msk_list（实际未使用）；
  • 将TransformerDecoderLayer中对refer_mem_list, refer_emb_list, refer_pos_list的torch.cat操作移至网络外作为前处理计算；
  • 将AiAModule.CorrAttention中对pos_emb的torch.repeat_interleave操作移至网络外作为前处理计算；
  • 精简AiAModule.forward中一些未使用的输入参数和if/else分支语句。

• box_head

  • 在init函数中新增一个shape为(feat_size*feat_size, 1)、值均为1.0的float类型Tensor；
  • 将soft_argmax函数中的torch.sum函数改为与上述新增的常量Tensor进行torch.matmul操作；
  • 将forward函数中的torch.stack函数改为torch.cat和reshape;
  • 将以box_head输出为输入的box_xyxy_to_xywh, box_xyxy_to_cxcywh函数计算移至网络外作为后处理计算。

• iou_head

  • ​ 去除Prpool部分

2_save_infer.py >用修改后保存的模型做前向推理，验证保存的模型与原模型是否一致

2.使用Icraft编译器编译模型

目的： 使用Icraft编译器将上一步保存好的框架模型转化为硬件可部署模型

• 1）相关命名说明：

  1）fmodel：frame model >用于Icraft编译器的框架模型

  2）imodel：icraft model >用Icraft编译器编译出的模型

  3）qtset：Quantitative Calibration Set >Icraft编译器所需的量化校准集

• 2）确认已安装正确的icraft版本

  检查方法：打开cmd运行：icraft --version

  若已正常安装则会显示当前icraft版本，例如：

  Icraft 版本:
   * 3.31.0
  
  CLI 版本:
  3.31.0.0-8639261(2507031119)
  
  

• 3）执行编译：

  在 /2_compile目录下执行编译：

  icraft compile config/BY/AiATrack_8.toml
  
  

  如果过程顺利，将得到 icraft model（以 .json （graph）.raw（param）的格式保存）

  其中包括编译各阶段产生的中间结果模型和最终用于片上部署的BY模型，直接被保存到: 3_deploy/modelzoo/AiATrack/imodel

3. 仿真

通过配置3_deploy/modelzoo/AiATrack/cfg/中yaml文件的run_backend字段为host实现模型仿真。

imodel:
  ...
  run_backend: host
  ...

4. 部署模型

部署环境检查

• 以root账户登录片上系统terminal（ssh或串口皆可），模型库默认的模型存放路径为以下目录，如果没有请预先创建：

/home/fmsh/ModelZoo/

• 检查板上环境是否正确：

  1. 查看环境变量，指令： icraft --version

     看打印信息是否如下：

     Icraft 版本:
     * v3.31.0
     
     CLI 版本:
     3.31.0.0-8639261(2507031119)
     
     

  2. 若是，在任意目录下输入icraft-serve即可打开server

  3. 检查icraft和customop安装包版本是否为arm64

     # 检查icraft安装包版本
     dpkg -l | grep icraft
     # 检查customop安装包版本
     dpkg -l | grep customop
     
     

     如果依次显示如下信息，则安装版本正确：

     ii  icraft                         3.31.0                             arm64        This is Icraft for arm64
     ii  customop                       3.31.0                             arm64        This is Icraft CustomOp for arm64
     
     

  4. 如果环境配置有误，请参考Part 1_1 2.3.1 ARM-Linux（片上系统环境） 编译环境准备进行部署环境配置。

  5. 根据此模型使用的硬算子，选择合适的位流，并在板上安装，所用硬算子及可选位流版本可参见本说明文档起始处的状态徽章，位流下载及安装说明请参考1/4) 其他下载资源。

python runtime:

目的：在AI硬件上执行模型前向推理

1. python运行虚拟环境要求与准备

   • python版本：3.8（否则无法使用icraft的python API）

   • 确保已安装icraft的python安装包

     • socket模式使用：pip install icraft-3.x.x-cp38-none-win_amd64.whl
     • axi模式使用：pip install icraft-3.x.x-cp38-none-manylinux2014_aarch64.whl

   • 在选定的python运行虚拟环境中安装python运行时所需要的依赖包

     cd 3_deploy/modelzoo/AiATrack
     pip install -r requirements.txt
     
     

   • 安装一些便于开发pyrt的依赖包

     cd 3_deploy/Deps/modelzoo
     pip install -e .
     
     

     由于python运行时代码在引入依赖包时候已经通过sys.path.append(R"../../../Deps/modelzoo")将一些便于开发pyrt的依赖包加入到了系统路径下，因此可以不用执行该步骤即可直接运行2.执行程序。这里提供额外的[pip install -e .]安装方式是为了在python运行时代码时候方便进行pyrtutils的依赖跳转。

2. 执行程序

   # Windows系统下：
   python ./AiATrack_psin.py ../cfg/AiATrack.yaml
   # Linux系统下：
   python icraft_launcher.py ./AiATrack_psin.py ../cfg/AiATrack.yaml
   
   

   在io/output中查看结果

5. 精度测试

1. 环境准备

若已准备好环境请跳过此部分

1. 网口调试环境准备（如果已经准备好网口调试环境则看下一条）

1. 安装ssh

2. 查看或配置板子ip

   • 使用串口连接板子
   • vim /etc/rc.local
   • 查看或设置ip

   #!/bin/bash
   ifconfig eth0 192.168.125.171 netmask 255.255.255.0
   systemctl start sshd
   
   

3. 修改本地网络适配器配置

   参考配置

   • ipv4地址：192.168.125.2
   • 子网掩码：255.255.255.0
   • 默认网关：192.168.125.1
   • 连接速度与双工：100mbps全双工

4. 使用网口或串口进入板上系统打开server

   上位机：

   ssh root@192.168.125.171
   
   

   板上： 确保位于root账户下，执行：

   icraft-serve
   
   

   • 请确保在root账户下执行上述命令
   • 设备成功打开示意图

   root@U:~# icraft-serve
   [02/22/24 02:02:00.388] [I] Using port : 9981
   [02/22/24 02:02:00.388] [I] synchronous mode
   [02/22/24 02:02:00.388] [I] [irpc::port::tcp::_waitNewConn] wait for new connection
   
   

   如果能正确运行则可以继续下一步。

2. 测试说明

1.数据集准备

• 测试数据集下载：LaSOT
• 模型测试使用LaSOT数据集中随机抽取的部分数据集，测试序列存放于 3_deploy\modelzoo\AiATrack\io\input及 3_deploy\modelzoo\AiATrack\io\test.txt中
• 如需测试其他数据集，需自行将图片存放于 3_deploy\modelzoo\AiATrack\io\input,并准备对应的input.txt

2.修改 运行时的yaml配置文件：

运行时需要配置一些模型路径，输入数据，后处理参数等，其配置文件在 3_deploy/modelzoo/AiATrack/cfg/

测试时使用：AiATrack_psin.yaml

需要修改：

• imodel中参数：修改精度测试所用模型文件路径dir，根据所使用板子ip设置ip。
• dataset中参数：更改自己的精度测试数据集路径。
• param中参数：如果模型没有重训，则无需更改，若 重训则需要修改对应部分参数。

3.编译、执行运行时程序

cd 3_deploy/modelzoo/AiATrack/pyrt
# Windows系统下：
python ./AiATrack_psin.py ../cfg/AiATrack_test.yaml
# Linux系统下：
python icraft_launcher.py ./AiATrack_psin.py ../cfg/AiATrack_test.yaml

4.使用metrics测试脚本，将保存的测试结果计算出精度指标

metrics测试脚本使用与配置说明：

• 精度测试脚本存放于：https://gitee.com/mxh-spiger/benchmark
• 本模型使用 ./sot_track/analysis_results.py

6.模型性能记录

时间测试结果如下

AiATrack	input shape	hard time
float	[1, 320, 320, 3]	-
int8	[1, 320, 320, 3]	91.605ms
int16	[1, 320, 320, 3]	183.452ms

精度测试结果如下：

AiATrack	qt_strategy	AUC	Precision	Norm Precision
float	-	65.74	71.69	76.23
8bit	null-pc	58.72	61.62	69.96
16bit	null-pc	59.08	63.69	69.64