drl-sac

0. 文件结构说明

AI部署模型需要以下几部分文件

• 0_sac >模型原始工程，需要自行下载
• weights >存放原始权重，需要自行下载
• 1_scripts >若干脚本，用于保存AI编译器需要的模型
• 2_compile >AI编译器编译模型时所需要的文件
• 3_deploy >将AI编译器编译出的模型部署到硬件时需要的c++工程

1. python工程准备

1. 模型来源：

• code：https://github.com/DLR-RM/rl-baselines3-zoo.git
• branch：master
• commit_id：27e081e
• weights：https://download.fdwxhb.com/data/04_FMSH-100AI/100AI/04_modelzoo/modelzoo_pub/weights/pytorch/sac

2. 保存模型

目的：将模型保存成可以被AI编译器编译的形态

1）根据模型来源中的地址：

下载原始weights，存放于 /weights文件夹中

# 在此模型根目录
mkdir 0_sac
git clone -b master https://github.com/DLR-RM/rl-baselines3-zoo.git 0_sac
cd 0_sac
git checkout 27e081e

3）进入1_scripts执行保存模型脚本

# 在此模型根目录
cd 1_scripts
python 1_save.py

1_scripts提供脚本说明：

• 0_infer.py >可以推理一张图并得到最终结果，模型原始权重会从 /weights 中寻找，需要您预先下载
• 1_save.py >保存模型与ONNX输入，保存为onnx模型，存放在：\3_deploy\modelzoo\sac\imodel , 输出存放在：\3_deploy\modelzoo\sac\io
• 2_save_infer.py >用修改后保存的模型做前向推理，验证保存的模型与原模型是否一致

2.编译环境准备

请参考2.1Windows编译环境准备进行精度测试环境配置。

• os: windows

• cmake3.28

• visualstudio2022

3.使用AI编译器编译模型

目的： 使用Icraft AI编译器将上一步保存好的框架模型转化为硬件可部署模型

• 1）相关命名说明：

  1）fmodel：frame model >用于ai编译器的框架模型

  2）imodel：icraft model >用icraft编译出的模型

  3）qtset：Quantitative Calibration Set >量化校准集

• 2）确认已安装正确的icraft版本

  检查方法：打开cmd运行：icraft --version

  若已正常安装则会显示当前icraft版本，例如：

  Icraft 版本:
   * 3.30.0
  CLI 版本:
  3.30.0.0-4be6386(2503281652)
  
  

• 3）执行编译：

  在 /2_compile目录下执行编译：

  icraft compile config/sac_carracing.toml
  
  

  如果过程顺利，将得到 icraft model（以 `.json` （graph）`.raw`（param）的格式保存）
  
  其中包括编译各阶段产生的中间结果模型和最终用于片上部署的BY模型，直接被保存到:  3_deploy/modelzoo/sac_carracing/imodel/ZG/int8
  

4. 部署模型

python runtime:

目的：在AI硬件上执行模型前向推理

1. python运行虚拟环境要求与准备

   • python版本：3.8（否则无法使用icraft的python API）

   • 确保已安装icraft的python安装包

     • socket模式使用：pip install icraft-3.x.x-cp38-none-win_amd64.whl
     • axi模式使用：pip install icraft-3.x.x-cp38-none-manylinux2014_aarch64.whl

   • 在选定的python运行虚拟环境中安装python运行时所需要的依赖包

     cd 3_deploy/modelzoo/sac
     pip install -r requirements.txt
     
     

   • 安装一些便于开发pyrt的依赖包

     cd 3_deploy/Deps/modelzoo
     pip install -e .
     
     

     由于python运行时代码在引入依赖包时候已经通过sys.path.append(R"../../../Deps/modelzoo")将一些便于开发pyrt的依赖包加入到了系统路径下，因此可以不用执行该步骤即可直接运行2.执行程序。这里提供额外的[pip install -e .]安装方式是为了在python运行时代码时候方便进行pyrtutils的依赖跳转。

2. 执行程序

   • 修改pyrt文件夹中sac.py第158和第159行中变量JSON_PATH和RAW_PATH

   • 执行以下命令

     cd pyrt
     python ./sac.py
     
     

可以运行算法与环境交互

5. 精度测试

执行以下命令

cd pyrt
python ./sac.py

最终得分将显示在terminal中

6. 模型性能记录

以下int8、bf16、tf32均为quantize仿真精度，目前ZG上测得hard time相较于BY变长的原因是，pl和ps之间的数据搬移也由icore完成，实际网络主体部分耗时须将数据搬移算子去除