Hugging Peers

MPIIGaze

☆ Save
by AIBS
2 downloads 0 likes on ModelScope updated

Model card

MPIIGaze

version author
metrics speed
OS

本分支上的模型库文件与 icraft3.31.0 版本适配，部署时对应使用 25060601 版本位流，硬件后端 仅 支持 BUYI，即：

  1. 模型2_compile/config目录下 仅支持 编译 BY 文件夹下的toml文件；
  2. 模型3_deploy/modelzoo/MODEL/cfg目录下的yaml文件中， run_backend 字段 仅支持 配置为 host 或 buyi 。

0. 文件结构说明

AI部署模型需要以下几部分文件

  • 0_MPIIGaze >模型原始工程，需要自行下载
  • weights >存放原始权重，需要自行下载
  • 1_scripts >若干脚本，用于保存Icraft编译器需要的模型、编译后仿真等功能
  • 2_compile >Icraft编译器编译模型时所需要的文件
  • 3_deploy >将Icraft编译器编译出的模型部署到硬件时需要的c++工程

1. python工程准备

1. 模型来源：

  • code：https://github.com/hysts/pytorch_mpiigaze.git
  • branch：master
  • commit_id：2a31a6c
  • weights：https://github.com/hysts/pytorch_mpiigaze_demo/releases/download/v0.1.0/mpiigaze_resnet_preact.pth

2. 保存模型

目的：将模型保存成可以被Icraft编译器编译的形态

1）根据模型来源中的地址：https://github.com/hysts/pytorch_mpiigaze_demo/releases/download/v0.1.0/mpiigaze_resnet_preact.pth ，下载原始weights，存放于 /weights文件夹中

注意：
  • 有时开源的weights url可能会变更。如果上述weights url失效，请根据原工程相应的branch以及commit版本寻找正确的下载链接
  • 若上述weights url永久失效，请联系本模型库相关人员获取权限下载
2）根据模型来源中的地址，下载指定commit id版本的源代码，文件夹名称要设置为：0_MPIIGaze 
# 在此模型根目录
mkdir 0_MPIIGaze
git clone -b master https://github.com/hysts/pytorch_mpiigaze 0_MPIIGaze
cd 0_MPIIGaze
git checkout 2a31a6c

3）根据源码readme构建环境，进入0_MPIIGaze/，打开wsl环境，运行bash scripts/download_dlib_model.sh下载shape_predictor_68_face_landmarks.dat，下载好后该文件会放在0_MPIIGaze/data/dlib/目录下。

4）将1_scripts中的脚本复制到0_MPIIGaze路径下，在0_MPIIGaze路径下执行保存模型脚本，会将保存好的模型放在2_compile/fmodel路径下。

# 在此模型根目录
cd 0_MPIIGaze
python 1_save.py

1_scripts提供脚本说明：

  • 环境要求：Icraft编译器对导出框架模型时使用的框架版本有要求。即以下脚本中所有导出模型的脚本 1_save.py ，必须在要求的框架版本下执行，其他脚本不限制。要求的版本：

    • pytorch：支持pytorch1.9.0、pytorch2.0.1两个版本的原生网络模型文件（.pt格式），以及pytorch框架保存为onnx（opset=17）格式的模型文件（.onnx格式）
    • paddle：仅支持PaddlePaddle框架保存为onnx（opset=11）格式的模型文件（.onnx格式），不支持框架原生网络模型文件
    • darknet：支持Darknet框架原生网络模型GitHub - pjreddie/darknet: Convolutional Neural Networks

  • 0_infer.py >可以推理一张图并得到最终结果，模型原始权重会从 /weights 中寻找，需要您预先下载

  • 1_save.py >保存模型，保存好的用于Icraft编译器的模型，会存放在 /2_compile/fmodel

    保存模型时的修改点:
    原模型输入为两张灰度眼图拼接后的结果[2,1,36,60]，但Icraft generate不支持此类b=2的情况，因此将输入拆分为[1,1,36,60]，左右眼图分别跑两次前向。

  • 2_save_infer.py >用修改后保存的模型做前向推理，验证保存的模型与原模型是否一致

2.使用Icraft编译器编译模型

目的： 使用Icraft编译器将上一步保存好的框架模型转化为硬件可部署模型

  • 1）相关命名说明：

    1）fmodel：frame model >用于Icraft编译器的框架模型

    2）imodel：icraft model >用Icraft编译器编译出的模型

    3）qtset：Quantitative Calibration Set >Icraft编译器所需的量化校准集

  • 2）确认已安装正确的icraft版本

    检查方法：打开cmd运行：icraft --version

    若已正常安装则会显示当前icraft版本，例如：

    Icraft 版本:
 * 3.31.0

CLI 版本:
3.31.0.0-8639261(2507031119)

  • 3）执行编译：

    在 /2_compile目录下执行编译：

    icraft compile config/BY/MPIIGaze_8.toml

    如果过程顺利，将得到 icraft model（以 .json （graph）.raw（param）的格式保存）

    其中包括编译各阶段产生的中间结果模型和最终用于片上部署的BY模型，直接被保存到: 3_deploy/modelzoo/MPIIGaze/imodel

3. 仿真

通过配置3_deploy/modelzoo/MPIIGaze/cfg/中yaml文件的run_backend字段为host实现模型仿真。

imodel:
  ...
  run_backend: host
  ...

4. 部署模型

部署环境检查

  • 以root账户登录片上系统terminal（ssh或串口皆可），模型库默认的模型存放路径为以下目录，如果没有请预先创建：
/home/fmsh/ModelZoo/
  • 检查板上环境是否正确：

    1. 查看环境变量，指令： icraft --version

      看打印信息是否如下：

      Icraft 版本:
* v3.31.0

CLI 版本:
3.31.0.0-8639261(2507031119)

    2. 若是，在任意目录下输入icraft-serve即可打开server

    3. 检查icraft和customop安装包版本是否为arm64

      # 检查icraft安装包版本
dpkg -l | grep icraft
# 检查customop安装包版本
dpkg -l | grep customop

      如果依次显示如下信息，则安装版本正确：

      ii  icraft                         3.31.0                             arm64        This is Icraft for arm64
ii  customop                       3.31.0                             arm64        This is Icraft CustomOp for arm64

    4. 如果环境配置有误，请参考Part 1_1 2.3.1 ARM-Linux（片上系统环境） 编译环境准备进行部署环境配置。

    5. 根据此模型使用的硬算子，选择合适的位流，并在板上安装，所用硬算子及可选位流版本可参见本说明文档起始处的状态徽章，位流下载及安装说明请参考1/4) 其他下载资源。

python runtime:

目的：在AI硬件上执行模型前向推理

  1. python运行虚拟环境要求与准备

    • python版本：3.8（否则无法使用icraft的python API）

    • 在0_MPIIGaze的python运行虚拟环境中icraft的python安装包：pip install icraft-3.x.x-cp38-none-win_amd64.whl

    • 确保已安装icraft的python安装包

      • socket模式使用：pip install icraft-3.x.x-cp38-none-win_amd64.whl
      • axi模式使用：pip install icraft-3.x.x-cp38-none-manylinux2014_aarch64.whl

    • 运行工程前，需手动将0_MPIIGaze/data/dlib路径下的shape_predictor_68_face_landmarks.dat文件拷贝到3_deploy/modelzoo/MPIIGaze/pyrt/data/dlib路径下。

    • 在选定的python运行虚拟环境中安装python运行时所需要的依赖包

      cd 3_deploy/modelzoo/MPIIGaze
pip install -r requirements.txt

    • 安装一些便于开发pyrt的依赖包

      cd 3_deploy/Deps/modelzoo
pip install -e .
      1.由于python运行时代码在引入依赖包时候已经通过sys.path.append(R"../../../Deps/modelzoo")将一些便于开发pyrt的依赖包加入到了系统路径下，因此可以不用执行该步骤即可直接运行2.执行程序。这里提供额外的[pip install -e .]安装方式是为了在python运行时代码时候方便进行pyrtutils的依赖跳转。

  2. 执行程序

    （1）MPIIGaze_psin.py部署的是源码中的demo.py，即从相机拍摄的图像=》dlib人脸&关键点检测=》视线估计网络的过程；运行前需确保已安装好0_MPIIGaze readme中所需环境，该工程依赖于0_MPIIGaze中的gaze_estimation，其Icraft-python运行时工程执行方法如下：

    # Windows系统下：
python ./MPIIGaze_psin.py ../cfg/MPIIGaze.yaml
# Linux系统下：
python icraft_launcher.py ./MPIIGaze_psin.py ../cfg/MPIIGaze.yaml

    可在io/output中查看结果。

    （2）MPIIGaze_psin_test.py部署的是源码中的evaluate.py，即将MPIIGaze数据集中裁剪好的人眼图像&pose直接输入视线估计网络，输出视线估计结果&精度指标；本工程中的io文件夹中提供预处理好的p00的测试集。如需测试其它人物，可自行下载MPIIGaze数据集，并按照0_MPIIGaze中的readme中数据预处理的方法先处理原始数据集。

    MPIIGaze数据集下载&预处理命令如下：

    cd 0_MPIIGaze
bash scripts/download_mpiigaze_dataset.sh
python tools/preprocess_mpiigaze.py --dataset datasets/MPIIGaze -o datasets/

    Icraft-python运行时工程执行方法如下：

    # Windows系统下：
python ./MPIIGaze_psin_test.py ../cfg/MPIIGaze_psin.yaml
# Linux系统下：
python icraft_launcher.py ./MPIIGaze_psin_test.py ../cfg/MPIIGaze_psin.yaml

    可在io/output中查看精度测试结果。

5. 精度测试

由于精度测试需要遍历一个数据集中的所有图片，因此需要使用上位机作为主控操作系统（demo中是按windows作为上位机操作系统来做的），使用网口连接板子，运行时输入数据会通过上位机经由网口传到片上进行推理。

1. 环境准备

若已准备好环境请跳过此部分

1. 网口调试环境准备（如果已经准备好网口调试环境则看下一条）

  1. 安装ssh

  2. 查看或配置板子ip

    • 使用串口连接板子
    • vim /etc/rc.local
    • 查看或设置ip
    #!/bin/bash
ifconfig eth0 192.168.125.171 netmask 255.255.255.0
systemctl start sshd

  3. 修改本地网络适配器配置

    参考配置

    • ipv4地址：192.168.125.2
    • 子网掩码：255.255.255.0
    • 默认网关：192.168.125.1
    • 连接速度与双工：100mbps全双工

  4. 使用网口或串口进入板上系统打开server

    上位机：

    ssh root@192.168.125.171

    板上： 确保位于root账户下，执行：

    icraft-serve
    • 请确保在root账户下执行上述命令
    • 设备成功打开示意图
    root@U:~# icraft-serve
[02/22/24 02:02:00.388] [I] Using port : 9981
[02/22/24 02:02:00.388] [I] synchronous mode
[02/22/24 02:02:00.388] [I] [irpc::port::tcp::_waitNewConn] wait for new connection

    如果能正确运行则可以继续下一步。

2.编译环境准备

请参考2.1Windows编译环境准备进行精度测试环境配置。

2. 测试说明

  1. 重新编译模型

    • 1）由于源码工程未提供精度测试的预训练模型，可运行0_MPIIGaze/train.py训练模型，也可使用已重训好的权重checkpoint_0040.pth

    • 2）使用checkpoint_0040.pth权重重新运行1_save.py，导出模型

    • 2）重新进行模型编译

      icraft compile config/BY/MPIIGaze_8.toml

      由于测精度程序由上位机控制，生成的imodel不用再复制到板子中

  2. 数据集准备

  • 测试数据集下载：http://datasets.d2.mpi-inf.mpg.de/MPIIGaze/MPIIGaze.tar.gz
  • 模型测试使用MPIIGaze数据集的p00作为测试集，将下载下来的数据集MPIIGaze存放于 3_deploy\modelzoo\MPIIGaze\io\datasets中，并解压到当前文件夹

  1. 修改 运行时的yaml配置文件：

    运行时需要配置一些模型路径，输入数据，后处理参数等，其配置文件在 cfg/MPIIGaze_test.yaml

    测试时使用：python ./MPIIGaze_psin_test.py ../cfg/MPIIGaze_test.yaml

    需要修改：

    • imodel中参数：修改精度测试所用模型文件路径dir，根据所使用板子ip设置ip。
    • dataset中参数：更改自己的精度测试数据集路径。
    • param中参数：如果模型没有重训，则无需更改，若 重训则需要修改对应部分参数。

  2. 编译、执行运行时程序

python运行时：

cd 3_deploy/modelzoo/MPIIGaze/pyrt
# Windows系统下：
python ./MPIIGaze_psin_test.py ../cfg/MPIIGaze_test.yaml
# Linux系统下：
python icraft_launcher.py ./MPIIGaze_psin_test.py ../cfg/MPIIGaze_test.yaml

程序结束自动计算出精度指标angle_error，并记录在MPIIGaze_metrics.log中

6. 模型性能记录

MPIIGaze input shape hard time qt_strategy angle_error
float [1, 1, 36, 60] - - 5.24°
int8 [1, 1, 36, 60] 0.0965ms null-pt 4.76°
int16 [1, 1, 36, 60] 0.1275ms null-pt 4.78°