Hugging Peers

ai_model_hub

☆ Save
by cix other
914 downloads 5 likes on ModelScope updated

Model card

CIX AI Model Hub

CIX AI Model Hub 是面向 CIX SOC 部署优化的机器学习模型集合，提供从模型推理、量化到端侧 Demo 的完整支持，便于客户在 CIX 设备上进行 AI 应用开发与验证。

一、工程概览

1.1 主要内容

  • 模型库：涵盖计算机视觉、语音、多模态与生成式 AI（含 LLM/VLM），支持 ONNX 与 CIX 二进制（.cix）推理。
  • 示例应用：每个模型提供端到端 Python 示例（预处理 → 推理 → 后处理），可在主机或 CIX 设备上运行。
  • Demo 应用：提供基于 Gradio/Streamlit 的可视化 Demo 安装包（.deb），用于快速体验与集成。
  • 工具与脚本：LLM/VLM 的下载、构建、量化脚本；数据集与评测相关脚本；通用后处理与评测工具。

1.2 目录结构

ai_model_hub/
├── models/              # 模型库（按领域与任务分类）
│   ├── Audio/           # 语音识别、TTS、声纹等
│   ├── ComputeVision/   # 目标检测、分割、分类、OCR、超分等
│   ├── Generative_AI/   # 图文检索、图生文、文生图、LLM 等
│   └── MultiModal/      # VLM 等多模态模型说明文档
├── demos/               # 可视化 Demo 安装包及使用说明
├── datasets/            # 数据集下载与处理说明（如 ImageNet、COCO、VOC）
├── utils/               # 通用后处理、评测、绘图等工具
├── scripts/             # 构建、量化、评测LLM/VLM 的脚本
├── requirements.txt     # Python 依赖
├── README.md            # 本文档（中文）
├── README_EN.md         # 本文档（英文）
├── LLM_README.md        # LLM/VLM 转换、量化与运行指南
├── ReleaseNote.md       # 版本与模型变更历史
├── EULA.md              # 最终用户许可协议
└── LICENSE              # Apache-2.0

二、环境与依赖

2.1 系统要求

  • 运行模型与 Demo：支持 CIX SOC 设备或 x86 主机（用于 ONNX 推理）。
  • LLM/VLM 转换与量化：建议在 x86 Linux 主机或 WSL 上完成（参见 LLM_README.md）。

2.2 安装 Python 依赖

在工程根目录下执行：

sudo apt install libpython3-dev build-essential python3-dev
pip3 install -r requirements.txt

requirements.txt 包含模型推理与示例所需的依赖（如 onnx、onnxruntime、torch、transformers、图像/语音/中文处理库等）。仅运行部分模型时，可按需安装对应依赖。

三、快速开始

3.1 运行单个模型（端到端示例）

每个模型目录下通常包含：

  • inference_npu.py：在 CIX SOC 上运行编译后的二进制模型（.cix）。
  • inference_onnx.py：在主机或设备上使用 ONNX Runtime 运行 ONNX 模型。
  • model/：ONNX 或原始权重；编译后的二进制在对应 .cix 文件。
  • ReadMe.md：该模型的输入输出、编译与运行说明。

在设备上运行 NPU 推理（需先将对应 .cix、test_data、inference_npu.py 拷贝到设备）：

cd <模型目录>
python3 inference_npu.py

在主机或设备上运行 ONNX 推理：

cd <模型目录>
python3 inference_onnx.py

具体步骤（如量化、编译、拷贝）以各模型目录下的 ReadMe.md 为准。

3.2 运行 Demo 应用

demos/ 下各子目录提供基于 Gradio/Streamlit 的 Demo，以 .deb 包形式发布，便于在 CIX 设备上一键安装与体验。

基本步骤：

  1. 将对应的 .deb 包拷贝到设备，安装，例如：
    sudo dpkg -i ai-demo-manager_1.0.6_arm64.deb
  2. 安装后一般位于 /opt/<demo-name>/，进入该目录。
  3. 按照该 Demo 目录下的 userGuide.md 或 /opt/<demo-name>/README.md 安装运行环境并启动 Demo。

各 Demo 的功能说明见 demos/ReleaseNote.md。

四、文档索引

文档 说明
README.md 本文档：工程概览、环境、快速开始（中文）
README_EN.md 工程概览、环境、快速开始（英文）
LLM_README.md LLM/VLM 的构建、格式转换、量化及在边缘设备上的运行与评测
ReleaseNote.md 模型与版本变更历史
demos/ReleaseNote.md Demo 列表与简介
EULA.md 最终用户许可协议

各模型的使用细节见 models/ 下对应子目录中的 ReadMe.md。

五、许可证

  • 本仓库：CIX AI Model Hub 采用 Apache-2.0 许可。
  • 使用本仓库提供的软件与模型：请同时阅读 EULA.md 并遵守其条款。