MinerU OV Models — OpenVINO IR 模型集合

本仓库提供 MinerU2.5-Pro 文档解析系统所需的完整 OpenVINO IR 模型集合，包含VLM backend 和hybrid backend中 VLM 视觉语言模型及相关辅助模型（版面检测、OCR、公式识别），经过 INT4 量化优化，可在 Intel CPU / GPU / NPU 上高效运行。

模型列表

模型详情

MinerU2.5-Pro-2605-1.2B-int4

• 基础架构：Qwen2-VL-1.5B-Instruct
• 量化方式：AWQ (Activation-aware Weight Quantization)，组大小 128，32 样本校准
• 用途：文档理解核心引擎，接收页面图像，输出结构化 Markdown / JSON
• 子模型文件：
  • openvino_language_model — 大语言模型（LLM）部分
  • openvino_vision_embeddings_model — 视觉编码器（Vision Encoder）
  • openvino_vision_embeddings_merger_model — 视觉-语言特征融合投影层
  • openvino_text_embeddings_model — 文本嵌入层
  • openvino_tokenizer / openvino_detokenizer — 分词器 / 反分词器（已应用 MinerU 补丁）
• 推理方式：两阶段协议（版面检测 prompt → 内容识别 prompt），与 MinerU 官方一致

PP-DocLayoutV2

• 来源：PaddleOCR 套件中的文档版面分析模型
• 用途：检测页面的版面元素，输出检测框和类别（text / title / table / equation / figure / chart 等）
• 输入：页面图像（~1036×1036）
• 输出：边界框坐标 + 类别标签 + 置信度

PP-OCRv5

• det：DB (Differentiable Binarization) 文本检测器，定位图像中文字行区域
• rec：CRNN + Attention 文本识别器，将文字行图像转为字符串
• 支持语言：中英文混合识别，同时支持数字和符号

unimernet_hf_small_2503

• 用途：数学公式识别，将公式图像转为 LaTeX 表达式
• 组成：
  • encoder — 视觉编码器（ViT 架构）
  • unimernet_full — 编码器-解码器完整推理图

文件结构

ov_models/
├── MinerU2.5-Pro-2605-1.2B-int4/
│   ├── openvino_language_model.{bin,xml}
│   ├── openvino_vision_embeddings_model.{bin,xml}
│   ├── openvino_vision_embeddings_merger_model.{bin,xml}
│   ├── openvino_text_embeddings_model.{bin,xml}
│   ├── openvino_tokenizer.{bin,xml}
│   ├── openvino_detokenizer.{bin,xml}
│   ├── config.json / openvino_config.json / generation_config.json
│   ├── tokenizer.json / tokenizer_config.json / vocab.json / merges.txt
│   ├── added_tokens.json / special_tokens_map.json
│   ├── chat_template.jinja
│   ├── preprocessor_config.json / video_preprocessor_config.json
│   └── .mineru_detokenizer_patched
├── PP-DocLayoutV2/
│   └── PP-DocLayoutV2.{bin,xml}
├── PP-OCRv5/
│   ├── det/det.{bin,xml}
│   └── rec/rec.{bin,xml}
└── unimernet_hf_small_2503/
    ├── encoder.{bin,xml}
    └── unimernet_full.{bin,xml}

所有模型均为 OpenVINO IR 格式，每对 .xml（网络结构）+ .bin（权重）组成一个完整模型。

使用方法

环境要求

pip install openvino>=2024.5 openvino-genai>=2024.5

SDK 下载

from modelscope import snapshot_download

model_dir = snapshot_download('Crystal2020/mineru-ov-models')
# model_dir 即指向包含上述模型目录的根路径

Git 下载

git clone https://www.modelscope.cn/Crystal2020/mineru-ov-models.git

设备兼容性

许可

本项目基于 Apache License 2.0 开源。

模型原始权重来自：

• Qwen2-VL（Qwen License）
• PaddleOCR（Apache 2.0）
• UniMerNet（MIT）

如果您是模型贡献者或发现问题，请在 ModelScope 模型页提交 Issue 或通过 Pull Request 完善本卡片。