DeepSeek-R1-0528 w8a8 量化推理使用指南

function_call能力增强版本可见Modelers_Park/DeepSeek-R1-0528-w8a8-function_call

目录

• 模型介绍
• 快速开始
• 声明

模型介绍

DeepSeek R1 模型经历了一次小版本升级，当前版本为 DeepSeek-R1-0528。在最新更新中，DeepSeek R1 通过利用增加的计算资源和在后训练过程中引入算法优化机制，显著提高了其推理和推断能力的深度。该模型在各种基准评估中表现出色，包括数学、编程和一般逻辑方面。其整体性能现已接近领先模型，如 O3 和 Gemini 2.5 Pro。

与之前的版本相比，升级后的模型在处理复杂推理任务方面有了显著改进。例如，在 AIME 2025 测试中，模型的准确率从之前的 70% 提高到了当前版本的 87.5%。这一进步源于推理过程中思考深度的增强：在 AIME 测试集中，之前的模型平均每题使用 12K 个标记，而新版本平均使用 23K 个标记。

除了改进的推理能力外，此版本还减少了幻觉现象，增强了对函数调用的支持，并提升了代码编写体验。

本模型仓存储的是DeepSeek-R1-0528大模型的W8A8 Int8权重量化版本，其中还包含了mtp部分的量化权重。

该权重使用msmodelslim 8.1.RC2 TR5 分支量化得到。

下表为该权重的基本信息。

快速开始

以下使用 mindie 2.1.rc1 版本进行该模型的部署。

权重文件下载

执行以下命令为自定义下载路径/home/deepseek/DeepSeek-R1-0528-w8a8/添加白名单：

export HUB_WHITE_LIST_PATHS=/home/deepseek/DeepSeek-R1-0528-w8a8/

执行以下 Python 脚本从魔乐社区下载msmodelslim量化版本的 DeepSeek-R1-0528 W8A8量化模型权重文件至指定路径/home/deepseek/DeepSeek-R1-0528-w8a8/。下载的文件包含模型代码、权重、分词模型和示例代码，占用约 650GB 的磁盘空间：

from openmind_hub import snapshot_download

snapshot_download(
    repo_id="Modelers_Park/DeepSeek-R1-0528-w8a8",
    local_dir="/home/deepseek/DeepSeek-R1-0528-w8a8",
    local_dir_use_symlinks=False
)

注意事项：

• /home/deepseek/DeepSeek-R1-0528-w8a8/ 可修改为自定义路径，确保该路径有足够的磁盘空间（约 650GB），且需修改后续容器镜像操作中的路径。
• 下载时间可能因网络环境而异，建议在稳定的网络环境下操作。
• 将local_dir_use_symlinks设置为False，则不会创建软链接。

部署推理服务

多机推理具体操作流程可参考DeepSeek R1.

加载镜像

以mindie 2.1.rc1为例。

前往昇腾社区/开发资源下载适配，下载镜像前需要申请权限，耐心等待权限申请通过后，根据指南下载对应镜像文件。

镜像版本：2.1.RC1-800I-A2-py311-openeuler24.03-lts 镜像加载后的名称：swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:2.1.RC1-800I-A2-py311-openeuler24.03-lts

完成之后，请使用docker images命令确认查找具体镜像名称与标签。

docker images

各组件版本配套如下：

权重路径权限问题

注意保证权重路径是可用的，执行以下命令修改模型config.json权限:

chmod 640 {/path-to-weights/config.json}

声明

• 本代码仓提到的数据集和模型仅作为示例，这些数据集和模型仅供您用于非商业目的，如您使用这些数据集来完成示例，请您特别注意应遵守对应数据集合模型的License。
• 如您在使用本地代码的过程中，发现任何问题（包括但不限于功能问题、合规问题），请在本代码仓提交issue，我们将及时审视并解答。