模型来源：【魔乐社区：Modelers_Park/DeepSeek-V3.1-w8a8-function_call】

DeepSeek-V3.1 w8a8_function_call 量化推理使用指南

目录

• 模型介绍

模型介绍

DeepSeek-V3.1 是一个支持思考模式和非思考模式的混合模型。与之前的版本相比，这次升级在多个方面带来了改进：

混合思考模式：通过更改聊天模板，一个模型可以同时支持思考模式和非思考模式。

更智能的工具调用：通过后训练优化，模型在工具使用和代理任务方面的性能显著提高。

更高的思考效率：DeepSeek-V3.1-Think 在回答质量上与 DeepSeek-R1-0528 相当，但响应速度更快。

DeepSeek-V3.1 是在 DeepSeek-V3.1-Base 的基础上进行后训练得到的，后者通过两阶段长上下文扩展方法基于原始 V3 基础检查点构建，遵循了原始 DeepSeek-V3 报告中概述的方法。我们通过收集额外的长文档并大幅扩展两个训练阶段来扩大了我们的数据集。32K 扩展阶段已增加了 10 倍至 630B tokens，而 128K 扩展阶段则增加了 3.3 倍至 209B tokens。此外，DeepSeek-V3.1 使用 UE8M0 FP8 格式的数据进行训练，以确保与微缩放数据格式兼容。

本模型仓存储的是DeepSeek-V3.1大模型的W8A8 Int8权重量化版本，使用QuaRot对模型量化精度实现增强，function call能力表现更好。 该权重使用msmodelslim量化得到。function call能力基于Berkeley Function Calling Leaderboard进行评测。