Hugging Peers

GLM-4.7-W8A8-floatmtp

☆ Save
by Eco-Tech text-generation PyTorch MIT License
2.4K downloads 4 likes on ModelScope updated

Model card

GLM-4.7-W8A8-floatmtp

1. 基本信息

项目 信息
原始模型名 GLM 4.7
原始模型链接 GLM 4.7
msmodelslim 操作指引 https://blog.csdn.net/qq_37368095/article/details/156429653
精度测试机型 800T A3
版本 vllm-ascend 0.13.0.rc1

2 量化过程：

3 精度测试结果

模型名 量化格式 数据集 测试精度 %
GLM-4.7-W8A8-floatmtp w8a8 ceval 91.76
GLM-4.7-W8A8-floatmtp w8a8 mmlu 91.02
GLM-4.7-W8A8-floatmtp w8a8 gsm8k 96.66
  • 精度存在波动，建议多次测试。