Hugging Peers

Qwen3.5-27B-w8a8-mtp

☆ Save
by Eco-Tech image-text-to-text PyTorch Apache License 2.0
23.9K downloads 3 likes on ModelScope updated

Model card

Qwen3.5-27B-w8a8-mtp

1. 基本信息

项目 信息
原始模型名 Qwen3.5-27B
原始模型链接 Qwen/Qwen3.5-27B
msmodelslim commit id 51fbb8a2f3cba234ef6d04e3f04d807dc9082fe2
精度测试机型 Atlas 800T A2 1台
精度测试平台 docker vllm-ascend
版本 vllm-ascend:v0.17.0rc1
链接 quay.m.daocloud.io/ascend/vllm-ascend:v0.17.0rc1

2 量化脚本：

现已集成一键量化

msmodelslim quant --model_path ${MODEL_PATH} --save_path ${SAVE_PATH} --device npu --model_type Qwen3.5-27B --quant_type w8a8 --trust_remote_code True

3 精度测试结果

模型名 量化格式 数据集 测试精度 % 本地浮点精度 %
Qwen3.5-27B-w8a8-mtp w8a8 mmlupro 85.94 86.24
Qwen3.5-27B-w8a8-mtp w8a8 ceval 91.01 91.98
Qwen3.5-27B-w8a8-mtp w8a8 gpqa 84.34 84.34
  • 使用ais_bench,其中max_out_len = 65536。精度存在波动，建议多次测试。