Qwen3-235B-A22B-w8a8-QuaRot
175 downloads
0 likes
on ModelScope
updated
Model card
Qwen3-235B-A22B-w8a8-QuaRot
1. 基本信息
| 项目 |
信息 |
| 原始模型名 |
Qwen3-235B-A22B |
| 原始模型链接 |
Qwen3.6-27B |
| msmodelslim commit id |
\ |
| 精度测试机型 |
Atlas 800T A2 1台 |
| 精度测试平台 |
docker vllm-ascend |
| 版本 |
vllm-ascend:v0.23.0rc1 |
| 链接 |
quay.io/ascend/vllm-ascend:v0.23.0rc1 |
2 精度测试结果
| 模型名 |
量化格式 |
数据集 |
测试精度 % |
官方精度 % |
| Qwen3-235B-A22B-w8a8-QuaRot |
w8a8 |
GPQA |
70.71 |
71.1 |
| Qwen3-235B-A22B-w8a8-QuaRot |
w8a8 |
CEVAL |
90.56 |
89.6 |
*--max-model-len 90000，精度存在波动，建议多次测试。