MiniMax-M3.1-Flash-w8a8

1. 基本信息

2 量化脚本：

本权重量化方案流程现已在commit:69cc58efc2d8c336b6ec2da120097459d210c219中更新文档中说明，可参考：https://gitcode.com/LeeQT/msmodelslim/tree/feature%2Fminimax-m3-ep-nvfp4-ct-to-mxfp8/example/multimodal_vlm/MiniMax-M3#minimax-m31-%E5%8F%8D%E9%87%8F%E5%8C%96%E4%B8%8E%E4%B8%80%E9%94%AE%E9%87%8F%E5%8C%96

# 反量化：
msmodelslim quant \
    --model_path weights/MiniMax-M3.1-Flash \
    --save_path weights/MiniMax-M3.1-Flash-bf16 \
    --device npu \
    --device_id 0 1 2 3 4 5 6 7 \
    --config lab_practice/minimax_m3/minimax_m3dot1_convert_bf16.yaml \
    --trust_remote_code true

# 单独反量化dspark
python tools/convert_dspark.py --src weights/MiniMax-M3.1-Flash --dst weights/MiniMax-M3.1-Flash-bf16


# 量化w8a8：
msmodelslim quant \
    --model_path weights/MiniMax-M3.1-Flash-bf16 \
    --save_path weights/MiniMax-M3.1-Flash-w8a8 \
    --device npu \
    --device_id 3 \
    --model_type MiniMax-M3.1 \
    --config lab_practice/minimax_m3/minimax_m3_w8a8.yaml \
    --trust_remote_code true


# 使用convert转换的dspark替换带旋转的dspark
cp -r weights/MiniMax-M3.1-Flash-bf16/dspark/* weights/MiniMax-M3.1-Flash-w8a8/dspark/

3 精度测试结果

• 精度存在波动，建议多次测试。