Kimi-K2.7-Code-w4a8 量化模型

1. 基本信息

2. 量化脚本

2.1 安装 msmodelslim 工具

参考官方安装指南：https://gitcode.com/Ascend/msmodelslim/blob/master/docs/zh/getting_started/install_guide.md

2.2 修改模型文件

参考 Kimi-K2.6 的修改方式：https://gitcode.com/Ascend/msmodelslim/blob/master/example/multimodal_vlm/Kimi-K2.6/README.md

2.3 执行量化命令

msmodelslim quant \
    --model_path {model_path} \
    --save_path {output_path} \
    --device npu \
    --model_type Kimi-K2.6 \
    --quant_type w4a8 \
    --trust_remote_code True

3. 精度测试结果