Qwen3.8-27B-AWQ

这是基于 Qwen/Qwen3.8-27B 制作的 AutoAWQ 权重量化版本，目标运行环境为SGLang。

量化配置

• 工具：AutoRound 0.14.2
• 格式：AutoAWQ GEMM
• 权重：4 bit，activation 保持 16 bit
• Group size：128
• Zero point：启用（非对称量化）
• 校准集：4096 条、每条 1024 ~ 32768 tokens；包含中英文、代码、数学和对话数据
• 已量化线性模块：346
• checkpoint 大小：20.371 GiB

为了保留精度和架构兼容性，以下部分保持 BF16/FP16：视觉模块、MTP、lm_head、第 0 层、full-attention 的 Q/K/V 投影，以及 linear-attention 的 in_proj_a/in_proj_b。

MTP 与完整性验证

• checkpoint 中包含 15 个官方 MTP 张量，共 849,398,784 字节。
• 每个 MTP 张量的名称、dtype、shape、长度和 SHA-256 均与官方源 checkpoint 逐字节一致。
• SGLang 已将其正确加载为 Qwen3_5ForCausalLMMTP，没有参数未找到或跳过映射警告。
• 单卡 V100 冒烟测试中，MTP speculative decoding 的观察接受长度为 2.42–2.62，接受率约 47%–54%。

SGLang 启动示例

python -m sglang.launch_server \
  --model-path /path/to/Qwen3.8-27B-AWQ \
  --served-model-name qwen38-27b \
  --quantization awq \
  --dtype float16 \
  --attention-backend triton \
  --sampling-backend pytorch \
  --speculative-algorithm NEXTN \
  --speculative-draft-model-path /path/to/Qwen3.8-27B-AWQ \
  --speculative-num-steps 3 \
  --speculative-eagle-topk 1 \
  --speculative-num-draft-tokens 4

V100 不支持原生 BF16 计算，建议显式使用 --dtype float16。SM70 运行还需要与本机 CUDA/SGLang 版本匹配的算子实现。

已验证范围

• AutoAWQ checkpoint 结构、打包 dtype 和 346 个目标量化模块
• 32GB V100 上的 SGLang 加载、CUDA Graph、MTP speculative decoding
• OpenAI-compatible 文本生成接口及确定性输出

视觉权重已保留，但本版本尚未完成多模态输入的功能与性能验收。

下载

from modelscope import snapshot_download

model_dir = snapshot_download("YanfeiSong/Qwen3.8-27B-AWQ")
print(model_dir)

License

本仓库沿用基础模型的 Apache License 2.0。请同时遵守基础模型仓库中的使用条款。