Qwen3.5-4B Q4_K_M(imatrix 校准) - Lynn 团队量化
本仓库提供 Qwen/Qwen3.5-4B 官方 BF16 权重的 imatrix 校准 Q4_K_M GGUF 版本，由 Lynn 团队在 DGX Spark(GB10, sm_121) 上构建。
这是上游官方模型的纯量化版，不是蒸馏模型，也不是 Lynn-native NVFP4/W4A8 checkpoint。
文件
| 文件 | 大小 | SHA256 | 用途 |
|---|---|---|---|
Qwen3.5-4B-Q4_K_M-imatrix.gguf |
2.6 GB | 7abaf02bbe25c608deb308db526766f761ad4fb85c512a69ff36520c4b304b23 |
llama.cpp / Ollama / LM Studio GGUF 权重 |
Qwen3.5-4B.imatrix |
3.5 MB | 863a93c58a14925b58303a369d9bb155411b40d52fde121f195eaf7a6691f07c |
本次 Q4_K_M 量化使用的 imatrix 校准数据 |
构建细节
- 源权重：
Qwen/Qwen3.5-4B官方 BF16 - 转换：
llama.cpp convert_hf_to_gguf.py --outtype f16 - 校准：Lynn 中文 + 英文 + 代码混合语料，256 chunks，512 ctx
- 量化：
llama-quantize --imatrix Qwen3.5-4B.imatrix ... Q4_K_M - 构建机器：DGX Spark(GB10, sm_121)，2026-05-24
评测
V8/V9、MMLU500、GPQA Diamond thinking-on 评测正在 Spark 后台运行；分数和测试数据将在后续提交补充。
运行
llama-server \
-m Qwen3.5-4B-Q4_K_M-imatrix.gguf \
--host 0.0.0.0 --port 18099 \
--ctx-size 32768 --n-gpu-layers 999 \
--jinja --reasoning on
GGUF 内嵌上游 Qwen3.5 chat template，支持通过 chat_template_kwargs.enable_thinking 控制 thinking 模式。
许可证
Apache 2.0，继承自上游 Qwen/Qwen3.5-4B。