Qwen3.6-35B-A3B-DSV4Pro-Thinking-Distill

在 Qwen3.6-35B-A3B(MoE,3B 激活)上,用 LoRA 蒸馏 DeepSeek-V4-Pro 在「思考开启(thinking-on)」时的思维方式 + agentic 行为。

⚠️ 与之前的「V4-Pro 蒸馏」版本区分:上一版蒸的是答案/无思考风格;这一版蒸的是 thinking-on 的多步推理与自我验证思维方式——目标是「学会怎么想」,不是蒸知识或扩能力。

出发点:为 Lynn Agent 选/造一个「编排器」——能快速 拆分→分派→验收任务、且不乱报完成的模型。

训练配置(如实披露)/ Training details

• 基座 Base:Qwen3.6-35B-A3B(BF16 基座;bnb-4bit 在该 MoE 结构上不可用,故未走 4-bit)
• 方法 Method:LoRA,r = 64,α = 128,dropout = 0.05,target = 全部注意力 + MLP 投影(q/k/v/o_proj、gate/up/down_proj 等)
• 优化:paged_adamw_8bit,cosine LR,warmup 0.03,约 1 epoch
• Teacher:DeepSeek-V4-Pro
• 数据 Data:1842 条蒸馏样本(DS-V4-Pro 的 thinking-on <think> 多步推理轨迹 + agentic 工具调用轨迹,Lynn 工程域)
• 产物:合并 → BF16 safetensors → Q4_K_M-imatrix gguf

方法非自创,是公开技术的组合(如实归因)/ Attribution

• ReAct(推理+行动交替):Yao et al., 2022, arXiv:2210.03629(ICLR 2023)
• Self-Instruct / Baize 自对话数据:Wang et al., 2022;Xu et al., 2023, arXiv:2304.01196
• AgentTuning:Zeng et al., 2023, arXiv:2310.12823
• ToolBench / ToolLLM:Qin et al., 2023, arXiv:2307.16789
• DeepSeek-R1 推理蒸馏:DeepSeek-AI, 2025, arXiv:2501.12948

评测:同一 harness,thinking-on,Q4_K_M GGUF(imatrix),vs 原版 Qwen3.6-35B-A3B

解读:知识广度基本不变(MMLU 持平),硬推理显著提升(GPQA +7.6pp),且**「想完就收口」—— GPQA 未收口的空答从 12 降到 1**。这正是 thinking-on 思维方式被学到的标志:推理更果断、能终止、能自我验证(编排 0 假验证)。

评测口径 / Eval protocol

thinking-on;评测精度 = Q4_K_M GGUF(imatrix),蒸馏与原版同口径;temp 0.6 / top_p 0.95(thinking 模型必需,greedy 会重复死循环);max_tokens 30000;read-timeout 600s;MMLU 抽取器对「few-shot 序列回显」做了「取最终字母」修正,且同口径作用于所有对比模型。

局限 / Limitations

agentic 轨迹部分来自模拟环境(sim-to-real gap);评测为同一 harness 内部对比,数值不可直接对标官方榜单(官方 BF16 thinking-on:MMLU-Pro 85.2 / GPQA 86.0,口径不同)。

文件 / Files

• *.safetensors — BF16 合并权重(SGLang / vLLM / transformers)
• gguf/*-Q4_K_M-imatrix.gguf — llama.cpp 量化(~20G,单流最快)

推理 / Inference

thinking-on,务必 temp=0.6, top_p=0.95(切勿 greedy)。llama.cpp 用 Q4_K_M gguf + --jinja;SGLang/vLLM 用 safetensors。

MTP 投机解码 / MTP speculative decoding

BF16 / FP8 safetensors 及 GGUF 全四档(Q4/Q5/Q6/Q8)均已内置原生 nextn MTP 头。

safetensors(vLLM / SGLang):传入 --speculative-config '{"method":"mtp","num_speculative_tokens":3}' 启用。SGLang 实测 accept 0.71–0.87;FP8 单流 base 51 → MTP 65 t/s(~1.25×)。⚠️ A3B 为稀疏模型,单流增益受密度定律限制(远低于 dense 27B 的 ~2×)。

GGUF(llama.cpp,全四档焊 MTP + imatrix 校正):需 mainline llama.cpp + --spec-type draft-mtp --spec-draft-n-max 3 启用。DGX Spark GB10 单流实测(server 多请求均值):

base 越慢(档位越大)MTP 增益越大。⚠️ LM Studio / Ollama / Jan 等 GUI 暂不支持嵌入式 nextn MTP(其"投机解码"功能挂的是独立 draft 模型),加载后以 base 模式运行(可正常使用,无 MTP 加速);MTP 加速仅在 mainline llama.cpp CLI 启用 --spec-type draft-mtp 时生效。

Both BF16/FP8 safetensors and all four GGUF quants (Q4/Q5/Q6/Q8) bundle the native nextn MTP head.

• safetensors (vLLM/SGLang): enable via --speculative-config '{"method":"mtp","num_speculative_tokens":3}' (SGLang-measured accept 0.71–0.87; FP8 single-stream 51→65 t/s, ~1.25×). A3B is sparse, so single-stream gain is bounded by the density law (far below dense 27B's ~2×).
• GGUF (llama.cpp): needs mainline llama.cpp + --spec-type draft-mtp --spec-draft-n-max 3. Spark GB10 single-stream (server multi-request avg): Q4_K_M 79.2→86.3 (+9%) / Q5_K_M 73.0→88.0 (+20%) / Q6_K 66.0→75.2 (+14%) / Q8_0 49.8→81.2 (+63%) — the slower the base quant, the larger the MTP gain.
• ⚠️ LM Studio / Ollama / Jan and most GUIs don't support the embedded nextn MTP (their "speculative decoding" attaches a separate draft model) — the GGUF loads and runs in base mode (works, no MTP speedup). MTP only applies with mainline llama.cpp CLI --spec-type draft-mtp.