Qwen3.6-27B DSV4Pro 思维蒸馏 — NVFP4（多档 + 官方 MTP）
本仓为 27B DSV4Pro 思维蒸馏 的 NVFP4 量化发布，含多档量化 + 官方 nextn MTP 头。NVFP4 用 W4A16 / W4A4（/ 未来 W4A8）+ MTP 一并兼顾质量、速度、并发。
量化档位
| 档位 | 目录 | GPQA-D 198 | MMLU-500 | 大小 | 定位 |
|---|---|---|---|---|---|
| W4A16（默认，根目录） | / |
82.83% | 87.80% | 29 GB | 质量优先 |
| W4A4 | w4a4/ |
77.27% | 91.40% | 20 GB | 速度 / 显存优先 |
| W4A8 | 待引擎支持 | ≈ W4A16（预期） | — | ~19 GB | vLLM 暂不支持，见末尾 |
- W4A16：MLP-focused —— 仅量化 language MLP 权重（
gate/up/down），attention、Mamba-GDN、视觉、embeddings、lm_head、norm 保 BF16。质量最高。 - W4A4：量化 MLP + attention + GDN 投影，仅 conv1d 保 BF16。更小更快，质量略降但 MMLU 反超（thinking-on 口径）。
- 两档均内置官方 MTP 头（
mtp.safetensors），vLLM 开启即加速。
MTP 投机加速（官方 nextn 头）
所有速度 @ RTX PRO 6000 Blackwell (sm120) + vLLM 0.23（区别于 Spark/GB10 的 GGUF 速度，勿混淆）。
| 档位 | 推荐 num_speculative_tokens |
单流 tok/s（MTP / 非MTP） | 加速 | accept |
|---|---|---|---|---|
| W4A16 | 4 | 93.7 / 45 | 2.08× | 0.83 |
| W4A4 | 2 | 111 / 63 | 1.76× | 0.87 |
MTP 并发同样正收益（W4A4 N=2 @R6000，聚合 tok/s）：
| 并发 | 非MTP | MTP | 提升 |
|---|---|---|---|
| 1 | 65 | 112 | +72% |
| 4 | 235 | 371 | +58% |
| 8 | 453 | 672 | +48% |
| 16 | 825 | 1192 | +44% |
MTP 优势随并发递减、但 c1–c16 全程为正（NVFP4 权重小 memory-bound 区间宽 + sm120 算力强，临界并发 > 16）。仅在 GPU 完全饱和的极高并发下才可能转负——按实际负载自测即可。
加载
W4A16（默认 / 根目录）
# 纯质量
vllm serve Merkyor/Qwen3.6-27B-DSV4Pro-Thinking-Distill-NVFP4 \
--quantization modelopt --max-model-len 32768
# 开 MTP（单流 / 低并发，推荐 N=4）
vllm serve Merkyor/Qwen3.6-27B-DSV4Pro-Thinking-Distill-NVFP4 \
--quantization modelopt --max-model-len 32768 \
--speculative-config '{"method":"qwen3_5_mtp","num_speculative_tokens":4}'
W4A4（w4a4/ 子目录）
# 先下载整仓，再指向 w4a4 子目录
modelscope download --model Merkyor/Qwen3.6-27B-DSV4Pro-Thinking-Distill-NVFP4 --local_dir ./nvfp4
vllm serve ./nvfp4/w4a4 \
--quantization modelopt --max-model-len 32768 \
--speculative-config '{"method":"qwen3_5_mtp","num_speculative_tokens":2}'
推理参数（思考模式，默认）
temperature=0.6、top_p=0.95、max_tokens=32000。
SGLang
serve 用 --quantization modelopt_fp4；MTP 用 --speculative-algorithm NEXTN --speculative-num-steps N（sm121/GB10 需 SPEC_V2=1 + mamba/flashinfer flag）。SGLang 的 num-steps 最优值与 vLLM 可能不同，待 Spark 实测补充。
硬件
- NVIDIA FP4 Tensor Core：Blackwell SM120+（RTX PRO 6000、B200）
- 显存：W4A16 ~32 GB+ / W4A4 ~24 GB+
- vLLM ≥ 0.8（quant_algo 支持
NVFP4/W4A16_NVFP4）或支持modelopt_fp4的 SGLang
评测口径
temp 0.6 / top_p 0.95 / thinking-on / max_tokens 32000 / ctx 36864；GPQA-Diamond 198 全集 + MMLU-500 5-shot。质量分与硬件无关；速度数标注 @R6000。
W4A8（待引擎支持）
W4A8（weight NVFP4 + act FP8）已可用 ModelOpt W4A8_NVFP4_FP8_CFG 量化，质量预期 ≈ W4A16（act FP8 近无损），R6000 硬件原生支持。但 vLLM 0.23 的 ModelOpt loader 暂不接受 W4A8_NVFP4_FP8 quant_algo（仅 FP8/NVFP4/W4A16_NVFP4/MXFP8/MIXED_PRECISION），故暂不发布。待 vLLM 支持后将补 w4a8/ 子目录。
相关仓库
| 仓库 | 用途 |
|---|---|
| 基础模型 BF16 | 完整精度 |
| GGUF + MTP | llama.cpp 部署 |
| NVFP4 多档 + MTP（本仓） | vLLM / SGLang，质量+速度+并发 |
Qwen3.6-27B DSV4Pro Thinking Distill — NVFP4 (multi-tier + official MTP)
NVFP4 quantization with multiple tiers + official nextn MTP head, balancing quality, speed, and concurrency via W4A16 / W4A4 (/ future W4A8) + MTP.
Tiers
| Tier | Path | GPQA-D 198 | MMLU-500 | Size | Focus |
|---|---|---|---|---|---|
| W4A16 (default, root) | / |
82.83% | 87.80% | 29 GB | quality |
| W4A4 | w4a4/ |
77.27% | 91.40% | 20 GB | speed / VRAM |
| W4A8 | pending engine support | ≈ W4A16 (expected) | — | ~19 GB | vLLM TBD |
- W4A16: MLP-focused (only MLP weights to NVFP4; attention/Mamba/vision/embeddings/
lm_head/norm stay BF16). - W4A4: MLP + attention + GDN quantized, conv1d kept BF16.
- Both ship the official MTP head.
MTP (official nextn head) — all speeds @ RTX PRO 6000 (sm120), vLLM 0.23
| Tier | Recommended num_speculative_tokens |
tok/s (MTP / no-MTP) | speedup | accept |
|---|---|---|---|---|
| W4A16 | 4 | 93.7 / 45 | 2.08× | 0.83 |
| W4A4 | 2 | 111 / 63 | 1.76× | 0.87 |
MTP stays net-positive under concurrency (W4A4 N=2, aggregate tok/s): c1 +72% / c4 +58% / c8 +48% / c16 +44%. Gain decreases with concurrency but stays positive through c16 (NVFP4 is memory-bound-wide + sm120 is compute-strong; crossover concurrency > 16). Only turns negative at extreme saturation — benchmark for your load.
Load
# W4A16 (root) + MTP
vllm serve Merkyor/Qwen3.6-27B-DSV4Pro-Thinking-Distill-NVFP4 --quantization modelopt \
--max-model-len 32768 --speculative-config '{"method":"qwen3_5_mtp","num_speculative_tokens":4}'
# W4A4 (w4a4/ subdir) + MTP
modelscope download --model Merkyor/Qwen3.6-27B-DSV4Pro-Thinking-Distill-NVFP4 --local_dir ./nvfp4
vllm serve ./nvfp4/w4a4 --quantization modelopt \
--max-model-len 32768 --speculative-config '{"method":"qwen3_5_mtp","num_speculative_tokens":2}'
Inference: temperature=0.6, top_p=0.95, max_tokens=32000 (thinking mode). Hardware: Blackwell SM120+ (RTX PRO 6000 / B200).
Claude Code（实验性 / experimental）
Claude Code 支持目前属于实验性接入。Claude Code 需要兼容 Anthropic /v1/messages 的服务端和稳定的工具调用；直接使用 OpenAI-compatible chat endpoint 可能无法正常工作，需要桥接或兼容运行时。
本模型使用 Qwen3 XML 工具调用格式（<tool_call><function=name><parameter=...>）。vLLM 路线：
vllm serve /path/to/model \
--served-model-name qwen36-27b-distill \
--reasoning-parser qwen3 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_xml
Claude Code 指向 served-model-name（不要用带 / 的 HF repo id）；或使用 LM Studio 0.4.1+（内置 Claude Code /v1/messages）。参考 vLLM Claude Code · LM Studio。
Claude Code (experimental)
Claude Code support is experimental. It needs an Anthropic-compatible /v1/messages endpoint and stable tool calling; a direct OpenAI-compatible chat endpoint may not work and requires a bridge or compatible runtime. The model uses the Qwen3 XML tool format — on vLLM use --tool-call-parser qwen3_xml (command above). Point Claude Code at the served-model-name (no slashes), or use LM Studio 0.4.1+ (built-in Claude Code /v1/messages).