Qwen3.6-27B-DSV4Pro-GLM-SFT-55XH-RL-Coding

GGUF 可加载文件（2026-07-12）

• Q3、Q4、Q5 均已发布可直接加载的单文件主 GGUF，并附 SHA256SUMS 与 manifest.json。
• Q8 保持 llama.cpp 标准多分片；选择 00001-of-00005.gguf 后会自动加载其余分片。
• *-draft*.gguf 是可选 MTP sidecar，不是主模型；LM Studio 与通用图形启动器只选择 GGUF/<档位目录>/Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-<档位>-LynnStyle.gguf。

本仓是 BF16 主仓：根目录放 BF16 权重；FP8/ 和 GGUF/ 是主仓内的附加运行产物目录。独立运行仓与主仓子目录见：

• FP8 独立仓：Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-FP8
• 本主仓 FP8 子目录
• ModelScope GGUF 独立仓：Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-GGUF
• 本主仓 GGUF 子目录

本模型基于 Merkyor/Qwen3.6-27B-DSV4Pro-Thinking-Distill 继续后训练，重点强化可执行代码、闭环修复、验证纪律与推理效率，同时保持 MMLU/GPQA 基础能力稳定。

公开指标使用完整 clean 结果；量化版请以 GGUF 仓模型卡和各量化目录下的 eval/*.summary.json 为准。

本仓用于放置 BF16 根目录权重，并在 FP8/、GGUF/ 子目录保留可直接下载的运行产物。主仓内当前同步 GGUF/Q8_0/、GGUF/Q5_LynnStyle/、GGUF/Q4_LynnStyle/、GGUF/Q3_LynnStyle/；更多 GGUF 档位以独立 GGUF 仓为准。各量化目录附带 LynnStyle Dense 保护规则、manifest、SHA、MTP/TPS 与测评记录。

主仓地址：Merkyor/Qwen3.6-27B-DSV4Pro-GLM-SFT-55XH-RL-Coding

配套 Lynn Agent 客户端与工程入口：GitHub · LynnMerkyor/Lynn

先看这里：应该下载哪个目录？

• GGUF/Q3_LynnStyle/Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-Q3-LynnStyle.gguf：Q3 低显存档，完整单文件；GGUF 解析与 Spark bare/MTP 加载生成 smoke 均通过。
• GGUF/Q3_LynnStyle/Q3-imatrix-MTP-draft.gguf：Q3 可选 MTP sidecar，仅供 llama.cpp --model-draft。
• GGUF/Q4_LynnStyle/Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-Q4-LynnStyle.gguf：Q4 24GB 主流档，完整单文件。
• GGUF/Q4_LynnStyle/Q4-imatrix-MTP-draft.gguf：Q6_K 高接受率 MTP sidecar；Q4-imatrix-MTP-draft-q4.gguf 是低显存备选。
• GGUF/Q5_LynnStyle/Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-Q5-LynnStyle.gguf：Q5 32GB 高质量档，完整单文件。
• GGUF/Q5_LynnStyle/Q5-imatrix-MTP-draft.gguf：Q5 可选 MTP sidecar。
• GGUF/Q8_0/：标准 GGUF 多分片 Q8；加载 00001-of-00005.gguf。

LM Studio、llama.cpp Windows Manager 等图形启动器只选择完整主文件，不要把 MTP sidecar 当主模型。

当前档位

llama.cpp 启动示例

通用图形客户端只加载主模型。Q3 bare 示例：

llama-server \
  -m GGUF/Q3_LynnStyle/Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-Q3-LynnStyle.gguf \
  -ngl 999 -c 8192 -b 1024 -ub 256 -np 1 \
  --host 0.0.0.0 --port 8080 \
  --jinja --reasoning on --reasoning-format deepseek

Q3 单流 MTP 示例：

llama-server \
  -m GGUF/Q3_LynnStyle/Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-Q3-LynnStyle.gguf \
  --model-draft GGUF/Q3_LynnStyle/Q3-imatrix-MTP-draft.gguf \
  -ngl 999 --split-mode layer \
  -c 8192 -b 1024 -ub 256 -t 16 -np 4 -cb \
  --spec-type draft-mtp \
  --spec-draft-n-max 3 \
  --spec-draft-p-min 0.6 \
  --host 0.0.0.0 --port 8080 \
  --jinja --reasoning on --reasoning-format deepseek

推荐：Q3 C1 用 MTP n=3；Q4 C1/C2 用 n=2；Q5 C1 用 n=3、C2 用 n=4。C4 吞吐优先使用 bare。长上下文或多并发也优先 bare。

FP8 / SGLang

FP8 目录位于 FP8/，独立仓位于 Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-FP8。

FP8 / SGLang 推荐配置：

bash FP8/scripts/sglang_fp8_start.sh
MTP=1 bash FP8/scripts/sglang_fp8_start.sh

MTP=1 默认参数：NEXTN, steps=3, draft_tokens=2, accept_threshold_single=0.6。

推荐配置在 C1/C2/C4 都更快；当前最快是 C4 + MTP/NEXTN。摘要文件：FP8/eval/spark_sglang_mtp_cmatrix_20260708.json。

FP8 未单独重跑四项质量测评；质量表引用 Q8 等价量化的 clean 成绩，具体以 FP8 仓模型卡说明为准。

Q8 全量门禁

缩写说明：LCB 是 LiveCodeBench 的缩写。

Coding100 分语言：Python 9/10、JavaScript 6/10、TypeScript 7/10、Rust 9/10、Go 8/10、C++ 10/10、SQL 10/10、Bash 9/10、CSS 10/10、HTML 10/10。

LCB100 难度拆分：easy 23/23、medium 30/31、hard 25/46。

横向 clean 测评对照

这里只列完整 clean 结果。出现 harness 污染的题目按原始 id 单题补测并合并后再发布，不把污染行计入模型得失分。

官方原版 Q8 LCB100 clean：68/100，难度拆分 easy 23/23、medium 27/31、hard 18/46。其中 3 条 JSONDecodeError 污染行按 exact id 非流式单题补测，三题均通过，最终 errors=0。

DSV4Pro 蒸馏版 Q8 LCB100 clean：74/100，难度拆分 easy 23/23、medium 25/31、hard 26/46，errors=0。

LynnStyle Dense 量化口径

27B 是 Dense，不存在 MoE expert，但它仍然不是全层同质。Qwen3.6 27B 有混合注意力结构：full-attention 层约每 4 层出现一次，其他层更多是 linear attention / SSM 路径。LynnStyle Dense 的保护单位是：

• layer position
• attention pattern
• tensor family

Q2/Q3/Q4/Q5/Q8 都按 LynnStyle Dense 分层设计：关键层、full-attention、attention gate、SSM 与重要 tensor family 保精度，普通层再按档位压缩。Q5/Q4/Q3/Q2 低于 Q8 的档位必须做 imatrix 或等价重要度校准；Q5/Q4 给完整公开门禁，Q3/Q2 是低配/实验档，至少必须通过加载与基础 smoke，质量按实记录。

以 Q5 LynnStyle Dense 为例，它不是“普通 Q5_K_M + imatrix”。实际规则是：

也就是说，LynnStyle Dense 的低比特档位必须同时满足两件事：显式核心层/关键张量高精度保护 + imatrix 重要度校准。只做 direct quant，或者只靠 imatrix 而没有核心层保护，都不算最终 LynnStyle 发布档。

测评 summary 必须通过 clean gate：parse fail、server-not-ready、connection refused、API fetch fail、partial rows 这类 harness 污染一律不计分、不发布。

Q5 LynnStyle 门禁状态

Q5 是 32GB 甜点档：目标不是比 Q8 更强，而是在 32GB 机器上尽量沿着 Q8 质量曲线下降，同时避免普通低比特量化常见的空答、length、parse 和收口崩坏。

Q5 Coding100 current clean：81/100，分语言为 Python 9/10、JavaScript 5/10、TypeScript 8/10、Rust 8/10、Go 5/10、C++ 8/10、SQL 9/10、Bash 9/10、CSS 10/10、HTML 10/10；3 个 timeout id 已按 exact id 补测并合并，API error 为 0。

Q4 LynnStyle 已完成门禁

Q4 是 24GB 主流档。主模型面向 24GB 显存；如果要跑 16K/24K 长上下文，请只加载 Q4 主模型，不要加载 MTP sidecar。Q4 MTP sidecar 是短上下文、低并发、显存有余时的可选加速件，不是必需文件。当前 clean gate：

Q4 clean gate 摘要

• GPQA198：缺失题 resume 后合并，dirty=0、parse_fail=0、empty_prediction=0、duplicate_ids=0；finish reason 为 stop=197、length=1。
• 文件完整性：主模型分片、Q4 MTP sidecar、manifest、SHA 与 clean gate 记录均已补齐。

Q4 LCB100 拆分

失败形态：wrong answer 20、runtime error 4、timeout 5；无 harness / JSONDecode / parse 污染。

Q4 Coding100 语言拆分

API error：0。

Q4 / Q3 llama.cpp 运行矩阵

TPS 取整，接受率以百分比显示。C1/C2/C4 表示并发数；结果来自同一套 llama.cpp harness。

Q4 LynnStyle

最佳档位：C4 bare，116 TPS。低并发延迟优先时，C1/C2 使用 MTP n=2。

Q3 LynnStyle

Q3 单请求延迟优先推荐 MTP n=3；C2 的 MTP 最优选择为 n=2，但取整吞吐与 bare 持平；C4 吞吐优先使用 bare。严格 16GB 或长上下文也优先只加载 Q3 主模型。

English Summary

Loadable GGUF files (2026-07-12)

• Q3, Q4, and Q5 now provide directly loadable single-file main GGUFs with SHA256SUMS and manifest.json.
• Q8 remains a valid llama.cpp standard split; select 00001-of-00005.gguf and the remaining shards load automatically.
• *-draft*.gguf files are optional MTP sidecars, not main models. LM Studio and general GUI launchers should select only GGUF/<tier directory>/Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-<tier>-LynnStyle.gguf.

This is the ModelScope main repository. BF16 weights are stored at the repository root. FP8 artifacts are available under FP8/, and the synchronized GGUF Q8/Q5/Q4/Q3 artifacts are available under GGUF/. The standalone FP8 and GGUF repositories are linked near the top of this model card.

Q4 / Q3 llama.cpp Runtime Matrix

TPS is rounded to whole numbers and acceptance is shown as a percentage. C1/C2/C4 denote concurrency; all rows use the same llama.cpp harness.

Q4 LynnStyle

Best tier setting: C4 bare, 116 TPS. For lower-concurrency latency, use MTP n=2 at C1/C2.

Q3 LynnStyle

For Q3 single-request latency, use MTP n=3. At C2, the best MTP choice is n=2, but rounded throughput ties bare. For C4 throughput, use bare. On strict 16GB or long-context setups, load only the Q3 main model first.