Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-GGUF

GGUF 可加载文件（2026-07-12）

• Q3、Q4、Q5 均已发布可直接加载的单文件主 GGUF，并附 SHA256SUMS 与 manifest.json。
• Q8 保持 llama.cpp 标准多分片；选择 00001-of-00005.gguf 后会自动加载其余分片。
• *-draft*.gguf 是可选 MTP sidecar，不是主模型；LM Studio 与通用图形启动器只选择 <档位目录>/Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-<档位>-LynnStyle.gguf。

多模态视觉塔（Q8_0 mmproj）

本仓现已补齐经 DGX Spark 验证的视觉投影器。它必须与一个主 GGUF 配合使用；mmproj 不是主模型，MTP 也仍然只是可选 draft sidecar。

“Q8_0 mmproj 档”指 GGUF 的 general.file_type=7 与主要量化档位；它不表示所有 tensor 都是 Q8_0。官方 BF16 视觉 tensor 只用于转换，没有上传到本 GGUF 仓。

llama.cpp 多模态启动

Q4 主模型 + 视觉塔（bare）：

llama-server \
  -m Q4_LynnStyle/Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-Q4-LynnStyle.gguf \
  --mmproj mmproj-Qwen3.5-27B-Q8_0.gguf \
  -ngl 999 -c 8192 \
  --host 0.0.0.0 --port 8080 \
  --jinja --reasoning on --reasoning-format deepseek

Q4 主模型 + Q8 MTP + 视觉塔：

llama-server \
  -m Q4_LynnStyle/Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-Q4-LynnStyle.gguf \
  --mmproj mmproj-Qwen3.5-27B-Q8_0.gguf \
  --model-draft Q8_0/Q8-MTP-draft.gguf \
  --spec-type draft-mtp \
  -ngl 999 -c 8192 \
  --host 0.0.0.0 --port 8080 \
  --jinja --reasoning on --reasoning-format deepseek

验证身份：Q4 主模型 SHA256 3a9af361e6891a78df61de134c91dfe27c27640839ac177b43c2a14fba77b189；Q8 MTP draft SHA256 fb18a96292d43f746b39f2e3e8998e477788b5b7659d98a7cc192e9e753c8fd4。

以上是严格 load/image smoke，不是完整视觉能力基准。已验证路径是上述 llama.cpp commit；通用 GUI 是否支持 MTP 与 mmproj 组合需以各自运行时为准。

本仓是 Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding 的 GGUF 镜像仓，按 Q8/Q5/Q4/Q3/Q2 档位分目录发布；每个低比特档位都会附带 LynnStyle Dense 保护规则、manifest、SHA、MTP/TPS 与测评记录。

BF16 主仓地址：Merkyor/Qwen3.6-27B-DSV4Pro-GLM-SFT-55XH-RL-Coding

主仓 GGUF 子目录：Qwen3.6-27B-DSV4Pro-GLM-SFT-55XH-RL-Coding / GGUF

配套 Lynn Agent 客户端与工程入口：GitHub · LynnMerkyor/Lynn

先看这里：应该下载哪个目录？

• Q3_LynnStyle/Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-Q3-LynnStyle.gguf：Q3 低显存档，完整单文件；GGUF 解析与 Spark bare/MTP 加载生成 smoke 均通过。
• Q3_LynnStyle/Q3-imatrix-MTP-draft.gguf：Q3 可选 MTP sidecar，仅供 llama.cpp --model-draft。
• Q4_LynnStyle/Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-Q4-LynnStyle.gguf：Q4 24GB 主流档，完整单文件。
• Q4_LynnStyle/Q4-imatrix-MTP-draft.gguf：Q6_K 高接受率 MTP sidecar；Q4-imatrix-MTP-draft-q4.gguf 是低显存备选。
• Q5_LynnStyle/Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-Q5-LynnStyle.gguf：Q5 32GB 高质量档，完整单文件。
• Q5_LynnStyle/Q5-imatrix-MTP-draft.gguf：Q5 可选 MTP sidecar。
• Q8_0/：标准 GGUF 多分片 Q8；加载 00001-of-00005.gguf。

LM Studio、llama.cpp Windows Manager 等图形启动器只选择完整主文件，不要把 MTP sidecar 当主模型。

当前档位

llama.cpp 启动示例

通用图形客户端只加载主模型。Q3 bare 示例：

llama-server \
  -m Q3_LynnStyle/Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-Q3-LynnStyle.gguf \
  -ngl 999 -c 8192 -b 1024 -ub 256 -np 1 \
  --host 0.0.0.0 --port 8080 \
  --jinja --reasoning on --reasoning-format deepseek

Q3 单流 MTP 示例：

llama-server \
  -m Q3_LynnStyle/Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-Q3-LynnStyle.gguf \
  --model-draft Q3_LynnStyle/Q3-imatrix-MTP-draft.gguf \
  -ngl 999 --split-mode layer \
  -c 8192 -b 1024 -ub 256 -t 16 -np 4 -cb \
  --spec-type draft-mtp \
  --spec-draft-n-max 3 \
  --spec-draft-p-min 0.6 \
  --host 0.0.0.0 --port 8080 \
  --jinja --reasoning on --reasoning-format deepseek

推荐：Q3 C1 用 MTP n=3；Q4 C1/C2 用 n=2；Q5 C1 用 n=3、C2 用 n=4。C4 吞吐优先使用 bare。长上下文或多并发也优先 bare。

Q8 全量门禁

缩写说明：LCB 是 LiveCodeBench 的缩写。

Coding100 分语言：Python 9/10、JavaScript 6/10、TypeScript 7/10、Rust 9/10、Go 8/10、C++ 10/10、SQL 10/10、Bash 9/10、CSS 10/10、HTML 10/10。

LCB100 难度拆分：easy 23/23、medium 30/31、hard 25/46。

横向 clean 测评对照

这里只列完整 clean 结果。出现 harness 污染的题目按原始 id 单题补测并合并后再发布，不把污染行计入模型得失分。

官方原版 Q8 LCB100 clean：68/100，难度拆分 easy 23/23、medium 27/31、hard 18/46。其中 3 条 JSONDecodeError 污染行按 exact id 非流式单题补测，三题均通过，最终 errors=0。

DSV4Pro 蒸馏版 Q8 LCB100 clean：74/100，难度拆分 easy 23/23、medium 25/31、hard 26/46，errors=0。

LynnStyle Dense 量化口径

27B 是 Dense，不存在 MoE expert，但它仍然不是全层同质。Qwen3.6 27B 有混合注意力结构：full-attention 层约每 4 层出现一次，其他层更多是 linear attention / SSM 路径。LynnStyle Dense 的保护单位是：

• layer position
• attention pattern
• tensor family

Q2/Q3/Q4/Q5/Q8 都按 LynnStyle Dense 分层设计：关键层、full-attention、attention gate、SSM 与重要 tensor family 保精度，普通层再按档位压缩。Q5/Q4/Q3/Q2 低于 Q8 的档位必须做 imatrix 或等价重要度校准；Q5/Q4 给完整公开门禁，Q3/Q2 是低配/实验档，至少必须通过加载与基础 smoke，质量按实记录。

以 Q5 LynnStyle Dense 为例，它不是“普通 Q5_K_M + imatrix”。实际规则是：

也就是说，LynnStyle Dense 的低比特档位必须同时满足两件事：显式核心层/关键张量高精度保护 + imatrix 重要度校准。只做 direct quant，或者只靠 imatrix 而没有核心层保护，都不算最终 LynnStyle 发布档。

测评 summary 必须通过 clean gate：parse fail、server-not-ready、connection refused、API fetch fail、partial rows 这类 harness 污染一律不计分、不发布。

Q5 LynnStyle 门禁状态

Q5 是 32GB 甜点档：目标不是比 Q8 更强，而是在 32GB 机器上尽量沿着 Q8 质量曲线下降，同时避免普通低比特量化常见的空答、length、parse 和收口崩坏。

Q5 Coding100 current clean：81/100，分语言为 Python 9/10、JavaScript 5/10、TypeScript 8/10、Rust 8/10、Go 5/10、C++ 8/10、SQL 9/10、Bash 9/10、CSS 10/10、HTML 10/10；3 个 timeout id 已按 exact id 补测并合并，API error 为 0。

Q4 LynnStyle 已完成门禁

Q4 是 24GB 主流档。主模型面向 24GB 显存；如果要跑 16K/24K 长上下文，请只加载 Q4 主模型，不要加载 MTP sidecar。Q4 MTP sidecar 是短上下文、低并发、显存有余时的可选加速件，不是必需文件。当前 clean gate：

GPQA198 为缺失题 resume 后合并结果：dirty=0、parse_fail=0、empty_prediction=0、duplicate_ids=0，finish reason 为 stop=197、length=1。Q4 已补齐主模型分片、Q4 MTP sidecar、manifest、SHA 与 clean gate 记录。Q4 LCB100 full clean：71/100，难度拆分 easy 23/23、medium 27/31、hard 21/46；失败形态 wrong answer 20、runtime error 4、timeout 5，无 harness/jsondecode/parse 污染。Q4 Coding100 current clean：82/100，分语言为 Python 9/10、JavaScript 6/10、TypeScript 9/10、Rust 7/10、Go 6/10、C++ 7/10、SQL 10/10、Bash 8/10、CSS 10/10、HTML 10/10，API error 为 0。

Q4 / Q3 llama.cpp 运行矩阵

TPS 取整，接受率以百分比显示。C1/C2/C4 表示并发数；结果来自同一套 llama.cpp harness。

Q4 LynnStyle

最佳档位：C4 bare，116 TPS。低并发延迟优先时，C1/C2 使用 MTP n=2。

Q3 LynnStyle

Q3 单请求延迟优先推荐 MTP n=3；C2 的 MTP 最优选择为 n=2，但取整吞吐与 bare 持平；C4 吞吐优先使用 bare。严格 16GB 或长上下文也优先只加载 Q3 主模型。

English

Loadable GGUF files (2026-07-12)

• Q3, Q4, and Q5 now provide directly loadable single-file main GGUFs with SHA256SUMS and manifest.json.
• Q8 remains a valid llama.cpp standard split; select 00001-of-00005.gguf and the remaining shards load automatically.
• *-draft*.gguf files are optional MTP sidecars, not main models. LM Studio and general GUI launchers should select only <tier directory>/Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-<tier>-LynnStyle.gguf.

Multimodal Vision Projector (Q8_0 mmproj)

This repository now includes a vision projector verified on DGX Spark. It must be used with a main GGUF; the mmproj is not a main model, and MTP remains an optional draft sidecar.

“Q8_0 mmproj tier” refers to GGUF general.file_type=7 and the primary quantization tier; it does not mean that every tensor is Q8_0. The official BF16 vision tensors were conversion input only and are not published in this GGUF repository.

llama.cpp Multimodal Start

Q4 main + vision projector (bare):

llama-server \
  -m Q4_LynnStyle/Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-Q4-LynnStyle.gguf \
  --mmproj mmproj-Qwen3.5-27B-Q8_0.gguf \
  -ngl 999 -c 8192 \
  --host 0.0.0.0 --port 8080 \
  --jinja --reasoning on --reasoning-format deepseek

Q4 main + Q8 MTP + vision projector:

llama-server \
  -m Q4_LynnStyle/Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-Q4-LynnStyle.gguf \
  --mmproj mmproj-Qwen3.5-27B-Q8_0.gguf \
  --model-draft Q8_0/Q8-MTP-draft.gguf \
  --spec-type draft-mtp \
  -ngl 999 -c 8192 \
  --host 0.0.0.0 --port 8080 \
  --jinja --reasoning on --reasoning-format deepseek

Verified identities: Q4 main SHA256 3a9af361e6891a78df61de134c91dfe27c27640839ac177b43c2a14fba77b189; Q8 MTP draft SHA256 fb18a96292d43f746b39f2e3e8998e477788b5b7659d98a7cc192e9e753c8fd4.

These are strict load/image smoke checks, not a complete vision benchmark. The verified path is the llama.cpp commit above; support for combined MTP and mmproj in general-purpose GUIs depends on their runtime.

This repository is the GGUF mirror for Qwen3.6-27B-DSV4Pro-GLM52-SFT-GPT55-RL-Coding.

Files are organized by tier directory: Q8_0/, Q5_LynnStyle/, Q4_LynnStyle/, Q3_LynnStyle/, and Q2_LynnStyle/.

ModelScope's GGUF sidebar may fail to parse LynnStyle mixed-precision files. This is expected: LynnStyle tiers are not uniform GGUF quantization types. The README directory layout and filenames are the source of truth.

Q8 uses valid standard GGUF shards. Q3, Q4, and Q5 provide verified single-file main GGUFs; Q5 and Q4 clean quality summaries are listed above. For long-context use, load the main model without an MTP sidecar.

For llama.cpp, load the complete Q3/Q4/Q5 main GGUF. MTP is optional and must be passed with --model-draft plus --spec-type draft-mtp; it is never a standalone model. Q8 is the only tier here that uses standard split shards. Use --jinja --reasoning on --reasoning-format deepseek.

LynnStyle Dense does not treat a Dense model as a uniform block. For Qwen3.6 27B, protection is assigned by layer position, attention pattern, and tensor family: key layers, full-attention projections, attention gates, SSM paths, and important tensor families stay protected, while ordinary layers are compressed according to the target tier.

For Q5, LynnStyle means explicit protected tensors plus imatrix calibration: L0-L3 and L60-L63 stay Q8, L56-L59 stay Q6, and middle full-attention projections / linear-attention gates / qkv / SSM families stay Q5 before ordinary tensors are compressed. Direct quantization alone is not a release tier.

Q4 / Q3 llama.cpp Runtime Matrix

TPS is rounded to whole numbers and acceptance is shown as a percentage. C1/C2/C4 denote concurrency; all rows use the same llama.cpp harness.

Q4 LynnStyle

Best tier setting: C4 bare, 116 TPS. For lower-concurrency latency, use MTP n=2 at C1/C2.

Q3 LynnStyle

For Q3 single-request latency, use MTP n=3. At C2, the best MTP choice is n=2, but rounded throughput ties bare. For C4 throughput, use bare. On strict 16GB or long-context setups, load only the Q3 main model first.