Step-3.7-Flash-180B-LynnStyle-GLM52-SFT-GPT55-RL-GGUF

Step 3.7 Flash 180B LynnStyle GGUF · public name aligned with the HF repository slug.

Llama.cpp 启动必读

未合入兼容 patch 的官方 llama.cpp 预编译包会直接加载失败。

原因是：当前官方 llama.cpp 预编译包不能识别剪枝后每层专家数不同的 Step35 / Step 3.7 MoE。它仍把 step35.expert_count 当作单个 u32 读取，而本模型的剪枝 MoE 需要按层数组记录专家数。

例如 llama-b9892-bin-win-vulkan-x64 会在模型头读取阶段报：

key step35.expert_count has wrong type arr but expected type u32

这不是分片损坏，也不是 MTP 文件问题；必须使用已合入该逻辑的构建，或应用 patch 后重新编译。

如果你不熟悉 llama.cpp 编译，建议把下面的 Patch 和使用说明链接直接交给 Codex 或其他代码智能体，让它在你的目标 llama.cpp 源码树里应用 patch 并重新编译。

参考运行树：llama.cpp 8c146a8366304c871efc26057cc90370ccf58dad；发布测试使用的是从已打 patch 的 llama.cpp 树编译出的 CUDA llama-server。

更新官方源码或预编译包（如 b9892）需要合入同等逻辑后重编译；重新下载 GGUF 分片不能解决这个错误。

重要：平台 GGUF 自动解析说明：Hugging Face / ModelScope 的 GGUF 自动解析可能只扫到某个 MTP sidecar 或单个分片，从而显示 3B 参数、5-bit、2.49GB 等误导信息。这不是主模型。本仓是多分片、混合精度的 LynnStyle GGUF；请按 README 下载完整 Q4/、Q5/、Q8/ 或 Q3/ 分片，并搭配对应 MTP sidecar 启动。右侧硬件兼容/量化类型卡片不代表本混合精度版本的真实体积、参数量和量化策略。

命名说明：GLM5.2-SFT / GPT5.5-RL 指后训练数据来源与审校来源，不是权重来源。SFT 阶段的大部分 Agent/ReAct 轨迹由 GLM 5.2 API 生成、改写或清洗；RL 阶段的大部分偏好对与 judge 信号来自 GPT-5.5/Codex 风格审校。模型没有混入 GLM 或 GPT 权重。

仓库定位

这是 Step-3.7-Flash-180B-LynnStyle-GLM5.2-SFT-GPT5.5-RL 的 GGUF 量化仓。

名字里的 180B 来自剪枝后的有效规模定位：原始 MoE 经专家热力和任务工作区约束，剪掉约 8%、约 1000 个低贡献专家后，形成更适合端侧部署的 180B 级 MoE。

名字里的 LynnStyle 是完整端侧方法链：定位保护关键层/专家/张量族，动态分层剪枝低贡献路径，针对性 SFT/RL 修复重思考、空答、不交付和格式不可解析，最后在 LynnStyle Q8/Q5/Q4/Q3/Q2 GGUF 量化中继续动态保护核心层、热门专家、router、attention、lm_head、MTP 与收口路径。

BF16 主仓：

https://modelscope.cn/models/Merkyor/Step-3.7-Flash-180B-LynnStyle-GLM52-SFT-GPT55-RL

本仓只用于 GGUF 量化文件、GGUF runtime smoke、MTP 单流/并发检查结果和量化门禁结果。BF16 权重不应放在本仓。

下载提示：ModelScope 右侧 GGUF 自动解析组件不一定能正确识别 LynnStyle 混合精度分片和 MTP sidecar。请以本 README 的目录说明为准：主模型从 Q4/、Q5/ 或 Q8/ 下载完整分片，MTP 加速文件放在对应档位目录内，然后按下面 llama.cpp 模板组合启动。

文本版与 MTP sidecar

本仓当前发布的是 文本推理 / 代码 / Agent-ReAct GGUF 版本，当前不声明视觉输入能力。原始 dyn263 BF16 保留过 vision_config、vision_encoder.py 等多模态条件模型痕迹；但本次最终 RL2 合并、导出、量化和测评链未定位并验证完整视觉组件，包括视觉塔权重、projector / mmproj、image_processor、image token 对齐和 llama.cpp 图像输入 smoke。因此当前 GGUF 权重和测评只声明文本能力。

MTP sidecar 是 可选 speculative decoding draft 文件，用于配合主模型加速推理；它不是视觉文件，也不能单独当主模型使用。Q8 模型搭配 Q8/Step-3.7-Flash-MTP-Q8_0.gguf，LynnStyle Q5 搭配 Q5/Step-3.7-Flash-MTP-Q8_0.gguf，LynnStyle Q4 搭配 Q4/Step-3.7-Flash-MTP-Q5_K_M.gguf。后续会继续定位原始多模态组件链路；在视觉塔、projector / mmproj、processor、image token 对齐和图像输入 smoke 都确认后，再单独量化、测评并补发多模态版本，而不是混入当前文本主线。

LynnStyle GGUF 混合精度策略

Q8 是质量基线。本仓最关键的发布目标是 LynnStyle Q4：约 90G，面向 96G/R6000 单卡。原来能塞进 R6000 的版本更接近质量崩掉的 Q3；Q4 提前测评，是为了验证 LynnStyle 是否真的把 180B 级 MoE 推进了单卡端侧。

当前正在验证的核心端侧档是 LynnStyle Q4 Profile F6 91G。它不是单纯 IQ4_XS，而是“显式核心层保护 + interleaved imatrix 校准 + 冷门 MoE 专家下探”的混合精度方案。Profile F6 dry-run 目标体积为 93216.74 MiB / 91.03 GiB，目标是在保住核心质量的前提下给 96G/R6000 留出更现实的启动、上下文和 MTP 余量。

LynnStyle Q4 的实际保护清单：

这份保护表再叠加 2026-07-06 的交错 imatrix 校准集。校准集按 LBC / Coding100 / ReAct / GPQA / MMLU / native SFT / RL preference 轮转构建，不使用 benchmark gold answer 作为监督标签。

上面的两张图是 GGUF 分层量化的依据，也解释了为什么剪掉约 1000 个 MoE 专家不是盲剪：MMLU/GPQA 和 LBC/Coding100 的专家集中度并不完全相同，代码路径会暴露通识推理看不到的专用专家；热力图也显示中间层存在局部工作区，所以 LynnStyle Q4/Q3/Q2 不是只保护首尾，而是按任务工作区、专家热度和张量族一起分配精度。

目标是让 48GB 到 128GB 的本地硬件都能上车，同时尽量保留 Q8 的推理、代码和收口质量。

计划档位

下载方式：

• LynnStyle Q4：下载 Q4/ 下全部 00001-of-00005 到 00005-of-00005 分片；
• LynnStyle Q5：下载 Q5/ 下全部 00001-of-00005 到 00005-of-00005 分片；
• LynnStyle Q8：下载 Q8/ 下全部 Q8 分片；
• MTP sidecar：Q8 下载 Q8/Step-3.7-Flash-MTP-Q8_0.gguf；LynnStyle Q5 下载 Q5/Step-3.7-Flash-MTP-Q8_0.gguf；LynnStyle Q4 下载 Q4/Step-3.7-Flash-MTP-Q5_K_M.gguf，作为 --model-draft 可选加速文件；
• MTP/ 不是视觉文件目录，也不是主模型目录。

通过验收的 GGUF 主模型文件会显式带上量化档位和 imatrix 等信息；MTP sidecar 放在对应档位目录内。LynnStyle Q4 是混合精度量化，不等同于单一 GGUF 类型，右侧自动解析卡片可能无法完整表达。

MTP 推荐设置

LynnStyle Q4 和 Q5 已完成 C1/C2/C4、draft N=1..4 的 MTP 矩阵。下面是 2026-07-06 R6000 环境下的实测结果；TPS 为 llama.cpp predicted_tokens_seconds。

96G/R6000 的 LynnStyle Q4 推荐搭配 Q4/Step-3.7-Flash-MTP-Q5_K_M.gguf；LynnStyle Q5 和 Q8 搭配对应目录下的 Step-3.7-Flash-MTP-Q8_0.gguf。Q8_0 MTP sidecar 约 3.71GB，不建议作为 96G Q4 的默认搭配。

LynnStyle Q5 MTP：

当前状态

最终 BF16/Q8 候选已选定为 RL2：

LynnStyle Q4 imatrix Profile F6 91G 已完成四项公开测评：

LynnStyle Q5 imatrix 已完成四项公开测评：

选择 RL2 的原因：RL1 对照 GPQA 跑到 81/117 = 69.23% 时已经明显落后，剩余题需要极高正确率才能反超；RL2 在守住 MMLU/Coding/LBC 的同时，明显减少 GPQA 与 LBC 的空答、length 和不交付形态。

llama.cpp 启动模板

下面是使用参考，不放在页面开头。Q8 是质量基线；LynnStyle Q4 是 96G/R6000 核心主推档。Q5/Q4/Q3/Q2 只有完成校准、MTP 单流/并发检查和四项公开测评后，才会上传完整权重。

LynnStyle Q8 + MTP

MAIN_GGUF="Q8/Step-3.7-Flash-180B-LynnStyle-GLM52-SFT-GPT55-RL-Q8_0-00001-of-00005.gguf"
MTP_GGUF="Q8/Step-3.7-Flash-MTP-Q8_0.gguf"

./llama-server \
  -m "$MAIN_GGUF" \
  -ngl 999 \
  --split-mode layer \
  --ctx-size 32768 \
  --parallel 1 \
  --cont-batching \
  --jinja \
  --reasoning on \
  --reasoning-format deepseek \
  --spec-type draft-mtp \
  --model-draft "$MTP_GGUF" \
  --spec-draft-ngl 999 \
  --spec-draft-n-max 2 \
  --spec-draft-p-min 0.6 \
  --host 0.0.0.0 \
  --port 8000

LynnStyle Q4 imatrix + MTP

MAIN_GGUF="Q4/Step-3.7-Flash-180B-LynnStyle-GLM52-SFT-GPT55-RL-Q4-imatrix-MTP-00001-of-00005.gguf"
MTP_GGUF="Q4/Step-3.7-Flash-MTP-Q5_K_M.gguf"

./llama-server \
  -m "$MAIN_GGUF" \
  -ngl 999 \
  --ctx-size 8192 \
  --parallel 1 \
  --cont-batching \
  --jinja \
  --reasoning on \
  --reasoning-format deepseek \
  --spec-type draft-mtp \
  --model-draft "$MTP_GGUF" \
  --spec-draft-ngl 999 \
  --spec-draft-n-max 3 \
  --spec-draft-p-min 0.6 \
  --host 0.0.0.0 \
  --port 8000

当前 Q4 MTP matrix 建议：C1/C2/C4 都优先使用 --spec-draft-n-max 3。

English Summary

This is the public GGUF repository for Step-3.7-Flash-180B-LynnStyle-GLM5.2-SFT-GPT5.5-RL.

GLM5.2-SFT / GPT5.5-RL describes post-training data provenance, not weight provenance: most SFT Agent/ReAct trajectories were generated, rewritten, or cleaned with GLM 5.2 API assistance, while most RL preference pairs and judge signals came from a GPT-5.5/Codex-style review policy. No GLM or GPT weights are mixed into the model.

Main BF16 repository:

https://modelscope.cn/models/Merkyor/Step-3.7-Flash-180B-LynnStyle-GLM52-SFT-GPT55-RL

This repo is for GGUF quantized files, runtime smoke results, MTP single/concurrent checks, and quantized gate metrics. BF16 weights should live in the main repository, not here.

Download note: the ModelScope GGUF sidebar may not correctly parse LynnStyle mixed-precision shards or sidecar files. Please follow this README: download all main-model shards from Q4/, Q5/, or Q8/, then download the optional draft sidecar from the same tier directory and launch them together with the llama.cpp template below.

Text-only scope: the original dyn263 BF16 source retained multimodal traces such as vision_config and vision_encoder.py, but this final RL2 merge/export/quantization/evaluation path did not locate and validate the complete vision stack, including vision-tower weights, projector / mmproj, image_processor, image-token alignment, and llama.cpp image-input smoke tests. Therefore this GGUF release only claims text-generation capability.

MTP sidecars are optional speculative-decoding draft files. They are not vision files and cannot be used as standalone main models. The Q8 model uses Q8/Step-3.7-Flash-MTP-Q8_0.gguf; LynnStyle Q5 uses Q5/Step-3.7-Flash-MTP-Q8_0.gguf; LynnStyle Q4 uses Q4/Step-3.7-Flash-MTP-Q5_K_M.gguf. The original multimodal component chain will be revisited; once the vision tower, projector / mmproj, processor, image-token alignment, and image-input smoke tests are validated, a separately quantized and evaluated multimodal release can be added later.

The selected final candidate is RL2:

• MMLU500: 465/500 = 93.0%
• GPQA198: 149/198 = 75.25%
• Coding100: 76/100
• LBC100: 77/100

RL2 was selected because it preserves the core public gates while reducing the heavy-thinking/non-closure failure modes. RL1 remained a fallback, but its GPQA contrast run was stopped at 81/117 = 69.23%, making RL2 the stronger final candidate for this release objective.

LynnStyle GGUF tiers are mixed-precision designs, not uniform low-bit cuts. Core layers, hot experts, routers, attention paths, lm_head, and MTP stay protected, while cold experts and lower-sensitivity tensors can go lower-bit. Each tier must pass runtime and evaluation gates before publication.