Qwen3.8-27B-GGUF

Qwen3.8-27B（VLM，混合 Gated DeltaNet 架构）的安全对齐移除版，采用多方向子空间权重投影（Multi-direction, K=8, α=1.0）在权重空间永久移除拒绝行为，不依赖运行时 hook，推理行为与普通模型无异。基座模型：Qwen/Qwen3.8-27B（许可证 Apache-2.0，本模型遵循同一协议）

使用方式（llama.cpp / LM Studio）

# llama.cpp（带视觉）
llama-server -m Qwen3.8-27B-Abliterated-Q4_K_M.gguf --mmproj mmproj-Qwen3.8-27B-BF16.gguf -c 40960

LM Studio使用注意事项：加载时建议显式设上下文 ≥40960（思考链较长）。需要保证llama.cpp 版本大于等于2.30，否则无法有效识别三档推理参数！！！

⚠️ 免责声明（必读）

本模型仅供安全研究与学术用途（对齐机制分析、红队测试、越狱研究）。移除安全对齐后模型可能生成违法、有害或冒犯性内容，使用者需：

遵守所在地法律法规，禁止用于任何非法用途；
自行承担生成内容的审核与使用责任；
不面向未成年人或不知情第三方分发。

消融方法

多层提取拒绝方向（有害/无害提示均值差，含 massive-activation 掩码）
13 个方向 SVD → 取 top-8 正交基（占 4576 维隐藏空间的 0.17%）
投影 130 个列空间矩阵（o_proj / out_proj / down_proj，含 MTP 头）+ embedding 行空间
K=8, α=1.0：拒绝消失且通用能力无损

量化档位

文件	量化	大小	建议
Qwen3.8-27B-Abliterated-Q4_K_M.gguf	4-bit	~16.6GB	24G 显存首选
Qwen3.8-27B-Abliterated-Q6_K.gguf	6-bit	~22GB	高保真
Qwen3.8-27B-Abliterated-Q8_0.gguf	8-bit	~27GB	最高保真
mmproj-Qwen3.8-27B-BF16.gguf	不量化	0.87GB	视觉投影器（使用视觉能力时必需）

验证结论

消融验证：三档 × 三类，27/27 放行，无真实拒绝
推理回归：Q4_K_M（最差档）× 3 题 × 3 档 reasoning_effort = 9/9 正确，xhigh 档产出 11.5 万字符连贯归纳链，无智力损伤与推理混乱

reasoning_effort 三档（xhigh/medium/low）经 chat template 原生支持。

局限

校准集为英文犯罪小说类，其他类别覆盖有限
思考链较长，低上下文（8k）配置可能截断导致输出为空，请用 ≥40k 上下文

引用 / 致谢

消融方法基于 Arditi et al. 2024, "Refusal in LLMs is Mediated by a Single Direction" 及社区 Gabliteration 实践
感谢 Qwen 团队的基座模型

MoXiao_Qwen3.8_27B_GGUF

Model card