MOSS-Image 小文本编码器适配器 (MOSS-Image Mini Encoder Adapters)
本项目使用 Qwen3.5 (0.8B / 2B / 4B) 替换 MOSS-Image 原生庞大的 Qwen3.5-9B 文本编码器。
基础语言模型在推理时全程冻结，通过一层自包含的轻量级逐 Token 线性投影层，将学生模型的隐藏状态直接映射至 MOSS-Image DiT 期望的 4096 维条件空间，在显著降低显存门槛的同时保留语义表征能力。
- 💻 配套开源代码与自定义节点：1cyberlangke1/moss-image-mini-encoder
适配器文件清单
| 文件名 | 适配学生尺寸 | 目标量化格式 | 文件体积 | 验证集余弦相似度 | 相对 L2 误差 |
|---|---|---|---|---|---|
qwen3.5-0.8b_linear.safetensors |
0.8B | bf16 | 48.1 MB | 0.85192 | 0.5237 |
qwen3.5-0.8b_int8_linear.safetensors |
0.8B | int8 | 48.1 MB | 0.85169 | 0.5241 |
qwen3.5-0.8b_w4a8_linear.safetensors |
0.8B | w4a8 | 48.1 MB | 0.84997 | 0.5268 |
qwen3.5-2b_linear.safetensors |
2B | bf16 | 96.1 MB | 0.87478 | 0.4846 |
qwen3.5-2b_int8_linear.safetensors |
2B | int8 | 96.1 MB | 0.87474 | 0.4846 |
qwen3.5-2b_w4a8_linear.safetensors |
2B | w4a8 | 96.1 MB | 0.87326 | 0.4873 |
qwen3.5-4b_w4a8_linear.safetensors |
4B | w4a8 | 120.1 MB | 0.89692 | 0.4422 |
⚠️ 匹配注意事项：不同尺寸的学生模型（0.8B / 2B / 4B）特征维度不同，不可跨尺寸混用（会报维度错误）；同尺寸下的不同量化格式（如 bf16 / int8 / w4a8）虽能正常加载，但交叉使用可能导致特征轻微漂移、可能会损失生成效果，建议优先搭配对应量化版本的专属适配器。
快速上手 (ComfyUI)
- 安装节点：进入
ComfyUI/custom_nodes，克隆代码仓库：git clone https://github.com/1cyberlangke1/moss-image-mini-encoder.git
- 放置学生模型权重：将下载的 Qwen3.5 学生模型放入
ComfyUI/models/text_encoders/。 - 放置适配器权重：将本仓库下载的对应
.safetensors适配器放入ComfyUI/models/moss_encoder_adapters/。 - 连接工作流：
MossCLIPLoader(学生权重, type="moss_image", adapter) ──> CLIP ──> CLIPTextEncode ──> KSampler
设计定位与技术特性
- 纯线性空间投影：不改动学生语言模型本身的任何参数，仅学习标准化隐状态空间到教师特征空间的投影矩阵，推理无额外计算负担。
- 高代表性训练数据：训练基于涵盖中英文连续描述、标签流、MOSS 排版 JSON 及负向提示词等多源综合语料。
- 同构词表天然对齐：Qwen3.5 系列模型共享完全一致的分词逻辑与 Token ID，保障了逐 Token 空间映射的语义一致性。
已知约束
- 模型专属输出：投影层输出维度固定为 4096 维，专门适配 MOSS-Image 的 DiT 条件输入。
- 提示词长度范围：训练集覆盖中短篇幅文本（最长约 3200 token），超长输入可能超出拟合分布。
致谢与参考
- ComfyUI-ClipProj — 投影层训练与特征处理参考
- moss-image-smaller-encoder — 适配器格式与命名规范参考
- MOSS-Image — MOSS 扩散模型与布局规范
- Qwen3.5 — 基础语言模型