sd3_medium_incl_clips

74 downloads 0 likes on ModelScope updated

Model card

sd3_medium_incl_clips.safetensors 是 Stability AI 发布的 Stable Diffusion 3(SD3)Medium 版本模型的一种打包形式。以下是对它的详细介绍:

  1. 类型

    • 这是 Stable Diffusion 3 中 “Medium” 大小(约 20 亿参数)的权重。
    • 属于 MMDiT(Multimodal Diffusion Transformer) 架构。
  2. 包含内容

    • “incl_clips” 表示这个 checkpoint 内置了两个 CLIP 文本编码器(CLIP‑G 和 CLIP‑L)。
    • 不包含 T5‑XXL 文本编码器(相比另外几个版本,比如 sd3_medium_incl_clips_t5xxlfp8 / …t5xxlfp16)。
    • 因为有 CLIP encoder,所以在 ComfyUI 的环境下可以像常规 checkpoint 一样直接使用,无需额外把 CLIP 模型单独加载。
  3. 许可证

    • 模型使用 Stability AI 的 Community License(社区许可)。
    • 有商业使用限制(如果年营收超过一定阈值需要其他授权) 。

使用建议和注意事项

  • 在 ComfyUI 中使用时,把这个 .safetensors 放到 models/checkpoints/ 目录。
  • 同时确保有 CLIP 模型(clip_g 和 clip_l)在 models/clip/ 目录中,这样模型的文本条件部分才能正常工作。
  • 对于提示 (prompt):可以尝试较长、详细、描述性的文本,因为 SD3 对复杂提示的理解比之前版本更好。
  • 如果想要更强的文本理解 /更复杂的 prompt 对齐,可以考虑使用包含 T5 编码器的版本 (…t5xxl…),但那会更占资源。

局限 /潜在缺点

  • 缺少 T5-XXL:没有 T5-XXL 编码器的话,在某些复杂 prompt 或非常长 prompt 下理解可能不如完整版。
  • 显存 /存储仍然较大:虽然比大型版本轻,但 .safetensors 文件和运行时仍然需要较可观资源。
  • 文本渲染细节:在渲染文字 (typography) 或非常细致文字内容时,可能不如某些专门调优版本。

SDK下载

#安装ModelScope
pip install modelscope
#SDK模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('SdtDevAi/sd3_medium_incl_clips')

Git下载

#Git模型下载
git clone https://www.modelscope.cn/SdtDevAi/sd3_medium_incl_clips.git

如果您是本模型的贡献者,我们邀请您根据模型贡献文档,及时完善模型卡片内容。