Hugging Peers

Strata_Windows

☆ Save
by windecay visual-question-answering
6 downloads 14 likes on ModelScope updated

Model card

Strata Windows 轻量独立包 by ✿冰華

启动器版本 1.0.8，引擎基于 0.1.44.1 并包含 Windows NVIDIA 自动缓存缩减修正，保留独立桌面启动器、中英网页和 RTX 20～50 多架构构建配置。用户电脑无需安装 Python、CUDA Toolkit 或编译工具。

1.0.8 更新主引擎的自动专家缓存检查：CUDA 空闲量接近零时，按当前 Windows 进程的显存预算差额调整；不能读取可靠预算时使用小步重试，避免第三次零读数直接减少四分之一缓存。无需增加设置或修改 JSON。视觉编码器、配套 CUDA 内核和运行环境继续复用。上游新增的 NVFP4、Qwen3.6 和其他量化暂未加入本启动器的下载菜单。

1.0.6 自动识别兼容的聊天模板，修正关闭思考时历史空思考块可能引起的短答或残句。内置 IQ4、Swift IQ2／IQ3 和使用兼容模板的用户导入模型共用处理，不需要逐模型设置；真实思考、当前工具步骤和正文保留，未知模板保持原样，不能保证任意模型都适用。详细说明和退出选项见 docs/NONTHINKING_HISTORY.md。

保留日志刷新、速度显示、中文图片临时目录和配置备份规则。完成请求的 token 速度采用引擎 decode 统计，运行中墙钟估算标为 wall。本次增量包支持文件指纹匹配的 1.0.7；旧版本需先升级至 1.0.7，或使用新的完整包。未知程序修改会在写入前被拒绝。

轻量包包含启动器、Python／Qt、引擎、CUDA 运行库、网页、本地 GGUF 校验与转换工具，以及共用的 MTP 运行资源。不附带主模型、mmproj 或三套预制 pack。 模型文件就绪后，启动器在本机生成对应 pack，后续启动复用。

首次使用

  1. 解压整个 Strata 文件夹到可写的 SSD 目录，双击 Start-Strata.bat。
  2. 在顶部选择 IQ4_XS、Swift IQ2_XS 或 Swift IQ3_XXS。【IQ4_XS自带消融解锁，两个Swift短思考模型有薄甲】
  3. 打开“模型文件”页。已有模型时选择它所在的目录并保存；没有模型时点击“下载缺失文件”并确认。
  4. 点击“准备模型”，完成模型 SHA256 校验、pack 与 tokenizer 准备。进度见“运行日志”及其中列出的准备日志。
  5. 点击“启动服务”。就绪后按设置打开聊天网页。

直接点击“启动服务”也会检查模型文件，缺少 pack 时自动准备。缺少模型文件则停止，不会自动下载。下载按钮只下载模型，下载完成后再准备 pack。

准备时会自动打开“运行日志”。进度区显示当前校验文件的已读 GB、文件检查数量、生成 pack 的已写入大小和耗时。生成阶段没有可准确计算的总量时使用活动进度条；转换程序的详细日志同时显示在窗口里。只有准备进程成功退出后才显示完成。

首次校验会读取完整模型文件；首次准备需要额外的磁盘读写，耗时取决于 SSD 和 CPU。准备使用本地 CPU，不加载 GPU 模型，也不会改写原 GGUF。每套主模型 pack 约占 1.4 GiB；程序所在磁盘至少需要再有 2 GiB 可用空间来准备一套 pack。

参数设置

“设置”页中的内存预算、预留显存、上下文长度、图片 token 上限、端口和空闲卸载时间使用下拉框。数字以完整数值显示，例如 1,048,576 tokens，不使用科学计数法。可以直接选常用值，也可以输入自定义数值。已有的非标准数值会保留，输入无效时不会保存。

“专家内存分配”默认选择自动模式，由引擎加载时按可用内存决定预算。需要固定预算时，选择“手动设置内存预算”，再选择或输入 GiB 数值。灰色的手动值不参与自动分配。

设置按模型分别保存，重启服务后生效。修改前会保留带时间戳的原配置备份。中英切换保留未保存的设置。详细说明见 docs/WINDOWS_LAUNCHER.md。

默认上下文为 65536，KV 为 INT8，分发默认预留显存为 1536 MiB，MTP 草稿长度为 4，GPU 图像理解开启，图片上限为 1024 tokens。自动专家内存默认由引擎保留约 4 GiB 余量；不足时只让能容纳的常用专家驻留。

模型与文件

模型 API 模型 ID 配置 本地生成的 pack
Qwen3.8 Flash Next IQ4_XS qwen3.8-flash-next strata.json pack
Swift 1.5 IQ2_XS swift-1.5-iq2_xs strata-swift-iq2_xs.json packs/swift-iq2_xs
Swift 1.5 IQ3_XXS swift-1.5-iq3_xxs strata-swift-iq3_xxs.json packs/swift-iq3_xxs

IQ4 使用魔搭 groxaxo/Qwen3.8-Flash-Next-Heretic-GGUF 的 UD-IQ4_XS 固定版本，包含 41 个分片和 1 个 F16 mmproj，合计约 94.53 GB。完整文件名、大小和 SHA256 见 model-manifest.json，默认目录为 models/Qwen3.8-Flash-Next。

Swift 来自 ukisai/Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-GGUF，固定清单位于 profiles。IQ2 含 mmproj 约 69.06 GB，IQ3 含 mmproj 约 76.87 GB。两种量化共用一个 mmproj，默认目录为：

models/Swift-1.5/
  Swift-Qwen3.8-Flash-Next-GSQ-RCO-IQ2_XS-00001-of-00002.gguf
  Swift-Qwen3.8-Flash-Next-GSQ-RCO-IQ2_XS-00002-of-00002.gguf
  Swift-Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS-00001-of-00002.gguf
  Swift-Qwen3.8-Flash-Next-GSQ-RCO-IQ3_XXS-00002-of-00002.gguf
  mmproj-Swift-Qwen3.8-Flash-Next-BF16.gguf

只使用一种 Swift 量化时，只需它的两个分片与 mmproj。保持完整原文件名；.part、.xltd 等临时下载文件不视为完成。已有模型可以保持原位置，选择目录后不会复制一份大模型到程序目录。

下载入口支持表中三种固定配置。自己的 Flash Next GGUF 可以通过启动器的“导入本地模型…”添加。

导入自己的 Flash Next

  1. 停止当前服务，点击顶部“导入本地模型…”。
  2. 选择主 GGUF。分片模型请选择 -00001-of-…gguf，所有分片放在同一目录，保持原文件名。
  3. 显示名称可以自定义。需要图像理解时，选择与此模型匹配的 mmproj；只进行文字对话可以留空。
  4. MTP 默认不配置。可以选择已准备好的 Strata MTP 目录，或明确勾选使用包内原模型的 MTP。不能直接选择 llama.cpp 的 MTP GGUF。
  5. 点击“校验并导入”。启动器检查 GGUF 内部架构、模型尺寸、分片、专家量化、tokenizer 和聊天模板，并读取本地文件 SHA256。进度显示在“运行日志”。
  6. 导入完成后，模型出现在顶部列表中。点击“准备模型”在本机生成独立 pack 和 tokenizer，随后启动服务。

导入使用原有文件位置，不复制大模型、不联网下载，也不改写 GGUF。每个导入模型有独立的 profiles/custom-*.json 文件记录、strata-custom-*.json 配置及 packs/custom-* 目录；API 模型 ID 显示在“模型文件”页。内存、端口等参数分别保存。

目前接受此版本引擎可处理的 Qwen3.8 Flash Next qwen4exp 架构及相应模型尺寸，包含部分同架构衍生模型和量化格式。检查依据为 GGUF 的内部信息，文件名包含 Flash Next 不能证明兼容。其他架构、缺少分片或引擎无法处理的张量格式会拒绝导入。通过文件检查也不代表所有衍生模型都已经经过实际推理或效果测试。

没有配置 mmproj 时，图像理解选项不可用；没有配置 Strata MTP 资源时，MTP 选项不可用。选了 MTP 资源后仍默认关闭，需要在设置中选择草稿长度才能启用。包内 MTP 属于原模型，衍生模型的草稿接受率和速度需要实际测试。mmproj 的结构检查不能替代它与主模型的配套要求。

需要修改主模型、mmproj 或 MTP 路径时，在“模型文件”页点击“编辑已导入模型”。编辑时重新校验文件，保留旧记录和旧配置备份。替换过 GGUF 的内容时，请重新导入，不能沿用旧模型的校验记录或 pack。

校验、准备与复用

模型文件按固定清单验证大小与 SHA256。后续检查可复用文件未变化的校验记录；“校验文件”会强制重新读取模型 SHA256。

导入模型以首次本地读取的 SHA256 建立记录，用于识别后续文件变化；它不是发布者签名或网络来源验证。后续发现大小或 SHA256 改变时停止准备，需要重新导入。

pack 的记录绑定模型分片的名称、大小、SHA256 和准备工具版本。启动时复用有效记录；pack 缺失、内容损坏、模型来源或转换工具改变时重新准备。旧 pack 会保留为备份，新文件在独立临时目录中全部准备成功后才替换。

准备失败、超时或被停止时，不会把未完成的 pack 当作就绪，也不会改写原模型。重新点击“准备模型”可重新执行。下载中断则沿用经过身份检查的 .part 文件继续下载。

IQ4 准备会按引擎要求把部分小投影转换为 BF16，转换记录写入 conversions.json；专家权重和大型 PLE 表仍直接从 GGUF 读取。Swift 使用其原有转换规则。转换所需的 GGUF Python 工具已随程序提供，不需要下载 llama.cpp 源码。

MTP 运行资源是独立的 mtp/rt，本版仍随程序提供，三种模型共用。主模型 pack 在本地生成不代表能从主 GGUF 还原 MTP。MTP 草稿长度选择“关闭（0）”后关闭该加速；再次开启会复用原有 MTP 目录。

关闭 MTP 后，native 引擎仍保留其要求的普通 lookup 草稿参数；界面的 0 表示不加载 MTP，不表示把引擎的 --spec 设置为 0。

加载、卸载与停止

“加载模型”和“卸载模型”管理当前模型及视觉编码器。卸载后网页、API 服务和聊天记录保留，下次请求可以自动加载。生成或排队期间会拒绝卸载。

“停止服务”结束此启动器启动的服务。切换模型前停止当前服务，再选择目标模型启动。关闭启动器时，仍在运行的自有服务会要求停止后关闭。

从其他控制台启动的服务要从原入口停止。网页顶部的加载／卸载按钮不要求开启 API 请求记录。

默认网页为 http://127.0.0.1:18080/，兼容 API Base 为 http://127.0.0.1:18080/v1。地址与模型 ID 以当前所选模型配置为准。

命令行入口

分发根目录只保留 Start-Strata.bat：不传参数时打开启动器，传入命令行参数时进入控制台模式。模型选择、下载、校验、pack 准备和内存设置都可以通过启动器完成，不再附带各模型及各操作的独立 BAT 文件。

Start-Strata.bat --profile iq4_xs --model-dir "D:\Models\Qwen3.8-Flash-Next" --prepare-only --no-download
Start-Strata.bat --profile swift-iq2_xs --model-dir "D:\Models\Swift-1.5" --prepare-only --no-download
Start-Strata.bat --profile swift-iq3_xxs --download-only
Start-Strata.bat --profile iq4_xs --verify-models --prepare-only --no-download
runtime\python.exe -B tools\configure_memory.py --profile swift-iq2_xs --auto
Start-Strata.bat --list-models

--download-only 只下载或复用模型，不准备 pack。--verify-models --prepare-only 强制校验并准备 pack，不加载 GPU。

已导入的模型同样可使用 --profile 启动、准备和校验，具体 ID 通过 --list-models 查看；不提供自动下载。

硬件与验证范围

程序包含 NVIDIA RTX 20／30／40／50 对应的已编译代码。CPU 需要 AVX2，系统为 Windows x64，并安装兼容 CUDA 13 的 NVIDIA 驱动；驱动不包含在包内。

1.0.5 的三种模型本地 SHA256 校验、pack 生成与复用，以及文字、图片、多轮、EXIF 和 MTP 已在 RTX 4090 D 与 128 GB 内存上验证。这是原有引擎的历史记录。其他显卡系列只有编译覆盖，尚未实卡验收。自动内存分配和短功能检查不代表所有硬件、长上下文或任务的速度。

本次通用模板修正在 RTX 5090 原生引擎对照中，IQ4 的语法残句由 3/8 降至 0/8，Swift IQ2 由 1/4 降至 0/4；Swift IQ3 已有 20 次真实 SSE 完整性检查。样本不能保证所有会话的效果，曾记录一次逐字重复的故事回复，约 38K 的完整故障历史及长期 RP 尚未验收。本次打包不重新编译引擎或重复 GPU 推理；新的隔离安装、升级和回滚结果见交付目录的 verification.json。

自定义导入入口使用改名后的现有 Swift IQ2 GGUF 完成了实际校验、pack 生成、纯文字启动、加载／卸载，以及选配 mmproj／MTP 后的图片、多轮和 EXIF 检查。该结果验证导入流程，不代表所有 Flash Next 衍生模型都已验证。详情见 docs/WINDOWS_LAUNCHER.md。

局域网使用

在启动器“设置”页的“服务”中设置 API 监听地址、端口和可选 API Key。127.0.0.1 仅监听本机，0.0.0.0 监听所有接口，也可填写这台电脑实际分配的 IPv4 地址。API Base 会随地址与端口更新，可以直接复制。使用 0.0.0.0 时，启动器会显示可供其他设备使用的本机 IP 地址；0.0.0.0 本身只用于监听。

API Key 留空时不启用认证，本机和局域网监听都可以无密钥运行。 填写后启用认证，客户端使用相同密钥。输入默认隐藏，可以点击显示或生成新密钥。设置按模型保存，修改地址、端口或密钥后重启服务生效；启动器的状态查询和模型加载／卸载使用运行中服务的实际地址与密钥。

局域网客户端使用服务器实际 IP，例如 http://192.168.1.100:18080/v1。启用认证时填写所设置的 API Key，未启用时客户端不需要发送认证信息。

需要时由管理员允许专用网络中的本地子网访问：

New-NetFirewallRule -DisplayName "Strata API 18080" -Direction Inbound -Protocol TCP -LocalPort 18080 -Action Allow -Profile Private -RemoteAddress LocalSubnet

SimpAI Studio GPU 优先（可选）

此功能默认关闭，只有需要与 SimpAI Studio 共用 GPU 时才开启。设置适用于所有模型，保存在 launcher.json；修改后重启服务生效。

  1. 打开独立的“GPU调度”标签页，勾选“SimpAI Studio GPU 优先（可选）”中的启用选项。
  2. 填写实际 SimpAI Studio 地址，例如 http://服务器地址:端口/。保留反向代理的路径前缀，不填写 ComfyD 地址（如127.0.0.1:8188，这是错误的）。
  3. 保存并启动服务。启动器自动管理代理和内部端口；对外地址、端口及可选 API Key 沿用“服务”设置，客户端继续使用原 API Base。
  4. 点击“授权 SimpAI Studio…”，在打开的管理页进入 SimpAI Studio 正式授权页面，用管理员身份批准 read 和 node.read 只读权限。
  5. 启动器显示允许推理、等待授权、SimpAI Studio 忙碌或连接异常。可以通过“打开调度状态”查看详情，或复制运行中的 API Base。

开启后，Strata 仅监听自动分配的本机内部端口，并延迟加载模型。代理支持原来的局域网监听设置；授权管理页单独监听本机，不对局域网开放。授权凭据使用 Windows 当前用户加密，保存在用户的 Hyoka/Strata/studio-authorizations 应用数据目录，分发包不包含这些凭据。

SimpAI Studio 有本地排队、准备或运行任务时，中断代理中的 Strata 推理，再卸载模型。默认取消超过 3 秒后，仅在核对本机服务与子进程归属后结束 Strata 引擎，保留 HTTP 服务；设置为 0 可关闭此处理。

“恢复 API 转发前的空闲等待”沿用原来的秒级设置，默认 3 秒。计时结束后只重新允许 API 请求，不主动加载模型；收到推理请求或启用的原请求重试后才加载模型。

“自动重试尚未输出的请求”只适用于普通请求、尚未发送响应头或内容、客户端仍连接且未超时的情况。已经输出的流式回复会返回 studio_preempted，由客户端保留已有文字并重新请求；MCP 或工具调用不自动重试。

授权或 SimpAI Studio 状态读取异常时暂停新推理。队列监控不能保证在 SimpAI Studio 分配显存前完成释放。所有需要调度的客户端都应使用启动器显示的对外 API Base；直接访问内部服务会绕过调度。SimpAI Studio 的前处理若也使用同一代理，应检查它是否依赖被暂停的推理请求。

停止服务或关闭启动器时一起停止自有代理；切换模型后重新启动时自动使用新上游。代理异常退出时，启动器也会停止它管理的 Strata 服务。模型文件准备、校验和下载不会启动代理。

更新与许可证

这是固定版本程序，不自动替换为上游版本。更新程序时保留模型、配置、已生成的 pack／packs 和 mtp/rt；新工具会重新核对 pack 来源。更新说明见 docs/UPDATING.md，分发内容见 distribution-manifest.json。

启动器与 Windows 分发制作：✿冰華。Strata 原项目及其他组件的作者信息和许可证保留。

Swift 的原始 LICENSE、LICENSE-QWEN 与 NOTICE 位于 licenses/Swift-1.5。本地 pack 准备说明见同目录的 STRATA-PACK-NOTICE.txt。GGUF 转换工具的许可证位于 third_party/llama.cpp/gguf-py/LICENSE，Qt 许可证随独立运行环境保留。

可选 GPU 协调器的 GPL-3.0 许可证位于 tools/studio_priority/LICENSE，协调器使用独立子进程运行。

2026-10-15：1.0.6 更新

按模板结构自动处理非思考历史，保留显式 omit_empty_thinking_history:false 设置。升级包含 frontend、server、新的 serve/template_history.py 及使用说明，生成的 tokenizer／pack 和 GGUF 不变。升级前关闭目标启动器与服务，使用 Upgrade-Strata-1.0.5-to-1.0.6.bat；原程序文件备份到 rollback/upgrade-1.0.5-to-1.0.6，失败自动恢复，重复执行不重复写入。操作见 docs/UPDATING.md 文末。

2026-10-16。启动器／分发版本 1.0.7，引擎继续为 0.1.44.1。

“设置 → 常规 → 启动器”增加“启动后自动启用服务”，默认关闭。勾选后点击“保存设置”，下次打开启动器时自动启动上次选择的模型，沿用保存的 GPU、内存、上下文、API 地址、Key、浏览器和延迟加载设置。该开关适用于所有模型，中英切换保留未保存的输入。

自动操作通过原来的后台启动流程执行一次，不弹出启动确认，不保存未提交的模型设置，不自动下载缺失模型。模型不可用、端口被占用或启动失败时显示错误；手动停止后不会立即重新启动。

Windows 重启后也需要系统打开启动器。按 Win+R，输入 shell:startup，把原 Start-Strata.bat 的快捷方式放入启动文件夹。该用户登录后会打开启动器并自动启用服务。开关不会自行登记系统启动项，也不会安装无需登录的 Windows 服务。

本次同时发布此前的参数设置扩展：

  • 推理 GPU 选择，后台刷新显卡清单，按模型保存，保留缺失显卡及已有高级配置。
  • 常规、生成、性能、加载、兼容、多卡和 MCP 七组设置，减少手工修改 JSON。
  • 思考与采样默认值、重复惩罚、历史空思考块策略、KV／会话缓存、CPU 与预填充、加载期限和独立视觉显卡。
  • 多卡布局及 MCP 表单，代理域名、跨域来源和加载前操作。
  • 客户端共享默认值使用独立应用按钮，显式客户端参数优先；运行中应用通过现有 /settings。

1.0.6 → 1.0.7 增量包只包含变化的程序与文档，复用已验证的 0.1.44.1 原生二进制。升级校验包内 SHA256、已知 1.0.6 程序与引擎指纹；模型、pack、MTP、Python／Qt、CUDA、配置、API Key、语言和导入记录保留。原 README 和版本清单随替换文件备份，失败自动恢复，重复执行不重复写入。1.0.5 及更早版本需要先升级到 1.0.6。