Strata0.2.2正式版发布,支持多显卡自由分工,Gyro模型推理提速最高30%
开源本地大模型运行工具 Strata 0.2.2 去除 Beta 标签正式发布,核心新增多显卡角色管理功能,用户可手动指定 Main/Helper/Off 角色;Gyro-S/M 量化模型在 NVID...
开源本地大模型运行工具 Strata 于近日发布 0.2.2 正式版本,移除了此前的 Beta 标识,标志着该工具进入稳定可用阶段。作为一款支持 Windows、macOS 和 Linux 的免费开源软件,Strata 的核心目标是降低大型 AI 模型的本地部署门槛——最低仅需 8GB 显存即可运行部分量化模型。此次更新虽距 0.2.0 测试版发布仅数日,但功能迭代迅速,重点聚焦于多显卡协同能力的精细化控制与推理性能优化。
多显卡自由分工:从自动调度到用户主导
- Main(主卡):负责最终模型层计算、草稿层生成及结果验证,是推理流程的核心执行单元;
- Helper(辅助卡):分担中间层计算任务与专家缓存(Expert Cache),提升整体吞吐;
- Off(禁用):完全不参与当前推理任务。
例如,在一台配备 RTX 3090(24GB)与 RTX 3060(12GB)的双显卡主机中,用户可将高性能卡设为 Main,中端卡设为 Helper,实现资源的差异化利用。这一设计显著提升了多卡系统的灵活性,尤其适用于显存差异较大或新旧混搭的硬件环境。值得注意的是,随着模型规模扩大与多卡协同复杂度上升,系统内存需求同步提高,实测建议至少 64GB RAM 以保障流畅运行。
Gyro 模型推理提速:NVIDIA 显卡最高提升 30%
本次更新同步优化了 Gyro 系列量化模型的推理性能。Gyro-S 与 Gyro-M 是基于 Qwen3.8-Flash-Next(128B 参数)压缩而成的轻量版本,通过权重量化与 SSD 分页技术,大幅降低显存占用:Gyro-S 仅需 27.6GB 显存,Gyro-M 则在更高精度与更大显存需求间取得平衡。二者均由开发者 agentionai 构建,旨在让消费级设备也能运行千亿级参数模型。
在 NVIDIA GPU 上,Strata 0.2.2 通过调整 GPU 计算策略,强化对专家网络(MoE)的处理效率。官方测试数据显示:
- RTX 3060 12GB 上,Gyro-S 解码速度从 33.6 tok/s 提升至 62.8 tok/s,增幅约 17%;
- 同卡运行 Gyro-M,从 50.6 tok/s 升至 56.1 tok/s,提升约 11%;
- 在较老的 Tesla P100 上,Gyro-S 解码速度提升达 30%,体现其对旧硬件的友好性。
硬件支持范围进一步拓宽
除性能优化外,Strata 0.2.2 显著扩展了兼容硬件清单:
- Apple Silicon Mac:首次支持 M系列芯片运行 Gyro-S/M。在 M4 Mac mini(32GB 内存)上,Gyro-S 实测解码速率为 9.1 tok/s,受限于内存容量,部分权重需从 SSD 动态加载;
- Intel Arc:Linux 平台新增对 Arc A750 等显卡的支持。在 8GB 显存 + 62GB 内存配置下,Gyro-S 达到 15.8 tok/s;
- AMD RX 6000 系列:针对 RDNA2 架构(如 RX 6700 XT、RX 6800、RX 6900 XT)构建专用推理引擎,但目前尚无实机验证报告,Windows 安装包也未完成编译;
- 老款 NVIDIA 显卡:Linux CUDA 12 安装包恢复对 Pascal(如 GTX 1080)、Volta(如 Tesla P100)等架构的支持。
用户体验关键改进
除核心功能外,0.2.2 版本还修复多项影响日常使用的痛点:
与行业趋势的呼应:软件定义算力价值
Strata 的快速迭代并非孤立现象。近期智源研究院发布的 FlagOS 2.2 同样强调“跨芯复用优化”,其九大算子库覆盖 1454 个算子,跨芯片整体性能提升约 27%;在昇腾 910B 上,GLM-5.3-Flash 的服务吞吐提升至优化前的 2.04 倍。两者共同指向一个方向:在硬件迭代周期长于模型更新周期的现实下,通过软件层深度优化,延长既有算力资产的生命周期。
Strata 的多显卡角色管理本质上是一种轻量级的“算子级调度”实践——它不依赖底层编译器重构,而是通过用户意图驱动任务分配,降低了高阶优化的使用门槛。这种“用户可控的协同推理”模式,为个人开发者与小型团队提供了接近专业级集群的弹性调度能力。
结语
Strata 0.2.2 的发布,标志着本地大模型工具正从“能跑”向“好用、可控、高效”演进。多显卡自由分工功能填补了用户侧精细化调度的空白,而对 Gyro 模型的性能优化与跨平台支持,则切实推动了千亿级模型在消费级设备上的落地可行性。随着开源社区持续贡献与硬件生态逐步完善,本地化 AI 推理的门槛仍在持续下探——未来,一台配备双显卡的台式机,或许真能成为个人研究者的“微型智算中心”。
