Strata 0.2.4 实现12GB显卡本地运行DeepSeek V4.1Flash模型

开源推理框架Strata 0.2.4正式发布，首次实现仅需一张RTX 3060 12GB显卡搭配46GB系统内存与高速NVMe SSD，即可在普通台式机或高性能笔记本上本地运行DeepSeek V4.1-Flash完整架构模型。该模型为DeepSeek推出的高效MoE推理版本，原始规模庞大，经极限量化后最小版本仍需239GB存储空间。Strata的核心突破在于引入「热门专家缓存」机制：推理时动态调用活跃专家模块，高频专家常驻内存，其余暂存SSD按需加载，显著缓解显存压力。实测显示，RTX 3060 12GB配置在IQ2_XXS（2.00-bit）量化下稳定输出8–10 tokens/s；性能受SSD带宽、CPU调度影响明显，同显存的RTX 5070反而仅约5 tokens/s。Strata提供三档量化方案：IQ1_M（1.75-bit/239GB）、IQ2_XXS（2.00-bit/257GB）、IQ2_XS（2.25-bit/274GB），其中最激进版本在基准测试中仍保持原版98.7%性能。框架同步集成AVX-512优化、长提示加速及DSpark推测解码功能，后者在多卡场景可提升至55–69 tokens/s。安装支持Windows PowerShell与Linux脚本一键部署，当前仅限命令行终端使用，GUI版待后续更新。此次适配依托DeepSeek V4.1-Flash本身高效架构——其10月登顶Code Arena榜单，并针对WorkBuddy等生产力平台优化推理路径。行业层面，12GB显存门槛大幅降低个人与中小企业尝试成本，推动大模型从云服务向本地资产迁移，尤其利好隐私敏感场景。项目已开源至GitHub，标志本地大模型生态进入实用化阶段。