Inkling2Mini实测,26.4B模型20GB内存跑通,循环架构让笔记本胜任智能体开发
Thinking Machines Lab开源Inkling 2 Mini,总参数26.4B,仅占20GB内存,可在32GB内存MacBook本地运行。其创新采用中间12层循环3遍的结构,实现48层逻...
2026年11月20日,由前OpenAI CTO米拉·穆拉蒂(Mira Murati)联合创办的AI公司Thinking Machines Lab(TML)正式开源了Inkling 2 Mini模型。这款总参数量为26.4B的混合专家模型,仅需约20GB内存即可在消费级设备上本地运行——这意味着一台配备32GB内存的MacBook Pro或Mac Mini,无需联网、无需云端API,就能独立完成复杂软件开发与多智能体协同任务。
这一进展迅速引发开发者社区关注。Hacker News上相关帖子获赞超1200,不少用户将其类比为“本地版Sonnet 5.5”,称“现在只需16GB内存即可在笔记本运行此前需云端支撑的模型”。更关键的是,TML团队在演示中展示了离线场景下的实际能力:研究人员将48GB内存的M5 Pro MacBook Pro切换至飞行模式后,几分钟内即用该模型编写出一款可运行的飞行模拟器,并在同一设备上同步驱动20个像素小镇居民的日常互动行为。
Inkling 2 Mini的核心突破在于其独特的循环Transformer架构。传统大模型依赖堆叠更多网络层来增强推理深度,而该模型仅设24个物理层,分为四块:首尾各6层(第1–6层与第19–24层)各运行1遍,中间12层(第7–18层)则被设计为连续循环执行3遍。由此,每个token实际经历48层逻辑计算深度,但权重存储仍仅为24层规模。
为使循环机制有效运作,团队引入Kimi团队提出的Attention Residuals门控机制:从第二轮循环起,中间层可通过训练所得的门控开关,有选择地融合上一轮输出与初始特征。训练初期门控关闭以保障稳定性,后期逐步开放跨轮信息流。这种设计在算力成本上极具优势——TML在消融实验中指出,非循环模型虽训练阶段节省7.5%算力,但在512k token长程智能体轨迹推理中,需多消耗140%推理算力才能达到同等损失水平。
循环深度还带来一个直观改善:输出更精简、思维链更高效。在变循环研究模型TML-d24-varloop-research上测试GPQA Diamond科学推理题集时,单次循环平均需3703个推理token,而5次循环仅需1661个,思维链长度减半,但句子可读性与词表规范度未下降。模型并非“少说”,而是“想清楚再说”,减少了“等一下”“不对重来”等试探性回溯。
性能方面,Inkling 2 Mini在多项开源模型基准中表现突出:DeepSWE v1.1达48.2%(Qwen3.8-27B为42.2%,Gemma 4 31B为0.3%),SWEBench Pro v2 (Hard)达77.9%,SWEBench Verified (bash only)达79.2%,Vals Index v2.2达46.5%。这些成绩使其在100B参数以下开源权重模型中位居前列,尤其在长期智能体编程任务中取得同级别SOTA。
值得注意的是,其优势集中在代码生成与自主Agent任务,而在MultiChallenge(50.0%)、ComplexConstraints v1.1(33.4%)等复杂多约束指令跟随与高难度推理任务中略逊于Qwen3.8-27B。在人工智能分析指数(AII)中,Inkling 2 Mini排名第20位,得20分,与Qwen3.8-27B(xhigh)和Nanbeige4.3-33B相当,但激活参数分别少约5倍与6倍,处于智能与规模的帕累托前沿。
另一项关键工程创新是全流程低比特训练。不同于多数模型先以16-bit训练再量化压缩,Inkling 2 Mini从预训练到强化学习全程采用4-bit NVFP4精度(前20层),仅最后4层保留8-bit MXFP8精度。部署权重与训练精度完全一致,避免了后量化带来的性能衰减。配合Ollama等本地推理框架,用户可直接加载原生权重运行,无需额外转换。
对比来看,Inkling 2 Mini在相同AAI得分下,输出token数比Qwen3.8-27B多约38%,但计算量仅为后者的三分之一;成本约为其六分之一,推理速度则快约4倍(TML第一方定价:每百万输入/输出/缓存命中token分别为0.15/0.50/0.015美元)。
该模型的发布正值端侧AI落地加速期。同期,面壁智能在iPhone 18 Pro Max上实现35B-A3B模型以3GB峰值内存运行,解码速度达30 token/s;谷歌工程师甚至在14.1MB内存的办公打印机上运行2.7亿参数Gemma 3模型——尽管后者每token耗时60秒,属实验性质,但共同指向同一趋势:模型压缩与架构创新正使大模型从“云中心”向“设备端”迁移。
Inkling 2 Mini的循环机制提供了一条新路径:不靠盲目堆参,而通过时间换深度,在有限硬件资源下提升推理质量。它尚未解决所有问题(如多轮对话与强约束推理仍弱于顶级27B模型),但为开发者提供了真正可用的本地智能体开发工具。对于希望摆脱API依赖、保障数据隐私、或在断网环境工作的工程师而言,20GB内存跑26B模型已不再是理论可能,而是可立即部署的现实。
目前,Inkling 2 Mini已开放权重,支持Hugging Face与Tinker平台推理,社区亦可获取变循环研究版本TML-d24-varloop-research用于深度探索。随着更多开发者基于该架构进行微调与适配,循环Transformer或将成为中小规模模型提升效能的关键范式之一。
