网通社科技快报

Inkling 2 Mini 26.4B模型20GB内存本地运行 实现循环架构突破

2026年11月20日,由前OpenAI CTO米拉·穆拉蒂联合创办的Thinking Machines Lab(TML)开源Inkling 2 Mini模型。该模型总参数26.4B,仅需约20GB内存即可在消费级设备本地部署,32GB内存MacBook Pro可离线运行复杂软件开发与多智能体协同任务。其核心创新为循环Transformer架构:物理层共24层,首尾各6层各执行1遍,中间12层循环3遍,实现48层逻辑深度但权重仅24层规模。团队引入Attention Residuals门控机制,使循环中信息流可控,训练后期逐步开放跨轮融合。该设计显著提升推理效率——在512k token长程智能体轨迹推理中,非循环模型需多耗140%算力才能达到同等损失;在GPQA Diamond测试中,5次循环比1次循环思维链长度减半(1661 vs 3703 token),输出更精简高效。性能方面,Inkling 2 Mini在DeepSWE v1.1达48.2%、SWEBench Pro v2 (Hard)达77.9%,优于Qwen3.8-27B与Gemma 4 31B等同级模型,尤其在长期代码生成任务中表现突出。工程上采用全流程低比特训练:前20层用4-bit NVFP4,后4层保留8-bit MXFP8; 部署权重与训练精度一致,避免量化衰减,支持Hugging Face与Ollama直接加载。对比Qwen3.8-27B,其计算量仅为三分之一、成本六分之一、推理速度快约4倍,且激活参数少5倍以上,处于智能与规模帕累托前沿。当前模型已开放权重,社区可获取变循环研究版TML-d24-varloop-research深入探索,标志着端侧大模型正从‘堆参’转向‘架构优化’新路径。