线性注意力5年演进实现大模型轻量化复刻 从OT²到OT计算突破

人工智能领域近年聚焦大模型轻量化，线性注意力作为关键路径持续演进。2020年EPFL团队在《Transformers are RNNs》中首次用核函数近似softmax，将注意力计算复杂度从O(T²)降至O(T)，奠定线性建模基础。2021年IDSIA团队推出DeltaNet，引入Delta Rule递推更新隐藏状态，减少重复交互计算；2023年MIT发布Gated Linear Attention（GLA），增加门控机制缓解状态混叠问题；2024年Parallel DeltaNet实现并行化Delta Rule，提升多核CPU利用率。2025年月之暗面（Moonshot AI）公开Kimi Linear（KDA v1）与Kimi K3（KDA v2），融合GLA与并行设计，适配MoE架构，在维持线性复杂度前提下增强建模能力。各变体均面临状态检索误差挑战：基础方案误差随序列快速累积，DeltaNet趋缓，GLA可阶段性回落，KDA v2波动最小，尤其在语义突变点后收敛更快，保障长上下文一致性。技术已支持嵌入主流结构，替代MLA层并与Norm、MoE无缝集成；开源项目如Mod系列提供Gradio Demo，实现无GPU环境下的模块验证与教学演示。当前DeepSeek V4、PI0.5/0.7等亦采纳该思路，表明其正从探索走向主流补充。未来方向包括与稀疏注意力混合、结合量化蒸馏压缩、拓展至多模态序列建模。线性注意力代表大模型轻量化从剪枝量化转向底层算法重构的新范式，为边缘部署与教育场景提供切实可行路径。