线性注意力技术演进路线解析，从DeltaNet到KDAv2的轻量化复刻路径

近年来，随着大语言模型参数规模持续膨胀，推理成本与显存占用成为落地瓶颈。在这一背景下，线性注意力（Linear Attention）作为一条独立于传统Softmax注意力的技术路线，逐步从学术探索走向工程实践，为轻量化复刻大模型提供了可行路径。

线性注意力并非单一论文成果，而是一条持续演进的技术脉络。其起点可追溯至2020年EPFL团队发表的《Transformers are RNNs》，提出用核函数近似softmax操作，将注意力计算复杂度从O(T²)降至O(T)，首次实现真正线性的序列建模能力。该方案虽牺牲了部分表达力，但为长序列处理打开了新窗口。

此后，2021年IDSIA团队在ICML发表DeltaNet，引入Delta Rule机制，通过递推方式更新隐藏状态，进一步提升效率与稳定性。DeltaNet的核心在于将注意力权重建模为对历史状态的增量修正，而非重新计算全部token交互。这一设计显著降低了状态维护开销，并为后续门控机制奠定基础。

2023年MIT团队在NeurIPS推出Gated Linear Attention（GLA），在DeltaNet基础上增加门控单元，允许模型动态决定哪些历史信息应被保留或遗忘。该改进有效缓解了线性注意力固有的“状态混叠”问题——即旧信息过度干扰新输入导致的误差累积。

2024年，同一团队发布Parallel DeltaNet，通过并行化Delta Rule计算，使推理速度随序列长度增长保持线性，解决了早期线性注意力难以高效利用现代CPU多核架构的短板。至此，线性注意力在理论完备性与工程实用性上均取得关键突破。

2025年，月之暗面（Moonshot AI）相继公开Kimi Linear（KDA v1）与Kimi K3（KDA v2），标志着该技术路线进入工业级应用阶段。KDA v1基于DeltaNet框架优化核函数设计；KDA v2则融合GLA与Parallel DeltaNet思想，引入更精细的状态控制逻辑，并适配MoE（混合专家）架构，在保持线性复杂度的同时显著提升建模能力。

图中展示了DeltaNet关键超参alpha的影响：alpha增大时，模型倾向于保留更多历史信息，但随之而来的是状态混叠加剧，最终检索误差上升。这揭示了线性注意力中“记忆保真度”与“抗干扰能力”之间的根本权衡。

从技术架构看，线性注意力组件已能较好嵌入主流大模型结构。如图2所示，Kimi Delta Attention模块可替代标准MLA（Multi-Layer Attention），并与MoE、Norm等层无缝集成；其内部采用树状专家路由与线性核组合，既维持轻量特性，又增强局部表达能力。右侧结构图清晰呈现了Shared Expert与Routed Expert的协同机制，以及Router如何根据输入动态分配计算资源。

值得注意的是，所有线性注意力变体共享一个共性挑战：状态检索误差（State Retrieval Error）。该误差源于线性近似对原始softmax分布的失真，表现为模型在读取历史状态时无法精确还原目标值。不同变体对此的应对策略各异：

• 基础Linear Attention仅依赖纯加性核，误差随序列增长快速累积；
• DeltaNet通过Delta Rule引入状态修正项，误差增长趋缓；
• Gated DeltaNet加入遗忘门，可在关键位置主动清零干扰项，误差曲线出现阶段性回落；
• KDA v1进一步优化核函数形式，降低初始误差基线；
• KDA v2结合并行计算与门控，使误差波动幅度最小化。

上图对比了四种方案在序列推进过程中的检索误差变化。虚线处为“目标值切换”节点，模拟输入语义突变场景。可见，基础Linear方案误差剧烈震荡，而KDA v1在切换点后迅速收敛，体现其更强的适应性。这也解释了为何KDA系列被用于Kimi K3等实际产品中——它在保持低计算开销前提下，最大限度保障了长上下文一致性。

当前，该技术路线已具备全CPU复刻大模型组件的能力。相关开源项目（如GitHub上的Mod系列）提供可运行的Gradio Demo与可视化脚本，支持在无GPU环境下验证各模块行为。这种“缩小版但结构忠实”的复刻策略，有助于研究者理解大模型内部运作逻辑，尤其适用于边缘设备部署、教育演示与算法教学场景。

需强调的是，线性注意力并非万能解法。其本质是用建模精度换取计算效率，在需要强全局依赖的任务（如长文档推理、复杂逻辑链推导）中仍存在局限。FlashAttention等分块优化方案在GPU上仍具性能优势；而RetNet、RWKV等递推式架构则在特定硬件平台表现突出。技术选型需依据具体任务需求与部署环境综合判断。

目前，除Moonshot AI外，DeepSeek V4、PI0.5与PI0.7等模型亦不同程度采纳线性注意力思想，表明该路线正从边缘探索走向主流补充。未来演进可能聚焦于：1）与稀疏注意力混合使用以兼顾精度与效率；2）结合量化与蒸馏技术进一步压缩；3）探索更适合语音、视频等多模态序列的线性核函数。

线性注意力的发展印证了一个趋势：大模型轻量化不再局限于剪枝或量化，而是深入架构底层，通过算法创新重构计算范式。这条路径虽未取代标准Transformer，却为资源受限场景下的模型部署提供了切实可行的替代方案。