RossiLH开源Kimi K3轻量化复刻 实现KDA并行解析与状态压缩

近期，开发者RossiLH在其GitHub项目中完成Kimi K3大语言模型核心注意力机制KDA（Kimi Delta Attention）的轻量化复刻，全程基于CPU环境实现，不依赖GPU或大规模训练，聚焦原理还原与工程验证。KDA作为应对长上下文推理的线性注意力变体，目标是在近似Transformer表达力前提下将解码状态存储与计算复杂度降至O(1)。其核心创新在于‘短卷积+线性递推’双轨机制：ShortConv采用宽度为4的因果一维卷积，为每个通道注入相邻4 Token的局部顺序信息，弥补无位置编码下的顺序感知缺失；配合SiLU激活与L2归一化，强化字符级局部模式识别能力。并行方面，KDA支持chunkwise并行与上下文并行（KCP）：前者将计算划分为token级并行预处理与head级循环递推，利用状态转移的仿射变换可组合性实现多Token解耦并行；后者允许对历史状态缓存进行分支克隆，支撑beam search等多路径生成任务。实测表明，采用bounded g_min * sigmoid策略可稳定避免64 chunk规模下的数值溢出，且safe_chunk_size随衰减系数g_min减小而显著降低，揭示超参数与并行粒度强耦合关系。项目配套Gradio Demo与可视化脚本，支持纯CPU交互验证各模块行为。该工作非完整模型复现，而是聚焦KDA模块的原理拆解与可实践验证，为理解国产高效推理架构提供关键切片，反映业界对轻量化大模型‘推理效率与内存占用同等重要’的共识演进。