Qwen团队发布FlashQLA算子库，实现GDN线性注意力GPU高效推理

随着大语言模型处理的序列长度从数万向百万级跃升，传统softmax自注意力机制O(N²)的计算与显存开销已成为系统性瓶颈。为突破这一限制，Qwen与Kimi等主流模型已转向“线性注意力+softmax”的混合架构——其中大部分层使用线性注意力以降低复杂度，每隔若干层插入一层完整softmax注意力以保障长程建模能力。在AICon 2026深圳站，阿里巴巴Qwen团队算法工程师章程瑞东分享了《面向Qwen系列模型线性注意力的高性能优化实践》，重点介绍了其自主研发的FlashQLA算子库，旨在解决GDN（Gated Delta Network）线性注意力在GPU上的工程落地难题。

图示清晰呈现了注意力机制的演进脉络：从O(N²)平方级开销的Softmax注意力，到O(N)线性级的原始线性注意力；再到表达力更强的Gated Delta Network（GDN），最终形成Qwen 3.5–3.8中采用的“三层GDN+一层Softmax Attention”混合结构。该路径反映了行业在效率与建模能力之间寻求平衡的务实策略。

线性注意力的核心思想源于对矩阵乘法顺序的重新思考：若跳过逐行softmax归一化步骤，将KᵀV先压缩为d×d小矩阵，再与Q相乘，理论复杂度可从O(N²d)降至O(Nd²)。但原始线性注意力存在强数据依赖——每个token的状态需从前一token递推而来，难以并行化，且无法有效利用GPU张量核心（Tensor Core）。2025年初，杨松林提出的GDN模型通过引入更新门β和遗忘门α，显著提升了表达能力，成为当前最具实用价值的线性注意力变体之一。Qwen系列即基于GDN构建其主体注意力模块。

然而，GDN在实际部署中仍面临三大系统级挑战：一是递推式计算导致GPU线程并行度严重不足；二是中间状态频繁读写引发大量冗余访存；三是大量标量函数单元（SFU）操作（如指数、除法）拖累整体吞吐。为应对这些问题，FlashQLA提出一套端到端优化方案。

首先，在算法层面引入WY表示法（WY representation），将原本逐token的递推扩展为chunk-by-chunk处理。典型chunk size设为64，即每次处理64个token组成的块。具体流程包括：对块内K矩阵计算KKᵀ并求逆；利用该逆矩阵对KV做投影得到W与U；随后执行块级状态递推。此举使计算单元从向量级提升至矩阵级，从而适配Tensor Core的矩阵乘加速能力。

其次，在系统调度上采用序列并行（Sequence Parallelism）策略。不同于传统数据并行仅拆分batch维度，序列并行将单条长序列沿长度方向切分，由多个GPU设备协同完成状态传递。FlashQLA在此基础上设计了低通信开销的状态同步协议，避免因跨设备依赖导致的性能断崖。

第三，充分挖掘GDN中遗忘门α的滑动窗口特性。在推理阶段，若α趋近于0，则历史状态衰减迅速，可安全截断过久远的上下文；若α接近1，则需保留更长记忆。FlashQLA动态识别α的分布模式，在满足精度前提下自动启用局部窗口计算，减少无效状态维护。

第四，进行硬件友好的代数改写。例如将原公式中的除法运算转化为乘法+查表近似，将指数运算替换为多项式拟合，并对关键路径上的浮点运算重排以提升指令级并行度。这些改写在保持数值稳定性的同时，显著降低SFU负载。

最后，应用warp specialization技术：针对不同计算阶段（如状态初始化、块内投影、状态更新），为CUDA warp分配定制化指令流，避免分支发散与资源闲置。实测表明，在A100 GPU上，FlashQLA相较朴素实现提速达3.2倍，显存占用下降41%，且在Qwen-3.5模型推理中端到端延迟降低27%。

值得注意的是，FlashQLA并非孤立工具，而是深度集成至Qwen训练与推理生态。它支持Hugging Face Transformers接口，兼容vLLM与TGI等主流服务框架，并已开源核心模块供社区调用。这意味着第三方开发者可在不修改模型结构的前提下，直接替换原有线性注意力实现以获得性能增益。

当前高效注意力研究呈现两条主线：一类是“路由型”，如MoBA，通过固定分块筛选相关上下文；另一类是“压缩型”，如Linformer，将全局信息压缩为少量向量。北京邮电大学近期提出的MiTA则尝试融合二者，引入地标查询构建共享专家与可形变路由专家。尽管思路不同，但其目标一致——在O(N)复杂度约束下尽可能保留原始注意力的信息保真度。Qwen团队选择GDN路线，正是看中其在理论简洁性与工程可实现性之间的良好折衷。

线性注意力的实用化仍处攻坚阶段。一方面，其状态压缩机制天然限制极长程依赖建模能力，这也是混合架构必须保留少量softmax层的根本原因；另一方面，不同任务对注意力行为的需求差异显著——代码生成侧重局部连贯性，法律文书处理则需跨页语义关联，单一架构难以通吃。

FlashQLA的发布标志着线性注意力从“可用”迈向“好用”的关键一步。它不仅服务于Qwen自身迭代，也为整个行业提供了可复用的高性能工程范式。未来，随着更多硬件感知优化（如针对Hopper架构的DP4a指令适配）与算法-编译协同设计的深入，线性注意力有望在更长序列、更大模型规模下持续释放潜力。