Qwen团队发布FlashQLA算子库 线性注意力推理提速3.2倍显存降41%

面对百万级序列长度下传统softmax注意力O(N²)计算与显存瓶颈，Qwen系列模型采用“三层GDN线性注意力+一层softmax”的混合架构。为提升GDN线性注意力的GPU推理效率，阿里巴巴Qwen团队在AICon 2026深圳站发布自研FlashQLA算子库。该库聚焦三大系统挑战：递推式计算导致并行度低、中间状态频繁读写引发冗余访存、大量SFU操作拖累吞吐。优化方案包括：一、引入WY表示法，以chunk size=64进行块级处理，将向量递推升级为矩阵运算，适配Tensor Core；二、采用序列并行策略，沿序列长度切分任务并设计低开销状态同步协议；三、利用遗忘门α的滑动窗口特性，动态截断无效历史状态；四、对关键公式进行硬件友好代数改写，如除法转乘法查表、指数用多项式拟合；五、实施warp specialization，为不同计算阶段定制CUDA warp指令流。实测显示，在A100 GPU上，FlashQLA相较朴素实现推理速度提升3.2倍，显存占用下降41%，Qwen-3.5端到端延迟降低27%。该算子库已深度集成至Qwen生态，支持Hugging Face Transformers、vLLM与TGI等框架，并开源核心模块供社区调用，推动线性注意力从‘可用’迈向‘好用’。