DeepSeek开源DeepGEMM与FlashMLA算子，AI自动生成算子ForgeKernel登顶评测榜

大型语言模型（LLM）推理的性能瓶颈长期集中在矩阵乘法（GEMM）与注意力机制计算上。以单层Transformer为例，Q/K/V/O四个投影、MLP的两个线性层以及注意力本身共涉及8次GEMM运算，占整层推理FLOPs的绝大部分。当输入规模达到4096×4096×4096量级时，理论算力需求约137 GFLOP，而H800 GPU的BF16峰值算力达989 TFLOP——理论上仅需0.14毫秒即可完成。但朴素实现因访存开销巨大（约549 GB数据搬运），在HBM带宽3.35 TB/s下需164毫秒，实际延迟比理论慢千倍。这一矛盾催生了对GEMM底层调度与内存复用的深度优化。

DeepSeek在其开源推理框架DeepInfer中，系统性拆解并重构了关键算子。其中，DeepGEMM聚焦于GPU上矩阵乘的硬件适配：通过分块（tiling）、共享内存缓存重用、Tensor Core调度等手段，将算术强度从朴素版的约2 FLOP/Byte提升至接近硬件平衡点（H800为95 BF16）。其核心策略是让同一数据在片上被多次复用——例如将输出划分为128×128小块，使A矩阵的128行与B矩阵的128列在shared memory中反复参与计算，大幅降低HBM访问频次。图1清晰展示了Hopper架构下线程分工、软件流水与WGMMA（Weighted General Matrix Multiply Accumulate）指令的协同机制：TMA（Tensor Memory Accelerator）负责高效搬运权重与激活，WGMMA执行64×N块矩阵乘，而promote阶段则将中间结果写回全局内存，三者时间重叠以掩盖访存延迟。

另一关键算子FlashMLA（Flash Multi-Layer Attention）则针对注意力计算中的KV cache膨胀问题进行代数重构。传统FlashAttention需完整保留K、V矩阵用于后续token生成，而MLA（Multi-Layer Attention）通过引入低秩分解与缓存压缩技巧，将KV cache体积显著缩小。FlashMLA在此基础上进一步融合GEMM与softmax计算流：如图3所示，它将S=QKᵀ/d的计算拆为两个GEMM阶段（GEMM①与GEMM②），中间插入逐行归一化的softmax，并在解码阶段采用KV block流式合并策略，避免显式存储完整S矩阵。该设计使单头注意力在s,q,k=128K时仅需约128KB显存，同时维持与朴素实现一致的数值精度。

值得注意的是，DeepGEMM与FlashMLA并非仅停留在理论层面。据DeepSeek披露，其DeepInfer框架已部署于线上服务，单集群日均处理155万亿Token，按谷时电价计算每GPU小时收入约38美元。该框架兼容英伟达GPU与华为昇腾950芯片，标志着国产推理栈在异构硬件支持上的实质性进展。

然而，技术演进的速度远超预期。就在DeepSeek开源其人工逐行调优的算子一周后，一个名为ForgeKernel的项目横空出世——它完全由AI自动生成，未经过任何人工干预。截至2026年10月22日，ForgeKernel在两大权威算子评测榜单中均位列第一：在英伟达主导的SOL-ExecBench与FlashInfer-Bench合集（B200平台）中，SOL Score达0.812724，平均加速比5.47×；在昇腾CANN官方维护的CANNBench A3硬件榜中，总分8566.11，领先第二名25%。更关键的是，在DeepSeek v4.1 Flash模型的相同算子任务上，ForgeKernel以纯AI迭代方式实现了对DeepSeek人工版本的性能反超。

这一结果揭示了一个转折点：算子优化正从“工程师手调艺术”转向“AI驱动工程”。过去，顶尖工程师需深入理解CUDA warp调度、Tensor Core矩阵切分、FP8量化对齐等细节，耗时数周才能逼近硬件极限（如DeepSeek宣称其手调版本已达90%+利用率）。而ForgeKernel证明，AI可在更短时间内探索更大搜索空间，自动发现人类易忽略的调度组合——例如图2中展示的FP8分块量化与两级累加（promotion）协同机制：每个K块必须在累加前完成scale回写，否则会因Tensor Core对齐要求导致性能骤降；而AI能精准捕捉此类边界条件并生成合规代码。

行业影响正在显现。算子效率直接决定单位Token成本：在相同硬件下，算子性能提升20%，即意味着推理成本下降近20%。对云厂商而言，这意味着每千卡集群年节省数百万美元电费；对开发者而言，开源的DeepInfer与高性能算子降低了部署门槛。更重要的是，国产框架与AI自优化能力的双重突破，使中国在AI基础设施层具备了与国际巨头并跑甚至局部领先的潜力。

需要指出的是，AI生成算子仍面临可解释性与泛化性挑战。当前ForgeKernel的优异表现集中于特定模型结构（如DeepSeek v4.1 Flash）与硬件平台（H800、昇腾950），尚未证明其在通用场景下的鲁棒性。但其登顶事实已倒逼整个社区重新评估“人工调优不可替代”的传统认知。

算子层的竞争，已成为大模型落地的关键战场。当模型架构趋同、数据壁垒渐平，最终决胜点落在“同样一块芯片，谁能榨取更多算力”。DeepSeek开源DeepGEMM与FlashMLA，既是技术透明化的示范，也为生态共建铺路；而ForgeKernel的崛起，则预示着AI不仅用于训练模型，也开始自主构建支撑模型运行的底层引擎。这场从“人调算子”到“AI造算子”的演进，正在重塑AI基础设施的技术路径。