DeepSeek开源DeepGEMM与FlashMLA 算子 AI生成ForgeKernel性能反超人工调优

大型语言模型推理性能长期受限于矩阵乘（GEMM）与注意力机制的高访存开销。以单层Transformer为例，含8次GEMM运算，理论算力需求约137 GFLOP，但因数据搬运量大（549 GB），在H800 GPU上实际延迟达164毫秒，远高于理论0.14毫秒。为突破瓶颈，DeepSeek开源推理框架DeepInfer及两大核心算子：DeepGEMM通过分块、共享内存复用与Tensor Core调度，将算术强度提升至接近硬件平衡点（H800为95 BF16），显著降低HBM访问频次；FlashMLA则针对KV cache膨胀问题，融合低秩分解、流式合并与GEMM-softmax联合计算，在s,q,k=128K时仅需128KB显存，保持精度不变。该框架已部署线上服务，单集群日均处理155万亿Token，兼容英伟达与昇腾950芯片。值得注意的是，一周后完全由AI生成的ForgeKernel横空出世，在SOL-ExecBench与CANNBench中分别取得0.812724 SOL Score与8566.11总分，领先第二名25%，并在DeepSeek v4.1 Flash模型任务上反超其人工调优版本。其优势源于AI对FP8量化、两级累加等边界条件的精准建模与调度探索，验证了算子优化正从“工程师手调”转向“AI驱动工程”。行业影响深远：算子效率每提升20%，单位Token成本即降近20%，云厂商年省数百万美元电费；国产框架与AI自优化能力双突破，推动中国在AI基础设施层实现并跑乃至局部领先。当前挑战仍存于可解释性与泛化性，但技术路径已发生根本转变。