KVCache推倒存储墙，大模型推理爆发下的存算融合新路径

每天500万亿个Token的消耗量，正在重塑AI基础设施的底层逻辑。据中国信息通信研究院统计，中国日均Token调用量在一年多时间内增长约5000倍——从2024年初的1000亿，飙升至2025年8月的500万亿。这一爆炸式增长背后，是大模型推理负载的结构性转变：从简单的一问一答对话，转向能感知、规划并执行复杂任务的AI Agent。而每一次Agent调用，往往涉及数十轮交互、数万Token上下文，对推理系统的存储能力提出前所未有的挑战。

推理的核心环节——自回归解码，要求模型每生成一个新Token，都需回溯全部历史上下文。若每次重新计算，算力将被海量重复运算耗尽。为此，KV Cache机制应运而生：它将注意力机制中Key与Value的中间结果缓存起来，以“存”换“算”，显著降低计算开销。但这一优化埋下隐忧：缓存数据随上下文增长持续累积，而存储空间却捉襟见肘。

当前主流方案是将KV Cache卸载至外部共享CXL内存池，通过CXL交换机实现内存资源与CPU解耦，从而弹性扩容并支持多主机共享。该方案部分缓解了容量不足问题，却未能根治另一痛点：GPU访问外部存储的带宽与延迟劣势。无论是经PCIe还是网络链路访问CXL内存池，其性能与本地GPU显存相比存在数量级差距。“数据在外部存储和GPU之间搬运的开销，往往会拖累推理性能”，联想集团首席科学家肖利民指出。

问题根源在于硬件演进失衡：过去二十年，服务器峰值浮点算力每两年增长约3倍，而DRAM带宽仅提升1.6倍，互连带宽更只有1.4倍。这构成了计算机体系结构中经典的“存储墙”——算力越强，数据搬运瓶颈越突出。大模型推理的爆发，并非制造了新问题，而是将这堵旧墙重新推至台前。

在此背景下，“存算融合”思路逐渐清晰：与其让数据长途跋涉奔赴算力，不如将计算单元移至数据旁。肖利民提出的路径是，将内存池化技术与近存计算（Processing Near Memory, PNM）结合，构建面向大模型推理的存算融合池化系统：前者解决KV Cache的大容量扩容与跨实例共享；后者则在内存池侧嵌入轻量计算单元，将Attention等访存密集型算子下沉处理，仅回传结果，从而整体降低端到端时延、提升系统吞吐。

技术路线选择上，行业主要分三类：CIM（存算一体）、PIM（存内计算）与PNM（近存计算）。前两者将计算单元直接集成于存储芯片内部，带宽高、延迟低，但需重构存储器物理结构，与现有软硬件生态兼容性差，产品化门槛极高。相较之下，PNM将计算单元置于内存控制器附近——既拉近计算与存储距离，又不改动存储器本体结构，最大程度保留现有生态兼容性。“我们未来要真正落地做产品化实现，兼容现有生态的路径会有很大优势”，肖利民强调。

然而，PNM落地仍面临关键挑战。首要难题是计算单元的物理部署策略：既要足够靠近存储，又要避免对现有系统架构造成颠覆性改动。选定内存控制器位置后，还需解决功耗、散热、信号完整性及与主流GPU驱动栈的协同问题。此外，如何定义“近存”的合理边界——是紧贴DDR PHY，还是位于内存通道中间？不同方案对延迟改善幅度差异显著，需结合具体推理负载建模验证。

值得注意的是，这一挑战已超出单一厂商范畴，上升为基础设施层的战略命题。英伟达CEO黄仁勋提出的“AI五层蛋糕”模型中，云基础设施层被定位为“AI工厂”，核心任务是规模化制造词元（Token）。而词元经济的高效运转，依赖于底层硬件能否支撑实时生成式计算——这恰恰是KV Cache与存储墙矛盾的宏观映射。

当前，国内首个全国产10万卡人工智能超集群已于2026年投用，智能算力规模达去年同期2.8倍。但中国信通院数据显示，2025年用算量仅占供算量的36.8%，暴露了算力供给与服务效率之间的断层。其中，推理环节因KV Cache膨胀导致的存储瓶颈，已成为制约“用算”转化的关键堵点之一。

业界尝试多种缓解手段：压缩KV Cache（如量化、稀疏化）、动态截断长上下文、分层缓存策略等，但均属权宜之计。真正可持续的解法，仍指向体系结构层面的革新。肖利民认为，现阶段算力基础设施不会断崖式重写，但推理负载的新特性正倒逼创新技术加速引入。“存算融合池化技术就是这个演进过程中一个非常重要的技术点。”

从产业节奏看，CXL 3.0标准已支持内存池化与近存计算初步集成，部分厂商开始推出带计算加速模块的CXL内存条原型。不过，大规模部署仍需等待软件栈适配成熟——包括CUDA/ROCm对近存计算单元的抽象支持、推理框架（如vLLM、TensorRT-LLM）对分层KV管理的原生集成。

可以预见，在未来2–3年内，面向大模型推理的专用基础设施将呈现“三层存储+近存计算”新范式：GPU显存承载热KV（近期上下文），CPU直连内存存放温KV（中程上下文），CXL内存池容纳冷KV（长历史），而近存计算单元则驻守在CXL内存控制器侧，专司Attention计算卸载。这种架构既延续现有生态，又实质性突破存储墙限制。

当500万亿Token的日消耗成为常态，基础设施的胜负手，早已不在算力峰值，而在数据与计算的物理距离之间。KV Cache曾是推理效率的救星，如今却成了推倒存储墙的杠杆——而墙的另一侧，是通往高效AI服务的必经之路。