500万亿Token日消耗下 KV Cache推倒存储墙 存算融合走向PNM新路径

中国日均Token调用量在一年多内增长约5000倍，从2024年初的1000亿跃升至2025年8月的500万亿, 推理负载转向高上下文AI Agent场景，使KV Cache机制面临容量与访问延迟双重压力。该机制虽通过缓存Key-Value中间结果降低重复计算，但其数据随上下文线性膨胀，加剧显存与内存瓶颈。当前主流卸载至CXL内存池方案可扩容共享，却难解GPU访问外部存储带宽低、延迟高的问题——PCIe或网络链路性能较本地显存差一个数量级。联想首席科学家肖利民指出，硬件演进失衡（算力两年增3倍，DRAM带宽仅1.6倍）使经典“存储墙”在大模型推理中重现。行业正转向系统性协同优化路径：近存计算（PNM）结合内存池化构成更现实的存算融合方案。相较需重构存储结构的CIM/PIM，PNM将轻量计算单元置于内存控制器侧，既拉近计算与数据距离，又兼容现有软硬件生态。其核心价值在于将Attention等访存密集型算子下沉处理，仅回传结果，显著降低端到端时延。技术落地仍面临部署位置、功耗散热、驱动栈协同等挑战；软件层面需CUDA/ROCm及vLLM等框架支持分层KV管理。据信通院数据，2025年用算量仅占供算量36.8%，推理环节因KV膨胀导致的存储堵点是关键制约。未来2–3年有望形成“GPU显存（热KV）—CPU内存（温KV）—CXL池（冷KV）+近存计算单元”三层架构，支撑高效AI服务规模化落地。