AI推理推动内存架构重构，计算与存储边界正在模糊

AI推理正从云端大规模部署转向终端实时响应，这一趋势正在倒逼整个硬件栈的底层重构——尤其是内存子系统。过去数年，行业聚焦于算力提升：更多加速器、更大集群、更高峰值性能，支撑了模型能力的飞跃。但当推理任务进入边缘场景，如自动驾驶汽车、无人机或工业传感器节点，单纯堆砌算力已无法解决问题。真正的瓶颈逐渐浮出水面：数据如何高效地在计算单元与存储之间流动。

图2清晰揭示了这一转变：用户增长、上下文窗口延长、应用复杂度上升，共同导致“需管理的数据量”激增。而系统级权衡项——带宽、容量、延迟、功耗、成本与利用率——彼此牵制。例如，增加HBM带宽若未同步优化数据放置策略，反而可能因拥塞推高延迟；提升内存容量若伴随物理距离拉远，则会抵消能效收益。

其中，键值缓存（KV Cache）是典型缩影。在生成式AI推理中，KV缓存通过复用历史token的注意力权重，避免重复计算，显著降低时延。但其代价是：随上下文长度和并发请求数增长，缓存占用持续膨胀。以128K上下文窗口为例，单次推理可能需保留数GB中间状态数据，远超片上SRAM容量。这意味着系统必须频繁访问外部DRAM，不仅加剧带宽压力，还带来额外功耗与延迟抖动。这已非单一维度的“内存墙”，而是一个横跨计算、内存、互连与软件的协调难题。

更深层的变化在于数据处理范式的迁移。物理AI（Physical AI）——即需感知、决策、执行闭环的智能体——要求数据在产生源头就被快速筛选与响应。一辆自动驾驶车辆每秒接收数十GB传感器流，但仅有极小部分需触发紧急制动或路径重规划；其余数据要么压缩后上传，要么本地丢弃。关键不在于“能否处理”，而在于“何时、何地、以何种代价处理”。此时，将计算单元尽可能靠近数据源（即近存计算或存内计算）成为必然选择。

Cadence产品管理总监Frank Ferro指出：“大型语言模型真正嵌入物理设备后，所有人不得不重新思考内存架构。”他强调，即便尚未采用存内计算，仅就传统内存布局而言，如何划分模型参数、激活值与中间状态，已直接影响整体能效比。

当前主流方案依赖多级内存层次协同：片上SRAM与高速缓存负责高频访问的活跃数据；LPDDR5X或GDDR6用于暂存模型权重、传感器输入与中间激活；而大容量NAND则承担长期状态存储。理想状态下，数据应按访问频率与时效性分级驻留，并在流水线各阶段实现局部复用。例如，ISP（图像信号处理器）输出的特征图若可直接供NPU使用，就不应写回主存再读取——这种“零拷贝”路径能显著减少数据搬运。

然而，现实制约依然严峻。首先，片上SRAM面积成本高昂，容量受限；其次，不同AI工作负载差异巨大：稀疏模型与稠密模型对内存带宽需求迥异，结构化任务与突发性事件检测对延迟敏感度不同。图1所示的四大挑战直指核心：编程模型碎片化（如CUDA-for-PIM尚无统一抽象）、可靠性风险（存内计算引入新故障模式）、工艺与面积权衡（DRAM工艺非为逻辑密度优化）、以及工作负载多样性（无单一架构通吃所有场景）。

图3以KV缓存为例，直观呈现了架构演进逻辑：无缓存时，每个新token都需重新计算全部K/V；启用缓存后，仅需读取并更新已有键值对，计算量下降，但内存 footprint 与带宽需求上升。这印证了一个根本矛盾：推理效率提升往往以数据移动增加为代价。而随着上下文窗口从4K扩展至32K甚至128K, 并发用户数从个位数增至数百，该矛盾愈发尖锐。

技术路径上，业界正沿三条主线推进：

其一，近存计算（Near-Memory Computing），如HBM2E集成逻辑层（如AMD的InFO-LSI）、或通过硅中介层将计算单元紧贴HBM堆栈。此类方案在保持成熟CMOS工艺前提下，缩短电容性延迟路径，实测可降低30%以上数据搬运能耗。

其二，存内计算（Processing-in-Memory, PIM），将简单矩阵运算直接置于DRAM阵列内部。韩国SK海力士已推出A100 PIM芯片，面向推荐系统推理；但其适用场景仍限于低精度、高并行度操作，且面临良率、散热与软件适配难题。

其三，智能内存调度与软硬协同。例如，通过编译器静态分析预测数据生命周期，动态分配SRAM分区；或利用运行时监控反馈调整缓存替换策略。这类方案不依赖新硬件，但需深度耦合框架层（如PyTorch、TensorRT）与驱动栈，目前缺乏统一标准。

值得注意的是，障碍不仅来自硬件。软件支持薄弱、行业标准缺失、热管理复杂性，共同构成规模化落地的“最后一公里”。一位系统架构师坦言：“我们能设计出理论能效最优的PIM芯片，但若上层框架无法表达其计算模式，它就只是硅片上的装饰。”内存厂商正从“组件供应商”转向“系统架构伙伴”，但这一角色转换尚处早期。

在电池供电设备中，该问题尤为紧迫。无人机每节省1W推理功耗，即可延长数分钟航时；电动车若将感知推理能效提升20%，同等电池下可多支持10公里续航。这些真实约束迫使工程师放弃“先算完再优化”的思路，转而从系统层面定义数据流——哪些数据必须留存？哪些可即时丢弃？哪些需触发低延迟响应？答案取决于具体场景，也决定了内存架构的最终形态。

图1总结的四个维度——编程模型碎片化、可靠性风险、面积与性能权衡、工作负载多样性——恰恰说明：没有银弹。未来几年，我们将看到更多定制化解决方案：针对自动驾驶的高可靠低延迟内存子系统，面向AR眼镜的超低功耗近存架构，以及为端侧大模型优化的混合KV缓存管理策略。内存不再只是“被动存储”，而成为主动参与计算决策的关键环节。

这场由AI推理引发的内存革命，本质是计算范式的再平衡：当数据洪流无法被无限带宽承载时，唯一出路是让计算向数据靠拢，而非反之。