英伟达推出AI内存全栈协同设计，Agent吞吐量提升30倍，HBM容量仅增3%

英伟达近日发布技术博客，系统阐述其面向生成式AI基础设施的“内存全栈协同设计”策略。该方案并非依赖单纯堆叠高带宽内存（HBM）容量，而是从GPU、CPU、网络、存储到软件层进行统一规划，以应对大模型参数膨胀、上下文延长及智能体（Agent）应用带来的内存压力激增问题。

随着AI模型规模持续扩大，单次推理所需处理的Token数量已远超早期水平。尤其在Agent场景中，一次任务常涉及多轮对话、工具调用与结果反馈，历史上下文持续累积——部分轨迹处理的上下文规模已达300万Token。与此同时，检索增强生成（RAG）技术进一步增加了需实时加载与匹配的向量数据量。这些变化使GPU的HBM成为整个AI工厂中最紧张的资源：它既是速度最快、成本最高的内存层级，也是供应受限的关键瓶颈。

英伟达指出，单纯增加HBM容量并不能有效缓解压力。类比而言，HBM如同仓库，内存带宽则如装卸码头；若码头吞吐能力不足，仅扩建仓库只会造成空间闲置与成本浪费。在实际推理中，多个用户共享同一GPU的计算单元与带宽资源，一旦计算或带宽饱和，额外内存便难以被充分利用。

为此，英伟达提出将AI系统的内存与存储视为一个整体数据层级体系，依据数据活跃度与访问频率，将其动态分配至不同成本与性能的存储介质中。其核心路径围绕三类关键数据展开：模型权重、KV Cache（键值缓存）与RAG检索数据。

针对模型权重占用大量HBM的问题，英伟达采用双轨策略：一是引入NVFP4低精度格式，将权重压缩至4位精度，相较FP8进一步节省空间；二是借助NVLink-C2C与NVL72机架级互联架构，实现跨最多72颗GPU的分布式权重存储。这意味着单颗GPU无需完整加载整个模型，从而释放出更多HBM空间用于服务并发请求或容纳KV Cache。目前，Black Forest Labs、Thinking Machines Lab、Reflection与Meta等机构的部分模型已开始采用NVFP4格式发布。

KV Cache的挑战更具动态性：在Agent执行过程中，部分上下文需长期保留，但并非始终处于活跃状态。英伟达从三个层面进行优化：首先，同样使用NVFP4压缩KV Cache；其次，由Vera CPU承担工具调用加速任务，缩短Agent等待外部响应的时间窗口，减少KV Cache闲置周期；第三，利用Vera CPU配备的大容量LPDDR内存作为近端暂存区，通过NVLink-C2C快速回填GPU所需上下文。

更进一步，英伟达推出CMX上下文内存存储平台——一种专为短生命周期、高周转率上下文设计的分层存储系统。CMX每比特成本远低于HBM，支持跨服务器共享，且无需传统企业存储所需的冗余保护开销。Dynamo推理软件可将非活跃KV Cache自动卸载至CMX，并在需要时高效调回。同时，Dynamo的KV Cache Reuse功能将GPU、CPU与CMX中的缓存统一管理，实现跨节点复用，避免重复计算。

对于RAG场景，英伟达强调“紧凑+外置”原则：通过Nemotron Retriever与cuVS等工具对文档向量化结果进行压缩与索引优化，确保检索数据本身不挤占HBM。相关数据可驻留于CMX或本地SSD，仅在推理触发时按需加载关键片段。

上述协同设计已在从Blackwell Ultra到Vera Rubin平台的演进中落地验证。数据显示，在特定Agent工作负载下，尽管单颗GPU的HBM容量仅增加约3%，系统每美元可实现的吞吐量最高提升了30倍。这一成果并非来自单一技术突破，而是软硬件深度耦合的结果：低精度量化降低数据体积，NVLink实现物理层互联扩展，专用CPU卸载工具逻辑，分层存储系统动态调度资源，最终形成一套闭环优化机制。

值得注意的是，该策略标志着AI基础设施设计理念的重要转变：从“尽可能把数据塞进GPU”转向“让数据在最合适的位置被使用”。这不仅关乎成本效率，也影响着AI服务的可扩展性与部署灵活性。在算力日益成为公共基础设施的背景下，如何以有限硬件资源支撑更大规模、更复杂形态的AI应用，已成为行业共同课题。

英伟达的全栈协同思路为后续芯片与系统设计提供了新范式。随着Agent应用走向普及，类似KV Cache动态管理、跨层级数据复用等机制或将逐步成为AI推理系统的标准配置。而能否在不显著推高HBM用量的前提下持续提升吞吐效率，也将成为衡量下一代AI平台竞争力的关键指标。