Groq下一代AI芯片弃用SRAM转向3D堆叠DRAM，英伟达推动架构转型

人工智能芯片设计正迎来一次关键转折点已被英伟达实质性收购的AI专用芯片公司Groq，正在其下一代芯片中彻底重构内存架构——放弃长期赖以成名的超高速SRAM缓存设计，转而采用3D堆叠DRAM（3DS）封装技术。这一转变并非技术退步，而是针对超大规模AI模型推理场景的务实升级，核心目标是解决“算得快却装不下”的根本矛盾。

Groq自2019年推出LPU（Language Processing Unit）以来，以极低延迟、高吞吐的推理性能著称。其核心优势源于将大量SRAM直接集成于计算单元周围，实现近乎零等待的数据供给。然而，SRAM的物理特性决定了其容量天花板极低：单颗芯片通常仅能集成几十MB至数百MB SRAM，远不足以加载当前主流的百亿至千亿参数大语言模型。即便通过多芯片互联扩展，系统复杂度与功耗也急剧上升。

此次架构调整的关键在于引入3D堆叠式DRAM（3DS）封装方案。与当前高端GPU广泛采用的HBM（High Bandwidth Memory）不同，3DS并非追求极致带宽，而是聚焦于在标准DRAM接口协议下大幅提升单封装内的存储容量。其技术路径是：将多个DRAM裸片通过硅通孔（TSV）垂直堆叠，形成类似“摩天大楼”式的立体结构。TSV如同微型电梯井，在各层DRAM之间建立数千个垂直互连通道，使数据可在层间高效传输。

这种设计带来三重实际收益：第一，单位面积存储密度显著提升，可将显存容量从百MB级推向数GB甚至十GB量级；第二，缩短逻辑芯片与存储单元之间的物理距离，降低访问延迟并提升能效；第三，兼容现有DRAM制造工艺与接口标准，避免重走生态建设之路，有利于快速落地。

值得注意的是，Groq的转向并非孤例。另一家AI芯片初创企业d-Matrix在其技术演进中也经历了类似路径：早期产品Corsair采用SRAM作为计算内存，但CEO Sid Sheth明确指出，SRAM容量增长已严重滞后于模型扩张速度——模型规模每6–9个月翻倍，而SRAM容量受限于晶体管微缩放缓，每两年仅能提升10%–20%。这一结构性失衡迫使厂商必须寻找新解法。

从产业视角看，Groq的3DS策略代表了AI推理芯片的一种新范式：不再一味堆砌峰值算力，而是更注重“有效算力”的释放——即确保计算单元始终有足量、及时的数据供给。在端侧与边缘侧推理场景日益重要的当下，高容量、低功耗、高集成度的芯片架构更具现实意义。相比HBM动辄数千美元的单颗成本与复杂的供应链依赖，3DS若能基于成熟DRAM产线实现量产，有望大幅降低高性能AI推理芯片的门槛。

英伟达对Groq的整合动作亦耐人寻味。作为GPU领域的绝对领导者，英伟达自身已在HBM路线持续投入多年，但其收购Groq显然意在补强推理专用硬件拼图。Groq的LPU架构在特定任务（如低延迟文本生成）上具备独特优势，而内存瓶颈一直是其商业化的主要障碍。通过注入3D封装能力与制造资源，英伟达可能正推动一条与主流HBM并行的、面向高容量推理优化的技术路径。

需要澄清的是，DRAM原生读写速度仍低于SRAM，因此3DS方案并非简单替换，而是系统级权衡。Groq预计会保留部分SRAM用于关键路径缓存（如指令缓存、小规模激活值），而将主体参数存储迁移至3DS堆叠DRAM。这种混合架构既能维持关键路径的低延迟，又能支撑整模型加载，实现性能与容量的再平衡。

行业观察人士认为，3D DRAM正从“可选项”变为“必选项”。随着LLM上下文窗口持续拉长（如32K、128K乃至兆级token）、多模态模型参数量突破万亿，内存墙问题已超越算力墙，成为制约AI部署的核心瓶颈。无论是CPU、GPU还是专用AI加速器，如何在有限封装面积内塞入更多存储，已成为芯片设计的共同课题。

Groq此番转向，标志着AI芯片竞争已进入第二阶段：从“谁算得更快”转向“谁装得更多、传得更稳、用得更省”。在模型即服务（MaaS）普及的背景下，推理芯片的实用化能力，将越来越取决于其内存子系统的整体效率，而非单一指标的纸面峰值。

目前，Groq尚未公布下一代芯片的具体命名、制程节点或量产时间表，但业内普遍预期其将在2027年内完成流片验证。若3DS方案顺利落地，或将为边缘AI服务器、车载推理单元及高端PC端侧大模型运行提供新的硬件选择。