AI内存V-Die方案亮相：吞吐提升82.43%

IT之家7月11日讯，科技媒体Tom's Hardware近日报道，在6月召开的IEEE/JSAP超大规模集成电路技术研讨会上，针对AI加速器面临的内存散热与带宽瓶颈问题，研究团队提出了两种创新解决方案：V-Die和MOSAIC。这两种方案均采用将DRAM芯片侧立放置的设计思路，旨在突破传统垂直堆叠架构的限制。

高带宽内存（HBM）作为面向高性能计算和AI加速器的近封装内存技术，通过多层DRAM堆叠和超宽总线互连，为GPU、AI训练与推理加速器等提供极高带宽。然而，随着堆叠层数增加，散热和信号传输成为主要瓶颈。V-Die方案由韩国蔚山国立科学技术院（UNIST）提出，其核心创新在于取消传统的TSV（硅通孔）结构，改用裸片底边I/O直接连接，并在相邻裸片间加入液冷通道。

根据研究数据，V-Die方案在与HBM4等容量对比下，于GPT-3规模工作负载中达到540 tokens/s的吞吐量，而HBM4仅为296 tokens/s，前者高出82.43%。这一性能提升主要得益于V-Die底边连接间距仅为20微米，连接数量可达HBM4的4倍，从而将内存读取时间下降37%。在一组与NVIDIA H100级硬件匹配的16层堆叠仿真中，该方案将首Token时延降低32%，约24毫秒。

散热方面，V-Die方案通过微流体冷却技术，可将堆叠温度维持在约45°C，远低于高密度HBM系统常见的80°C以上区间。相比之下，MOSAIC方案由东京大学牵头团队提出，重点在于提升侧立堆叠的可制造性。该方案采用正交裸片堆叠与无接触裸片互连技术，用微型感应线圈替代严格对准的金属信号接触。

研究人员称，MOSAIC原型接口速率最高可达4 Gbps/通道，并可在DRAM-on-GPU结构中实现HBM4级容量的2倍。另一组相关的bump-MOSAIC硬件演示在ECTC会议披露，采用100微米间距微凸点，X射线CT验证堆叠对准误差控制在6微米以内。研究团队表示，该配置热导率达到传统堆叠的3倍，并可额外增加最高30%的内存容量。

这两种方案的提出，标志着AI内存技术在散热和带宽优化方面取得了重要进展。特别是在当前AI模型规模持续扩大的背景下，如何有效解决内存瓶颈成为行业关注的焦点。V-Die和MOSAIC方案不仅提供了新的技术路径，也为未来高性能计算和AI加速器的设计提供了重要参考。