LLM时代边缘NPU内存瓶颈凸显,忆联AE631SSD应对存储挑战

近年来,人工智能技术的快速发展推动了大模型从云端向边缘设备的迁移。在智能手机、智能汽车和物联网终端等场景中,传统的计算机视觉网络(如YOLO检测器、MobileNet分类器)正逐步被融合了LLM和VL...

半导体/芯片

近年来,人工智能技术的快速发展推动了大模型从云端向边缘设备的迁移。在智能手机、智能汽车和物联网终端等场景中,传统的计算机视觉网络(如YOLO检测器、MobileNet分类器)正逐步被融合了LLM和VLM的多模态感知系统所取代。这种转变不仅改变了边缘设备的计算架构,也对存储系统提出了全新的要求。

在计算架构层面,传统的卷积神经网络(CNN)工作负载主要受限于计算能力,而新一代的Transformer模型则更多地受到内存访问效率的制约。以KV缓存为例,在模型解码阶段,频繁的内存读写操作成为性能瓶颈,尤其是在资源受限的边缘设备和汽车电子系统中。这种工作负载特性的变化,使得NPU设计必须重新考虑内存带宽和访问模式,而非单纯追求算力指标。

图片

面对这一挑战,忆联科技推出了首款消费级PCIe 5.0四通道QLC SSD——AE631。这款产品专为AI PC端侧推理优化,通过多项技术创新解决了当前存储系统的三大核心痛点:高并发处理、高带宽需求和高安全性要求。

在性能方面,AE631采用了先进的QLC闪存技术,在保持较低成本的同时实现了与TLC相当的性能表现。其顺序读写速度可达10GB/s级别,4K随机读写IOPS突破百万,能够有效支持大模型权重的快速加载和KV缓存的高频切换。特别是在Token生成延迟控制上,AE631的表现尤为突出,相比上一代产品提升了50%以上的顺序读取速度和60%以上的顺序写入速度。

针对轻薄本等移动设备的续航需求,AE631还特别优化了低功耗设计。通过ASPM L1.2等低功耗状态管理机制,深度休眠功耗可降至3mW以下,同时确保在各种使用场景下都能提供稳定的性能输出。此外,忆联还在固件层面进行了深度调优,将主控芯片与闪存端到端的协同效率提升至行业领先水平。

在容量配置上,AE631提供了从512GB到4TB的多种规格选择,完全满足多模型并存和本地知识库持续增长的需求。特别是2TB及以上的超大容量版本,为AI PC用户提供了充足的存储空间,避免了因存储不足导致的性能瓶颈。

图片

值得注意的是,AE631不仅在硬件层面进行了全面升级,还在软件生态上进行了深度适配。通过与主流NPU厂商的合作,忆联开发了专门的驱动程序和优化工具,确保在各类AI应用场景下都能发挥最佳性能。这种软硬件协同的设计理念,使得AE631能够更好地适应未来AI技术的发展趋势。

总的来说,忆联AE631的推出标志着AI PC存储解决方案的一次重要升级。它不仅解决了当前边缘设备在处理LLM和VLM时面临的存储瓶颈问题,也为未来的AI应用发展奠定了坚实的基础。随着AI技术的不断演进,像AE631这样的创新产品将成为连接云端与端侧的重要桥梁,推动人工智能技术在各个领域的深入应用。