CPU卸载记忆加速大模型，KVCache优化成AI推理新瓶颈
随着大模型Agent化应用普及，推理过程中KV Cache的存储与管理成为影响效率的关键。本文解析KV Cache增长原理、现有解决方案及中科曙光Token加速...
#CPU
共 18 篇相关文章
富人区垃圾站挖到宝，电脑硬件成捡漏新宠
近日，海外网友在富人区垃圾回收站发现大量可正常使用的电脑硬件，包括显卡、内存和笔记本电脑等。这些被丢弃的设备经过简单修复后仍能高效运行，引发了关于硬件循环利用和...
Arm发布NeoverseN4与CSSforMobile2，重新定义智能体时代算力平台
在Arm Everywhere China年度大会上，Arm发布了面向智能体经济的全新计算平台——Neoverse CSS N4和CSS for Mobile ...
ArmCPU在云计算市场崛起，AI专用芯片推动行业格局重塑
近年来，Arm架构CPU在云计算领域的应用持续突破，成为服务器市场的重要力量。微软和亚马逊等云服务提供商已大规模采用Arm设计的Graviton系列处理器，其中...
英伟达VeraCPU发布，重新定义AI基础设施中的CPU角色
近年来，随着人工智能技术的快速发展，英伟达凭借其GPU产品在数据中心市场占据主导地位。然而，在智能体（Agent）应用兴起后，传统的GPU-centric计算模...
Nvidia Grace服务器大规模出货，数百数千台已交付市场
近日，Nvidia宣布其Grace系列服务器已经实现了大规模出货，数量达到了“数十万”台。这一消息标志着Nvidia在传统GPU领域之外的又一重要突破，同时也表...
