中科曙光ParaCache技术使大模型Token并发提升16倍

10月29日，2026数据存储产业大会在郑州举行，中科曙光作为数据存储专委会主任委员单位，发布面向大模型推理阶段的‘AI数据工厂’方案，核心组件ParaCache实现Token并发能力提升16倍。该技术直击当前大模型落地关键瓶颈：长上下文推理中GPU常因等待KV Cache加载而空转。KV Cache用于保存注意力权重，随上下文扩展至64K，单卡显存难以容纳，分布式场景下重复加载导致资源冗余与延迟累积。

ParaCache创新在于三点：统一纳管GPU本地缓存、节点内存与分布式存储的多级KV Cache；支持跨计算节点共享同一上下文KV数据；结合XDS数据直通与BurstBuffer高速缓存，绕过传统文件系统栈直接供数。系统依托ParaStor分布式文件系统与FlashNexus全闪存储，整合S3、POSIX等多协议异构数据源，依据热度动态调度——高频KV驻留全闪或BurstBuffer，低频下沉冷存。

协同层面，scaleFabric 400G RDMA无损网络保障KV同步带宽，XDS使推理引擎直读存储中的结构化KV块，BurstBuffer承接突发请求，三者联动实现数据供给与计算并行。实测显示，在64K上下文、批量8的负载下，相较纯GPU缓存模式，Token吞吐量提升16倍，首Token时延从数百毫秒降至不足20毫秒（降幅＞95%），已在曙光8000超算互联网核心节点验证。

该方案已支撑国家超算互联网千卡级推理集群、智元机器人百PB级数采工厂及自动驾驶领域超100PB仿真数据池。中科曙光2026年前三季度营收122.38亿元，同比增长38.75%，研发投入14.05亿元，聚焦scaleFabric、ParaStor 7.0及ParaCache等底层自研，协同海光DCU芯片构建国产算力生态。行业观点认为，存储正从被动保存转向主动支撑AI全流程，成为继算力之后第二条关键性能曲线。