中科曙光ParaCache实现Token并发提升16倍，存储系统深度参与AI推理加速

10月29日，2026数据存储产业大会在郑州举行。中科曙光作为中国电子工业标准化技术协会数据存储专业委员会主任委员单位，集中展示了其面向大模型推理阶段的最新技术突破：以ParaCache为核心的“AI数据工厂”架构，首次实现存储系统对Token生成效率的实质性加速——在64K长上下文场景下，Token并发能力提升达16倍，首Token时延下降超95%。

这一成果直指当前大模型落地的关键瓶颈：当智能体从内容生成迈向复杂任务执行，长上下文、多轮交互与跨会话状态维护成为常态，但传统推理流程中，GPU常因等待KV Cache（键值缓存）加载而空转。KV Cache用于保存已生成Token的注意力权重，是自回归解码的核心内存开销；随着上下文长度增长至32K甚至64K，单卡显存难以容纳完整缓存，分布式推理中各节点重复加载相同历史Token，造成严重资源冗余与延迟累积。

中科曙光分布式存储产品部总经理石静指出，智能体时代的存储价值已不再是“存得下”，而是“持续提供可检索、可更新、可治理的记忆与上下文”。为此，公司构建了覆盖“归集-预处理-训练-推理-应用”的全链路数据底座，并将重点突破放在推理环节的KV Cache管理上。

ParaCache是该方案的核心模块，其创新在于三点：第一，统一纳管GPU本地缓存、节点内存缓存与分布式存储层的多级KV Cache，形成逻辑一致的全局视图；第二，支持跨计算节点共享同一上下文的KV数据，避免重复计算与搬运；第三，结合XDS（eXtended Data Stream）数据直通技术与BurstBuffer本地高速缓存，使数据读取路径绕过传统文件系统栈，直接送入计算单元。

在具体实现上，中科曙光依托ParaStor分布式文件系统与FlashNexus集中式全闪存储，通过统一命名空间与多协议接入（S3、POSIX、NFS等），整合来自公有云平台、HDFS、本地SSD/HDD乃至冷存储的异构数据源。系统依据数据热度动态调度——高频访问的KV片段驻留于全闪池或BurstBuffer，低频部分则下沉至高密度对象存储，显著减少跨介质搬移。

更关键的是“存-算-传-用”全栈协同优化：scaleFabric高速网络（国内首款原生RDMA无损400G网络系统）保障节点间KV同步带宽；XDS技术使模型推理引擎可直接访问存储中的结构化KV块；BurstBuffer作为计算节点侧的临时热区缓存，承接突发性Token请求。三者协同下，数据供给与计算执行得以并行展开，GPU等待时间大幅压缩。

测试数据显示，在64K上下文长度、批量大小为8的典型推理负载下，采用ParaCache方案的分布式推理集群，相较仅依赖GPU显存缓存的纯计算模式，Token吞吐量提升16倍，首Token生成时延从数百毫秒降至不足20毫秒（降幅＞95%）。该结果已在曙光8000超算互联网核心节点完成验证。

实际部署中，该方案已支撑多个规模化AI生产场景。国家超算互联网的曙光8000系统集成数百PB级统一存储底座，服务千卡级大模型推理集群；智元机器人的“数采工厂”采用百PB级对象存储与数十PB全闪文件系统协同，打通数据采集、清洗标注到训练的闭环，支撑连续上千小时的模型迭代；在自动驾驶领域，全闪与混闪统一资源池提供超100PB可用空间，满足仿真数据高频读写与模型版本快速切换需求。

值得注意的是，这一进展并非孤立技术点，而是中科曙光全栈自研能力的集中体现。2026年前三季度，公司营收达122.38亿元，同比增长38.75%，Q3单季营收47.73亿元、同比增60.68%；研发费用投入14.05亿元，重点投向scaleFabric网络、ParaStor 7.0及ParaCache等底层组件。其持股的海光信息亦在DCU（深度学习加速芯片）领域加速渗透，形成“硬件+存储+网络+芯片”协同的国产算力生态。

行业观察认为，随着AI应用从“单次生成”转向“持续交互”，数据流动性已成为继算力之后的第二条关键性能曲线。过去十年，存储厂商聚焦容量与可靠性；未来五年，能否高效支撑KV Cache管理、推理中间态复用与实时上下文更新，将决定其在AI基础设施中的战略地位。

目前，主流开源框架如vLLM、TensorRT-LLM已开始支持外部KV缓存接口，但尚未形成标准化部署方案。中科曙光的ParaCache提供了首个面向生产环境的工程化实现路径，其价值不仅在于性能数字，更在于重新定义了存储的角色：它不再只是数据的终点站，而是AI工作流中活跃的“记忆中枢”与“上下文调度器”。

在算力军备竞赛趋于白热化的当下，让GPU少等数据、让计算结果持续复用，正成为降本增效的新突破口。当Token生成效率直接影响服务响应成本与用户体验，存储系统的智能化升级，已从可选项变为必选项。