京东联合鲲鹏优化通算架构 推理时延降低15%

京东广告系统在向生成式推荐演进过程中，遭遇算力需求激增约1000倍、用户交互总时延严控300毫秒的双重挑战。经分析，瓶颈并非GPU/NPU推理环节本身，而在于通用计算侧的数据预处理、KV Cache管理及RPC通信开销——原有四级缓存体系容量小、延迟高，单次请求数十次微服务调用导致RPC耗时占比超20%。2025年5月起，京东与华为鲲鹏共建超节点方案，聚焦通算侧优化：一是采用灵衢互联协议整合数十至数百台服务器内存，构建300TB共享内存池，压缩缓存层级为片上内存+大容量DDR两级，显著降低KV Cache换页与远程拉取延迟；二是重构RPC通信逻辑，提升跨节点数据访问效率，并将部分行为数据预处理迁移至在线链路，保障实时性。该方案在不新增硬件投入前提下，实现广告推理端到端时延降低15%，已通过2025年618大促核心场景验证。此举不仅缓解了算法迭代快（周级）与机房扩容慢（季度级）的错配，也为行业提供了一条区别于单纯堆叠加速芯片的软硬协同路径，对搜广推系统迈向生成式AI具有普适参考价值。