京东广告联合鲲鹏超节点，端到端推理时延降低15%，应对生成式推荐算力挑战

京东广告系统近期完成一项关键性能突破：在生成式推荐场景下，端到端推理时延降低15%。这一成果源于京东与鲲鹏超节点的深度协作，核心目标是应对推荐系统从判别式向生成式演进带来的算力与延迟挑战。

京东零售相关负责人指出，当前搜广推（搜索、广告、推荐）业务已不仅是技术模块，而是平台商业效率的核心撮合层——它直接连接7亿年度活跃用户与4000万核心受众，匹配质量直接影响成交转化与平台收入。过去两年，该系统正经历范式跃迁：行为上下文长度增长10倍，模型结构规模扩大100倍，整体算力需求随之飙升约1000倍。

然而，业务增长节奏与基础设施扩容周期存在显著错配。算法迭代以周为单位（新论文最快两周即可上线），而机房扩容通常按季度推进；用户对交互延迟极为敏感——滑动页面时若响应超过600毫秒即产生明显卡顿感，扣除网络传输后，留给数据中心模型推理的窗口仅剩几十毫秒。京东为全链路设定的总时延预算为300毫秒，其中推理环节必须控制在0–100毫秒区间内。

传统解决方案依赖GPU/NPU加速芯片，但京东发现，真正的瓶颈往往不在推理本身，而在前置的数据预处理、检索与业务逻辑嵌入环节。这些流程大量运行于通用计算（通算）环境，CPU资源成为制约因素。更关键的是，生成式模型引入长序列行为数据后，KV Cache容量需求急剧膨胀。原有“片上内存→本地DDR→本地SSD→远端Redis”四级缓存体系暴露出容量小、并发弱、时延高、投资成本大的矛盾，难以兼顾“又快、又大、又稳定”的诉求。

另一项隐性开销来自RPC通信。单次用户请求需触发数十个微服务调用，RPC耗时占整体延迟20%以上；在百万级请求规模下，每节点内存消耗可达TB量级。

面对上述结构性难题，京东选择与鲲鹏团队共建超节点方案。合作始于2025年5月的鲲鹏开发者峰会，双方聚焦三个关键判断：问题是否值得解决、各自能力边界在哪、落地可行性与收益空间如何。最终形成两方面技术突破：

其一，重构存储层级。放弃传统四级缓存，仅保留两级：片上内存与一块大容量DDR。通过华为提出的灵衢协议，将数十乃至数百台服务器的内存整合为统一地址空间，实现跨节点访问延迟接近本地内存水平。此举直接缓解了KV Cache因容量不足导致的频繁换页与远程拉取问题。

其二，优化数据流调度逻辑。针对用户行为数据高频刷新特性，京东将部分预处理任务从离线大数据集群迁移至在线推理链路中执行，确保模型能实时接入最新行为信号。这要求底层计算资源具备更强的弹性与低延迟协同能力——超节点架构为此提供了基础支撑。

据披露，上述调整使广告推理链路的端到端时延下降15%，在不增加硬件投入前提下显著提升系统吞吐与用户体验。值得注意的是，该方案并非单纯追求“算力堆叠”，而是围绕真实业务流程进行系统性解耦与重构：先解决数据准备与调度的“慢环节”，再释放加速芯片的潜力。

行业层面，这一实践具有普适参考价值。几乎所有涉及搜广推的互联网企业都面临类似困境：生成式模型带来指数级算力需求，但业务收益增长仅为两位数；时延红线以毫秒计，而基础设施迭代周期以季度计。京东的路径表明，在GPU/NPU之外，通算侧的架构创新同样关键——尤其当业务逻辑呈现网状依赖时，单一加速芯片无法替代整体流程的协同优化。

补充背景来看，生成式AI正快速渗透营销决策链条。Gartner 2026年调研显示，45%的B2B买家在采购中使用生成式AI获取供应商信息；品牌能否被AI准确识别、引用与推荐，已成为新的竞争维度。在此背景下，广告系统的响应速度不仅影响点击转化，更关系到品牌在AI生成内容中的可见性与可信度。例如，当用户向AI提问“京东有哪些高性价比大家电”，系统若能在毫秒级返回精准结果并附带结构化参数，将极大提升品牌在AI答案中的权威权重。

国内AI生态的“多模型分化”特征进一步加剧挑战：豆包、DeepSeek、通义千问等平台算法逻辑各异，信源偏好不同，企业需在多个模型间分别建立高效响应能力。这意味着，低时延推理不仅是用户体验问题，更是品牌在AI时代构建数字信源竞争力的基础条件。

京东此次与鲲鹏的合作，本质上是在探索一种新型算力供给模式：不再仅关注单芯片性能，而是将存储、网络、调度与计算视为有机整体，通过软硬协同降低全流程延迟。这种思路已超出传统“加GPU”的惯性路径，为生成式广告乃至更广泛的AI应用落地提供了新范式。

目前，该方案已在京东广告核心链路中稳定运行，后续或将向其他业务场景扩展。随着更多企业进入生成式推荐阶段，类似架构优化或将成为标配能力。