DeepSeek开源DeepInfer推理框架 单集群日处理155万亿Token

DeepSeek近日在GitHub正式开源其内部推理框架DeepInfer，聚焦毫秒级推理优化，支撑V4.1-Flash模型的高并发服务。该框架已在生产环境实现单集群日处理约155万亿Token（即每秒超17亿Token）的吞吐能力。核心创新包括Zero-Overhead Batch Scheduler异步调度机制：通过CUDA Stream与Event精确管理跨轮依赖，使CPU在GPU执行第N轮时提前准备第N+1轮Batch，并异步处理更早轮次结果，有效缓解CPU调度瓶颈；同时支持MoE专家并行（含EP与EPLB负载均衡）、推测解码、SWA bounded replay确定性采样及Batch-invariant推理接口，适配动态变长请求。硬件层面兼容NVIDIA SM100系列GPU与华为昇腾950 NPU，体现双生态适配能力。开源内容涵盖分布式推理、定制Kernel、离线推理能力及配套Token编解码组件deepseek-recipe，形成‘模型+推理+编解码’全链路方案。此举推动国产AI从模型开源迈向系统级开放，助力中小企业快速部署高吞吐API服务，亦反映中国开源模型供给能力跃升——Hugging Face报告显示2026年春季中国自研模型下载量占比达41%，居全球首位。目前代码与详尽文档已公开，支持社区贡献与二次开发。