DeepSeek开源推理框架DeepInfer登顶GitHub日榜，单集群日吞吐155万亿Token

2026年10月21日的GitHub日榜上，一个名为DeepInfer的项目以+11,981的24小时Star增量强势登顶，远超第二名的5,874颗Star。该项目由DeepSeek开源，全称为deepseek-ai/DeepInfer，是其内部大规模推理服务的核心引擎——这一动作迅速引发开发者社区广泛关注。

DeepInfer并非普通工具库，而是DeepSeek为支撑其V4.1 Flash模型而构建的生产级离线推理框架。据官方披露，该框架已在实际业务中实现单集群日均155万亿Token的吞吐能力，平均每个请求输入长度达77K Token，首字响应时间仅400毫秒，生成阶段每秒可输出230个Token（代码生成场景可达300 Token/s）。更关键的是，96%的输入请求能直接命中缓存，避免重复计算，显著降低算力开销。

DeepSeek同步开源了另一关键组件——deepseek-recipe，这是一个生产级Token编解码模块，负责统一处理OpenAI Chat Completions、Anthropic Messages等主流API协议格式，并完成prompt拼接、Token编码与结果回译。其逻辑与DeepSeek官方API完全对齐，确保第三方部署可获得一致的接口体验。

技术实现上，DeepInfer采用“Prefill与Decode分离”的异构调度策略：Prefill阶段（一次性处理长上下文）部署在常规8卡服务器上；Decode阶段（逐Token生成）则使用64至128卡的超节点集群。两者按约1:1的卡数配比运行，最小高效单元为64卡Prefill + 64卡Decode。这种设计充分利用不同阶段的资源特性——Prefill重算力、Decode重显存带宽与缓存效率。

为提升缓存命中率，DeepInfer引入多层KVCache机制：长期缓存（TTL 3–7天）落盘至独立SSD集群（约100 PiB容量，读带宽10 TiB/s），支持任意prefill节点访问任意前缀；短期缓存（SWA，TTL约180秒）驻留本机内存，命中率超98%，未命中时由Bounded Replay快速重算。此外，框架还集成推测解码（Speculative Decoding）、DSpark变长验证、异步流水线调度及容错重路由等优化模块，共同构成高鲁棒性推理底座。

硬件兼容性方面，DeepInfer明确支持英伟达SM100 GPU与华为昇腾950 NPU，体现其面向国产化算力生态的适配意图。这与其此前开源TileLang算子语言、多个推理算子库一脉相承，标志着DeepSeek从模型层向系统层的深度开放。

值得注意的是，此次开源并非孤立事件。DeepSeek研究员Deli Chen在技术说明中直言：“开源与闭源，光明与黑暗，两种未来、人类两种命运之间的决战。”此番将推理全流程——从请求接入、Token编解码、KV管理到生成调度——全部摊开，意味着大模型服务的“黑箱”正在被系统性拆解。

行业层面，此举可能重塑企业级AI部署路径。过去，高性能推理依赖厂商私有栈，定制成本高、迁移困难；如今，开发者可基于DeepInfer快速搭建私有化或混合云推理服务，结合deepseek-recipe实现与主流API无缝对接。尤其对需处理长上下文、高并发Agent调用的场景（如金融合规审查、法律文书生成、工业知识库问答），该框架提供的结构化输出、确定性采样与缓存复用能力具有直接价值。

对比同类开源项目，DeepInfer的差异化在于其“生产验证”属性：它不是实验室原型，而是已承载真实业务流量的系统。例如，其SWA（Speculative Weighted Acceptance）机制通过动态调整验证长度替代固定5-token验证，实测吞吐提升6%；四类负载均衡器针对Prefill/Decode/Vision Encoder分别建模，使MoE专家并行效率最大化。

开源后首日即爆发式增长，反映出社区对“可落地推理框架”的迫切需求。在模型参数趋于收敛的当下，推理效率已成为决定AI服务经济性的关键变量。据DeepSeek披露，按谷电价格计算，单张GPU卡满负荷运行每小时收入约38美元（约合253.81元人民币），日收入超6000元，月收入近18.6万元——这一数据虽具场景依赖性，但清晰指向推理优化带来的直接商业回报。

除DeepInfer外，当日榜单其余项目亦具代表性：cleanyourtv（Java，+5,874 Star）提供无Root清理Android TV广告的ADB工具；ai-job-search（Python，+3,489 Star）是本地运行的AI求职助手；ComfyUI（Python，+1,063 Star）持续吸引视觉生成开发者；而ponytail（JavaScript，+1,608 Star）以“懒惰资深开发者”思维减少冗余编码，获16.9万Star，反映AI编程代理理念的普及。

不过，开源不等于即插即用。DeepInfer的高效运行依赖特定集群规模与调度策略，中小团队直接部署面临门槛。社区后续能否衍生出轻量化版本、适配消费级GPU的简化版，将是检验其生态生命力的关键。

目前，DeepSeek已发布详细技术报告与部署问答文档，覆盖架构设计、节点配置、性能调优等环节。随着更多开发者参与贡献，该框架有望逐步形成类似TensorRT或vLLM的行业标准组件地位。

大模型竞争正从“谁有更大模型”转向“谁能更高效地用好模型”。DeepInfer的开源，标志着推理基础设施进入新一轮开放周期——当核心服务能力不再封闭，AI普惠的底层路径才真正开始清晰。