DeepSeek开源推理框架DeepInfer，单集群日吞吐155万亿Tokens，每卡每小时收入38美元

10月20日下午，DeepSeek正式开源其内部大规模推理框架DeepInfer及配套token编解码组件deepseek-recipe，采用Apache 2.0许可证发布。此举标志着继大模型、工具链之后，该公司将核心工程能力——推理引擎——也全面开放给社区。不同于仅提供模型权重的常规开源策略，DeepInfer直指AI服务成本结构中最关键的一环：如何让算力高效运转。

DeepInfer是支撑DeepSeek当前线上服务的核心基础设施，专为高吞吐、低延迟的大规模推理场景设计。官方披露的实际运行数据显示：单一集群每日可处理155万亿Tokens（即155T tokens/day），按行业非高峰期API定价计算，每张GPU每小时产生38美元收入。以B300 GPU为例，若租用成本为每小时7美元，则毛利空间达82%，这一数字迅速引发开发者与投资界关注。

该框架的性能优势源于多项系统级优化。根据线上实测数据（见图4），在prefill阶段，每卡吞吐达1.5M tokens/s（含缓存命中），平均输入缓存命中率96%；首字延迟（TTFT）P99为1000ms；decode阶段每卡吞吐14K tokens/s，吐字速度230 tokens/s（代码场景下可达300 tokens/s）；kv cache不活跃后保存时间为72小时，显著降低重复加载开销。

DeepInfer并非从零构建，而是基于vLLM开发，并融合了SGLang与TensorRT-LLM的设计思路。其技术栈覆盖算子融合、分布式并行、推测解码（speculative decoding）、异步调度等关键能力，并支持JSON Schema等输出约束规则。值得注意的是，该框架具备硬件中立性，明确支持NVIDIA SM100系列GPU与华为昇腾950 NPU，为国产算力平台部署大模型推理提供了成熟路径。

配套开源的deepseek-recipe组件则解决了API行为一致性问题。它负责将Chat Completions、Messages等标准请求格式转换为模型可识别的prompt与token序列，并将生成结果还原为结构化响应，涵盖思考链、工具调用与流式输出等复杂场景。这意味着第三方部署时，无需重写业务逻辑即可复现官方API的行为特征，大幅降低迁移与集成成本。

开源后，社区反应迅速。vLLM与SGLang项目在数日内完成对DeepInfer架构的验证与适配，部分优化版本甚至在相同硬件下实现了优于DeepSeek公布指标的吞吐表现。Hacker News上有开发者评价：“这不是一个框架，是一枚核弹——冷冰冰的数字证明AI没有泡沫。”

从工程角度看，推理框架的价值在于弥合“模型能力”与“服务体验”之间的鸿沟。同一模型在不同推理实现下，单位算力并发用户数、响应延迟、资源利用率差异巨大。DeepSeek通过将Prefill与Decode阶段分离部署、复用上下文计算结果、动态调整KV Cache策略等方式，系统性提升有效产出。例如，将长上下文预填充与逐词生成解耦，可避免高负载请求阻塞轻量请求，提升整体服务公平性与稳定性。

经济层面的推演更具冲击力。按每卡每小时38美元计算，1GW算力（约1.4万张B300）全年满负荷运行理论收入达1500亿美元；即便考虑30%冗余与运维损耗，保守估计仍超1000亿美元。而建设1GW算力基础设施的投资区间为350–500亿美元（黄仁勋曾提及NVIDIA方案成本），意味着投资回收期可压缩至半年以内——这远超传统数据中心回报周期。

需强调的是，上述收益模型基于DeepSeek V4.1-Flash模型的API调用场景，且假设算力完全用于推理服务。现实中，美国AI公司不会放弃自有模型生态仅承接第三方推理任务，因此“全球AI年收入10万亿美元”的推论属理论上限。但其揭示的趋势真实存在：当推理效率提升一个数量级，AI服务的边际成本将急剧下降，推动大模型从“奢侈品”转向“基础设施级”服务。

DeepSeek此次开源的深层意图，在其官方声明中已有明示：“为善与众行之，为巧与众能之。”公司希望借分享内部部署经验，帮助开发者与企业组织优化推理吞吐与延迟，降低算力与能源消耗，最终实现大模型普惠。这种“开源核心引擎+公开运营数据”的组合策略，在业内尚属罕见。

目前，DeepInfer仓库已提供离线推理与大规模服务的核心能力模块，但完整线上服务仍需集成KV Cache管理、视觉编码器、跨副本负载均衡等外围系统。第三方落地时需完成系统级整合，但起点已大幅抬高——不再是从零调试vLLM参数，而是站在经过亿级用户验证的工程基座之上迭代。

随着更多厂商跟进推理优化，AI服务正从“模型竞赛”进入“系统效率时代”。谁能在同等算力下服务更多用户、提供更低延迟、维持更高稳定性，谁就掌握了下一代AI基础设施的话语权。DeepSeek的开源动作，既是技术自信的体现，也为整个行业设定了新的效率标尺。