英伟达刷新DeepSeek V4推理纪录

IT之家7月1日讯，英伟达昨日（6月30日）发布博文，宣布其在Blackwell平台上通过全栈推理优化，成功刷新了DeepSeek V4模型的推理纪录。根据英伟达的测试数据，相较于DeepSeek V4模型上线初期，单Token成本已最多降至五分之一，同时AI吞吐量最高可提升20倍。

单Token成本（Cost Per Token）是衡量模型生成或处理单个token所需成本的重要指标，常用于比较不同硬件、软件栈或部署方式的推理效率。英伟达表示，这一成本指标已成为AI总拥有成本的核心考量因素，并强调针对DeepSeek V4模型，Blackwell平台已将其降低至行业最低水平。

为了实现这一突破，英伟达从三个层面进行了深度优化：

在具体技术实现方面，英伟达采用了多种创新方法，包括分离式服务架构、大规模专家并行计算、基于NVIDIA NVLink的高速并行通信、NVFP4精度支持以及多token预测技术。这些技术的叠加优化，使得Blackwell平台在单GPU环境下，token吞吐量最高可提升20倍。

图表展示了传统架构与智能体（Agentic）架构的对比。传统架构为同质化设计，所有任务均通过Web/SaaS请求统一处理；而智能体架构则采用分布式和去中心化的模式，通过Prompt、Orchestration等环节实现更灵活的任务分配和执行。

此外，英伟达还通过一系列成本优化技术，显著降低了DeepSeek V4模型的推理成本。例如，Disagg + Large EP + NVFP4 + MTP方案，使token吞吐量达到Baseline（FP8）的20倍，同时大幅降低了单位token的成本。

从成本曲线图可以看出，随着技术的不断优化，DeepSeek V4模型的单Token成本呈现出明显的下降趋势。特别是在2026年6月3日的数据点上，成本已降至约0.3美元/百万token，相比早期版本降低了五分之一。

英伟达的全栈优化架构涵盖了从生产运营到基础设施访问的各个环节，确保了整个推理流程的高效性和可靠性。特别是KV-Cache Offloading、Topology-Aware Scaling等技术的应用，进一步提升了系统的整体性能。

此次DeepSeek V4推理纪录的刷新，不仅展示了英伟达在AI硬件和软件领域的深厚积累，也为行业提供了新的技术参考和方向。随着AI技术的不断发展，类似的优化成果有望在未来得到更广泛的应用和推广。