Tokens Per Watt成焦点 AI推理能效提升新路径

随着大模型规模化推理应用的普及，AI基础设施的评价标准正从传统峰值性能转向实际产出效率。Tokens Per Watt（每瓦特生成Token数）这一新兴指标因其直观反映单位能耗下系统生成有效Token的能力，已成为衡量AI推理能效的核心标准。该指标的重要性源于AI应用从实验阶段向生产环境的本质转变：企业不再单纯关注模型运行和回答准确性，而是更注重每一度电能产生多少满足质量、时延和稳定性要求的Token。

以中科类脑提出的“Token工厂”解决方案为例，该公司通过构建算电协同型系统，实现了从资源到智能产出的高效转化。该方案的核心在于将异构芯片、模型、用户任务和电力纳入统一调度体系，优化电力使用效率以提升整体能效。具体而言，“Token工厂”系统可实现以下目标：精细化的任务调度确保每颗芯片、每度电发挥最大效能；整合分散的算力与模型资源，构建跨域生产组织能力；提供持续高质量的Token交付服务；在保障安全、时延和稳定性的前提下最大化应用价值。

为验证这一理念的实际效果，图表显示Tokens Per Watt随生成代际增长的趋势显著快于传统的峰值TOPS指标，表明新一代AI硬件在能效方面的提升空间远超预期。中科类脑的BitaHub平台提供了完整的解决方案，能够统一纳管不同架构的算力资源，聚合模型API和Token服务，并连接企业私有算力池与公共资源池。例如，某企业日常负载需30张芯片，高峰期可能需要100张，通过BitaHub平台可按需弹性扩展算力，相当于获得了一条动态调整的Token生产线。

此外，中科类脑还开发了专门的决策大脑系统，负责电、算、Token三个子系统的闭环运转，实时监控、预测并调度资源，确保整个Token生产过程的高效运行。未来，随着AI技术的不断发展，Tokens Per Watt指标的重要性将持续提升，更多专注于提升能效的AI硬件和解决方案将推动行业向更加绿色、高效的可持续发展道路迈进。