Toms Hardware发布首个智能体AI CPU基准测试框架 吞吐能力差距达4倍

面对AI智能体（Agentic AI）从单次推理向自主规划、多步执行演进的趋势，CPU正重新成为关键算力单元，需承担任务编排、工具调用与状态维护等核心逻辑处理。为应对这一变化，Tom's Hardware近期首次公开其内部开发的首个智能体AI专用CPU基准测试框架，旨在剥离GPU/NPU影响，在纯CPU环境下评估智能体循环的端到端性能。该测试模拟典型工作流：模型生成指令→调用工具（如Web API）→解析结果→规划下一步→再调用模型，全程仅由CPU完成计算、I/O协调与状态管理，并通过控制并发会话数，测量系统在保持交互性（平均响应<2秒）前提下所能支撑的最大吞吐量。实测数据显示，w010配置仅用170.1秒完成30个会话，而w023需703.1秒，性能差距近4倍，凸显CPU架构差异对智能体效率的显著影响。当前版本仍属原型阶段，后续将纳入多轮对话、异步工具调用及缓存与NUMA建模优化。行业层面，英特尔、AMD、英伟达及国产RISC-V厂商均加速适配智能体负载需求，强调单核性能、低延迟与通用算力协同能力。该基准虽暂未公开完整数据，但已引发Arm等厂商响应，有望为企业部署与终端SoC设计提供客观选型依据，推动CPU在AI生态中定位升级为“决定智能体能否聪明且高效工作的关键枢纽”。