中国信通院发布智算运维评测基准

在中国信息通信研究院（CAICT）主办的2026"众智"大模型开放智算生态协同高级别研讨会上，一项具有里程碑意义的技术成果正式落地。中国信通院副院长魏亮发布了AISHPerf人工智能软硬件基准体系3.0版本，其中包含的AISHPerf-智算运维智能体评测基准成为业界首个面向AI Infra运维领域的权威评测标准。

这一评测基准由国内顶尖AI原生基础设施服务商无问芯穹及清华大学团队共同参与建设，其核心价值在于通过真实生产场景的实战考核，全面评估运维智能体解决实际问题的能力。与以往侧重语言问答能力的评估方式不同，AISHPerf-智算运维智能体评测基准采用近百亿条真实运维数据作为基础，经过资深专家脱敏、标注和筛选后，提炼出103条高保真评测用例。

评测体系覆盖了从底层硬件故障到用户侧软件Bug的全链路问题，包括5大技术栈、44种问题现象、22个细分故障领域，并针对3种难度层级进行测试。特别值得一提的是，该基准率先将国产芯片集群运维场景纳入评测范围，覆盖了天数、壁仞、沐曦、摩尔、昇腾等5种国产芯片，填补了国产智算运维智能体评测领域的空白。

"随着AI发展进入以Token效能为核心的新阶段，算力与电力投入已成为基础设施的固定成本，而高效能的运维能力则成为决定生产力转化的关键变量。"一位参会专家表示，"当前业内对运维智能体的评估多停留在理论层面，缺乏真实的实战考核。AISHPerf-智算运维智能体评测基准的发布，正是为了改变这一现状。"

该评测基准的设计充分考虑了国产芯片的特点，针对国产GPU硬件故障、驱动适配、框架兼容、通信协议等典型运维痛点设置了专门的测试场景。通过自主探索、排查和修复的过程，智能体需要在时延、Token消耗、工具调用效率等关键维度上给出量化结果，从而全面客观地评估其在真实生产环境中的表现。

"这一基准的发布，不仅为国产算力集群从‘能用’迈向‘好用’提供了标准基础，也为构建自主自治的新一代‘Token工厂’指明了技术方向。"中国信通院相关负责人表示，未来将持续推动基准的产业应用，结合无问芯穹的海量真实运维数据积累，不断丰富和完善评测用例，构建更加体系化、全栈化的国产智算运维评估体系。