Moritz Hardt推AI基准测试科学化 2027年前发布可验证评估协议

计算机科学家Moritz Hardt（马克斯·普朗克研究所计算与数据科学中心主任）在新书中指出，AI基准测试作为标准化工具已根本性失效，但可通过科学化重建恢复其价值。他批评现有基准沦为“黑箱艺术”，缺乏可重复性、理论支撑与误差边界，导致模型通过记忆题库或微调刷分，却在真实任务中表现脆弱。Hardt梳理历史案例：1987年DARPA语音识别基准曾引发25年AI寒冬，2012年ImageNet竞赛则点燃深度学习革命，凸显基准对学科走向的决定性影响。针对当前大模型评估乱象——如题库泄露、主观评分、零样本泛化缺失——他提出三条路径：构建对抗性动态测试集、强化零样本能力评估、强制公开数据与失败案例。为系统推进改革，Hardt正联合欧洲多所高校发起“可验证基准倡议”（Verifiable Benchmarking Initiative），目标于2027年前发布首个具备形式化验证能力的通用AI评估协议，要求每项测试附带可计算的“能力边界声明”并公开失败样本集。行业已有初步响应，如Hugging Face的Open LLM Leaderboard引入人工复核，斯坦福HELM框架开展多场景压力测试，但Hardt强调这仍是修补而非重构。他援引迈克尔逊-莫雷实验类比，指出科学进步常始于对测量工具本身的质疑。在AI加速参与科研（如自主提假设、设计实验）的背景下，评估失灵不仅扭曲研发方向，更威胁人类对模型能力的判断力；其核心诉求是确保AI进步真实、可靠且可被人类理解。