MoritzHardt呼吁将AI基准测试变为科学，而非黑箱艺术

计算机科学家 Moritz Hardt 近日公开指出，当前人工智能领域的基准测试（benchmarks）已沦为一种“黑箱艺术”，亟需回归科学本质。他在新著中直言：“基准测试是机器学习犯下的最大错误。”这一尖锐批评并非否定评估本身的价值，而是指向其日益偏离科学方法论的现实——当一套测试能轻易被模型“刷分”，它便失去了衡量真实能力的意义。

Hardt 是马克斯·普朗克研究所计算与数据科学中心主任，长期研究算法公平性与评估机制。他梳理了AI评估史上的关键转折点：1987年，美国国防部高级研究计划局（DARPA）推出的语音识别基准显示，当时最先进的AI系统竟不如简单统计模型，直接触发长达25年的“AI寒冬”；而2012年ImageNet图像分类竞赛中，AlexNet以显著优势击败传统方法，又成为深度学习复兴的导火索。这两起事件揭示了一个悖论：基准测试既能扼杀领域发展，也能引爆技术革命——其力量之大，足以重塑整个学科走向。

如今，针对大型语言模型（如OpenAI GPT-6 Astra）的新基准层出不穷，涵盖推理、代码生成、多模态理解乃至“通用智能”等维度。表面上看，这是进步的标志；实则许多测试已被证明存在严重漏洞。例如，部分基准题库因公开可查而被模型“记忆”而非“理解”；另一些则依赖人类评分员主观判断，难以复现；更常见的是，模型通过微调专攻某项任务，在单一指标上“超人”，却在迁移能力或鲁棒性上表现脆弱。

Hardt 认为，问题根源在于当前基准缺乏科学内核：它们通常没有明确的理论假设支撑，不区分“能力”与“技巧”，也未建立误差边界与置信区间。一个合格的科学测量工具，应像物理实验中的标尺一样具备可重复性、可证伪性与可解释性。但当前多数AI基准更像是“游戏关卡”——通关即胜利，却不说明玩家是否真正掌握了规则背后的原理。

他提出三条重建路径：第一，引入“对抗性测试集”，即持续由人类专家与AI共同迭代生成新题目，防止过拟合；第二，强调“零样本泛化能力”评估，避免模型仅靠训练数据泄露得分；第三，要求所有基准公开原始数据、评分逻辑与失败案例，实现完全透明。

这一呼吁恰逢AI深度介入科研的浪潮。2026年秋季，OpenAI一次性发布数百份数学证明手稿，宣称解决多个长期悬而未决的问题，引发学界震动。25位菲尔兹奖得主联名警示AI公司与数学共同体间出现“严重错位”。随后OpenAI迅速撤回并修订十余篇文本，印证了大模型仍普遍存在幻觉问题——生成速度远超人类验证能力，而理解与批判仍需人类主导。

与此同时，AI参与科研的方式正在质变。斯坦福大学2024年曾让6个AI“虚拟科学家”围坐讨论阿尔茨海默病疗法；2026年，“协作科学家”系统已能自主提出假设、设计实验、解读数据并动态调整方向。英国帝国理工学院一项细菌DNA转移研究中，AI仅基于公开文献两天内就得出了与团队多年实验一致的结论，微生物学家称“科学家相当于从30米处起跑”。

这类进展凸显出一个核心矛盾：当AI能高效执行“中间环节”（如文献综述、方案设计、数据拟合），人类科学家的价值重心正向两端迁移——前端是提出真正有洞察力的问题，后端是判断结果的合理性与意义。正如丘成桐所倡导的“人机协同规范”，合作的前提是人类保有独立思考能力与学术审慎精神。

值得注意的是，AI评估失灵不仅影响模型排名，更可能扭曲研发方向。若企业仅以某项基准分数为KPI，便会诱导模型朝着“讨好测试”而非“提升真实能力”优化。Hardt警告：这可能导致整个领域陷入“虚假繁荣”——模型在封闭测试中节节高升，面对开放世界任务时却频频失效。

行业已有初步响应。Hugging Face 推出的 Open LLM Leaderboard 已开始标注各模型在不同子任务上的表现差异，并引入人工复核环节；斯坦福CRFM实验室开发的 HELM 框架则尝试对同一模型在数十种场景下进行系统性压力测试。但Hardt强调，这些仍是修补，而非重构。

他援引物理学史类比：19世纪末，迈克尔逊-莫雷实验的“零结果”曾被视为失败，却最终催生相对论。真正的科学进步往往始于对测量工具本身的质疑。AI评估亦如此——当“标准答案”本身值得怀疑时，我们更需要的不是更快的模型，而是更可靠的标尺。

目前，Hardt正联合欧洲多所高校推动“可验证基准倡议”（Verifiable Benchmarking Initiative），目标是在2027年前发布首个具备形式化验证能力的通用AI评估协议。该协议将要求所有测试任务附带可计算的“能力边界声明”，并强制公开失败样本集。

在AI加速渗透科研各环节的当下，评估体系的科学化已不仅是技术议题，更是学术伦理问题。若放任基准测试继续“黑箱化”，我们或将面临一个危险前景：模型越来越强，人类却越来越难判断它究竟“懂”什么。正如Hardt所言：“我们不是要阻止AI进步，而是确保进步的方向真实、可靠、可被人类理解。”