OpenAI挑战SWE-Bench Pro评测缺陷

近日，人工智能领域迎来重要讨论：OpenAI公开质疑行业权威评测基准SWE-Bench Pro的有效性，指出其约30%的任务存在评测缺陷。

SWE-Bench Pro是由Scale AI推出的大型语言模型与AI智能体编程能力评测基准，因其高度贴近实际企业级开发场景且具备严格的防作弊机制，已成为AI软件工程领域的行业标杆。然而，OpenAI在7月8日发布的博文中指出，在731个公开测试任务中，前沿模型的通过率从8个月前的23.3%激增至80.3%，这一显著提升表明现有基准可能已无法准确评估模型的真实软件开发能力。

OpenAI的研究团队采用两条独立审查路径进行分析：一是数据点分析流程标记出200个失效任务（占全部任务的27.4%），二是并行开展的人工标注活动识别出249个失效任务（占34.1%）。综合两条路径的结果，OpenAI预估SWE-Bench Pro约30%的任务存在缺陷。这些问题主要分为四类：

• 测试过严，将题面未明确要求的实现方式列为硬性条件

• 提示不充分，隐藏测试执行要求未写明或无法合理推断

• 测试范围过窄，不完整修复也可能通过

• 提示具有误导性，指向与测试要求不一致的行为

例如，一个典型问题要求将内容转为Markdown时行首加入1个空格，但隐藏测试却要求2个空格，导致模型按说明编写代码仍被判错。基于这些发现，OpenAI决定撤回此前对SWE-Bench Pro的采用建议，并强调需要由资深软件开发者专门为AI设计新的评测基准。

与此同时，OpenAI还发布了GeneBench-Pro，这是对原有GeneBench的升级版本，旨在评估AI在多阶段统计推理中的科研能力。相较于GeneBench，GeneBench-Pro新增了29个问题，删除了3个问题，并对剩余100个重叠问题中的54个进行了显著重设计。该基准覆盖分子与定量生物学、药物基因组学、癌症生物学等10个主要领域，包含129个问题，用于衡量智能体是否能够在最少引导下完成复杂的科学分析流程。

研究数据显示，在GeneBench-Pro的129个问题中，GPT-5.6 Sol在最高推理强度下达到28.7%的通过率，而GPT-5.6 Sol Pro在单独运行中达到31.5%，表现最强的非GPT基线模型Claude Opus 4.8则为16.0%。

OpenAI表示，GeneBench-Pro的开发引入了外部科学审查步骤，每个问题的完整设计都会提交给外部领域专家验证其真实性与科学合理性，以确保评测基准的科学性和严谨性。