网通社科技快报
11家顶尖机构发布116项湿实验预测基准 AI最高得分仅0.486
近日，由UniPat AI牵头，联合斯坦福大学、哈佛大学、康奈尔大学等十余家顶尖高校与科研机构共同发布「Science Prediction Universe」（SPU）基准，被业内称为“史上最严”湿实验预测测试。该基准涵盖化学、材料、生物与医学四大领域，共设116项任务、4207个真实湿实验样本，全部基于近3年85篇论文及4组未发表合作实验提取，覆盖32个细分子领域。
SPU核心创新在于要求AI在未知实测结果前提下，基于实验条件（如反应物配比、温度、pH、抗体序列等），自主检索文献、调用工具、构建推理链，并定量预测产物收率、蛋白表达量等关键指标；全程模拟真实科研流程，单任务最长运行8小时，配备NVIDIA H20 GPU资源，强调预测必须可追溯且经湿实验验证闭环。
首批13个主流模型参与评测，包括Claude Opus 5.5、GPT-6 Astra等。结果显示，表现最优的Claude Opus 5.5平均得分仅0.486（满分1.0），GPT-6 Astra（max）因资源增加反而得分降至0.399，表明算力提升难补机制建模短板。专家指出，当前模型多依赖表面相关性而非深层机理，例如泛化官能团高频出现即推高产率，忽略空间位阻或溶剂极性等关键变量。
SPU区别于BrainBench、ScienceAgentBench等现有基准，首次将“预测—执行—验证”全链路纳入统一评估，直指AI for Science从辅助分析迈向自主假设生成的关键瓶颈。项目支持持续扩展，官网已公开协议与样例任务，旨在成为AI科研能力的客观标尺与技术演进风向标。
SPU核心创新在于要求AI在未知实测结果前提下，基于实验条件（如反应物配比、温度、pH、抗体序列等），自主检索文献、调用工具、构建推理链，并定量预测产物收率、蛋白表达量等关键指标；全程模拟真实科研流程，单任务最长运行8小时，配备NVIDIA H20 GPU资源，强调预测必须可追溯且经湿实验验证闭环。
首批13个主流模型参与评测，包括Claude Opus 5.5、GPT-6 Astra等。结果显示，表现最优的Claude Opus 5.5平均得分仅0.486（满分1.0），GPT-6 Astra（max）因资源增加反而得分降至0.399，表明算力提升难补机制建模短板。专家指出，当前模型多依赖表面相关性而非深层机理，例如泛化官能团高频出现即推高产率，忽略空间位阻或溶剂极性等关键变量。
SPU区别于BrainBench、ScienceAgentBench等现有基准，首次将“预测—执行—验证”全链路纳入统一评估，直指AI for Science从辅助分析迈向自主假设生成的关键瓶颈。项目支持持续扩展，官网已公开协议与样例任务，旨在成为AI科研能力的客观标尺与技术演进风向标。