SciencePredictionUniverse基准发布，116项湿实验预测任务考验AI科研能力

近日，由UniPat AI牵头，联合斯坦福大学、哈佛大学、康奈尔大学等十余家顶尖高校与科研机构共同发布的「Science Prediction Universe」（简称SPU）基准正式上线。这是首个聚焦真实湿实验结果预测的综合性评估体系，涵盖化学、材料科学、生物与医学四大领域，共设116项任务、4207个独立实验样本，被业内称为“史上最严”科研能力测试。

SPU的核心创新在于其任务设计逻辑：不再仅要求模型回答已知问题或分析已有数据，而是让AI在完全未知实测结果的前提下，基于给定的实验条件（如反应物配比、温度、pH值、抗体序列变异等），自主检索文献、调用计算工具、设计推理路径，并最终输出对目标产物收率、蛋白表达量、电解液性能等关键指标的定量预测。整个过程模拟真实科研流程，模型需连续工作最多8小时，配备一块NVIDIA H20 GPU资源，自主决策如何分配算力与工具调用。

例如，一项典型任务可能提供某有机合成反应的五组不同溶剂-催化剂组合，要求模型判断哪一条件能获得最高产率的目标分子;另一项则给出数十种VHH纳米抗体变体序列，预测其在哺乳动物细胞中的表达水平。所有真实实验结果均对模型隐藏，待其提交预测后，再以实验室实测数据为金标准进行评分。

这一设计直指当前AI for Science发展的关键瓶颈——从“辅助分析”迈向“自主假设生成”。过去几年，大模型已在文献综述、代码编写、数据可视化等环节展现能力；但真正决定科研效率的环节，是在实验前做出高质量预测的能力。一次湿实验动辄数天至数周，试剂与设备成本高昂，若能提前筛除低效方案，将极大提升研发效率。正如领域专家所言：“科学家的‘品味’体现在预判上，而AI需要一张试卷来量化这种能力。”

SPU的任务来源分为两类：100项公开任务源自85篇近3年发表的学术论文，由领域专家提取原始实验设计、变量与测量方法，保留完整定量结果用于评分;另有16项私有任务来自四组尚未发表的合作湿实验，涉及Magrolimab抗体变体优化、新型电解液配方筛选等前沿方向。整体覆盖32个细分子领域，确保跨学科代表性。

与现有基准相比，SPU显著强化了“预测+执行”的耦合性。例如，BrainBench仅测试模型对已有实验结果的判断能力；ScienceAgentBench侧重在固定数据集上完成分析任务；Terminal-Bench 4.0和Long-Horizon-TB则聚焦长程工具调用与任务链执行，但不涉及真实物理世界的验证闭环。而SPU明确要求：预测必须建立在可追溯的推理链条之上，且最终结果需经湿实验反哺校验。

首批参与评测的包括Claude Opus 5.5、GPT-6 Astra、GPT-6 Astra（max）、Kimi-K3.1-Pro、DeepSeek-V4.1-Flash-0910等13个主流模型配置。结果显示，即使是最强配置Claude Opus 5.5，在全部已评分任务上的平均得分为0.486（满分1.0），共享任务子集得分为0.525，位列第一；紧随其后的是Claude Fable 5.1（0.438）与Claude Opus 5（0.420）。值得注意的是，参数规模更大或算力更强的模型并未呈现明显优势——例如GPT-6 Astra（max）虽使用更多资源，得分仅为0.399，低于中等配置的GPT-6 Astra（medium）（0.416）。

这一结果揭示了一个关键事实：当前大模型在机制理解与因果推断层面仍存在根本性局限。它们可以复述文献结论、拟合已有数据趋势，但面对新条件组合时，难以构建可靠的物理化学或生物学机理模型以支撑预测。一位参与评审的康奈尔教授指出：“模型常依赖表面相关性而非深层机制，比如看到某类官能团高频出现在高产率反应中，就泛化到所有类似结构，却忽略空间位阻或溶剂极性等关键调节因素。”

SPU的推出，标志着AI科研能力评估进入新阶段。过去，“能否用AI跑通一个分析流程”是主要关注点；现在，问题转向“AI能否像资深研究员一样，在信息不完备时提出合理假设并预判结果”。这不仅关乎技术演进，更影响资源分配逻辑——当制药公司考虑是否将AI纳入早期筛选管线时，SPU提供了一套可量化、可复现的决策依据。

值得留意的是，SPU并非封闭系统。其设计支持持续扩展：新任务可通过合作实验室提交，经审核后加入公开或私有池；评分规则也接受社区反馈迭代。项目官网已公开详细协议与部分样例任务，鼓励更多团队参与共建。

短期内，SPU不太可能催生“全自动科研机器人”，但它清晰划定了当前能力边界。对于模型开发者而言，它指明了需补强的方向：强化科学知识的结构化表示、提升多步因果推理稳定性、改进实验变量敏感性建模。而对于科研机构，它提供了一个客观标尺，可用于评估内部AI工具的实际价值。

随着更多真实世界实验数据接入，SPU有望成为AI for Science领域的“ImageNet时刻”——一个定义能力上限、驱动技术突破的基准平台。而眼下，所有参与者都意识到：在湿实验面前，算力翻五倍，未必换来一次准确预测。