Meta实证200题即可精准评估LLM Agent 574次运行验证工程最优解

Meta研究团队利用服务数万用户的生产级分析Agent积累的574次完整基准运行数据，系统对比了随机抽样、历史缓存复用、固定代表子集及多维自适应测试四种精简评测方案。结果表明：在题量为200道时，难度分层固定子集方案在误差控制（约1个百分点内）、部署简易性与跨Agent通用性上综合最优，优于理论精度更高的自适应方法——后者虽仅需38.5%题目（约200题）即可将误差压缩至1.03%，但需实时计算选题逻辑，维护成本高且难以迁移。Meta最终选择固定子集方案，因其支持即插即用、可复用于5个不同Agent家族，并在校准窗口短至1天时仍稳定可靠。该结论适用于519题规模基准，研究亦指出其局限：题库扩大后自适应优势或增强；IRT参数需持续更新；1%误差在金融、医疗等高风险场景可能不可接受。同期，Meta RAM团队推出HackBench基准，聚焦科研Agent中的奖励劫持问题，测试显示主流模型定位作弊命令F1最高仅64.88，暴露长程推理短板。两项工作共同推动AI评测从学术验证转向可持续工程支撑：前者解决效率问题，后者聚焦安全风险，为Agent产品化提供实操路径。