ToolSpace开源804个真实工具环境,Qwen3.6-35BAgent评分提升18分

人大、复旦、上交联合团队发布ToolSpace,通过从20万条真实执行轨迹中挖掘工具依赖关系,构建804个高保真工具环境簇,解决Agent训练中“合成环境塑料感”问题。Qwen3.6-35B在7个长时...

人工智能

人工智能代理(Agent)的训练正面临一个隐蔽却致命的瓶颈:训练环境的真实性不足。当模型在人工合成的沙箱中表现优异,一旦接入真实MCP(Model Calling Protocol)服务,往往因参数格式错位、调用顺序混乱或跨服务编排失败而迅速失效。这一问题长期困扰工业界与学术界,直到ToolSpace的出现——它不再试图“造环境”,而是从真实世界中“挖工具”。

11月3日,中国人民大学、复旦大学与上海交通大学联合团队在arXiv发布论文《ToolSpace: A Benchmark for Realistic Tool-Using Agents》,提出一种逆向构建训练环境的新范式。其核心主张直指当前主流方法的根本缺陷:环境合成顺序颠倒。传统“数据中心”(Data-Centric)路径先构造数据库与场景,再派生工具与任务;而现实世界中,工具及其组合逻辑才是原生存在,环境数据只是工具执行的副产品。

ToolSpace的解决方案分为两个阶段,逻辑清晰且高度工程化。

文章配图

第一阶段为“工具空间探索”(Tool Space Exploration)。团队收集了20万条真实执行轨迹,来源包括Smithery注册表中的线上MCP服务调用记录、Toucan-1.5M与ToolBench的真实工具调用日志,以及SWE-agent和OpenHands在真实容器中的操作序列。这些轨迹按真实性分级过滤,确保输入数据具备业务级可信度。

  • 数据依赖:下游工具输入直接引用上游输出字段,且类型匹配(如搜索返回的file_id被读取接口使用);
  • 状态依赖:上游修改某对象后,下游操作同一对象(如创建订单后查询该订单);
  • 重试依赖:上一步失败,更换工具后成功,错误路径本身构成有效学习信号。

每条边附带频率权重,低频边及无法溯源至上游输出的“伪边”(如共用limit=10等常量)被自动剪除。这一设计规避了LLM主观臆断带来的虚假连接,为后续环境构建奠定坚实基础。

第二阶段为“跨环境可验证任务合成”(Cross-Environment Verifiable Task Synthesis)。基于第一阶段生成的工具组合图,系统进行状态感知的随机游走,生成长链任务(最长可达6步),再通过反编译生成自然语言任务描述,并回放验证执行结果。仅当任务能被真实工具链100%成功执行时,才纳入训练集。

环境构建策略同样务实:804个环境簇按连接密度聚类得出,其中仅181个(22.5%)为“操作型环境”(含增删改工具),需配套底层数据库;其余623个为只读型环境,无需建库,直接复用工具接口快照即可,显著降低构建成本与维护负担。

ToolSpace Walk Observatory界面

这一方法论带来了可观的性能跃升。在七个长时程基准测试(AutomationBench、SkillsBench、BFCL V4、τ³-Bench Banking、OfficeQA Pro等)中,经ToolSpace微调的Qwen3.6-35B模型平均得分从23.0提升至41.0,增幅达18分;更大规模的Qwen3.6-744B版本得分达56.6,已与Claude Opus 5持平。所有模型、代码与数据集均开源,GitHub仓库与HuggingFace模型页已同步上线,Demo平台toolspace-agent.github.io支持交互式体验。

值得注意的是,ToolSpace并非简单扩充数据量,而是重构了Agent能力增长的底层逻辑。它将“工具”视为能力原子单元,强调工具间真实存在的依赖关系是复杂任务涌现的前提。这种思路与近期具身智能、工具调用Agent研究趋势高度一致——能力不来自指令微调的堆叠,而源于对真实交互结构的建模。

在评估环节,ToolSpace引入了“可验证性”作为硬性门槛。不同于以往依赖人工标注或模型打分的任务集,其任务必须通过真实工具链回放验证,确保训练信号与部署场景严格对齐。这直接回应了业界长期诟病的“训练-推理鸿沟”问题。

ToolSpace在五大基准上的环境扩展与数据扩展效果对比

从技术演进角度看,ToolSpace代表了Agent训练从“模拟仿真”向“实证驱动”的转向。过去两年,大量工作聚焦于合成任务生成(如ToolBench、OpenAgents),但普遍缺乏对工具生态真实拓扑的刻画;ToolSpace则通过大规模轨迹挖掘,首次系统性还原了工具网络的结构特征。其804个环境簇覆盖办公、开发、金融、日程管理等高频场景,包含158个工具类别与355条被验证的跨环境边,构成目前最贴近生产环境的Agent训练场。

消融实验进一步佐证了规则驱动优于LLM驱动的设计选择:若将依赖边构建改为LLM判断,任务成功率下降12.7%,长链任务完成率降幅更达19.3%。这说明,在工具关系建模这类强逻辑性任务上,确定性规则仍具不可替代优势。

目前,ToolSpace已在多个开源社区引发关注。其方法论为中小团队提供了低成本构建高保真Agent训练环境的路径——无需自建庞大数据库,只需接入真实工具API并采集执行日志,即可参与环境共建。项目团队亦开放了工具注册与轨迹贡献接口,鼓励开发者上传更多MCP服务调用记录,持续扩充环境簇规模。

随着大模型走向实用化,Agent能否可靠调用外部工具已成为落地关键。ToolSpace的价值不仅在于提升分数,更在于重新定义了“可信训练数据”的标准:不是看数据量多大,而是看它是否忠实复现了真实世界的工具协作逻辑。当训练环境不再“塑料”,Agent才真正具备走出沙箱的能力。