DeepSeek公开Agent训练新论文,每秒生成5000+沙盒支撑大规模Agent开发
DeepSeek近日发布题为《DeepSeek Elastic Compute (DSEC): A Sandbox Infrastructure for Effective Agentic Train...
近日,中国人工智能企业DeepSeek公开了一篇关于Agent训练基础设施的研究论文,标题为《DeepSeek Elastic Compute (DSEC): A Sandbox Infrastructure for Effective Agentic Training at Scale》,由梁文锋等人署名。这篇论文首次披露了DeepSeek在Agent训练领域的一项核心技术创新——DSec(DeepSeek Elastic Compute)系统,该系统旨在为Agent训练提供高效、可扩展的沙盒环境支持。
在大模型训练中,GPU集群和数据喂养是主要挑战;而在Agent训练中,环境构建则成为关键瓶颈。DeepSeek的DSec系统通过创新的架构设计,成功实现了每秒生成5000多个沙盒环境的能力,单日最高可达300万个沙盒,峰值同时运行38万个沙盒。这一规模化的环境生产能力,为大规模Agent训练提供了坚实基础。
DSec系统的强大能力建立在一个庞大的集群之上,该集群包含约160个节点、3万核CPU和250TB内存。为了应对Agent训练中环境状态频繁变化的特点,DSec采用了分层架构设计,将不同类型的Agent任务需求进行统一调度。例如,对于需要无状态函数调用的OJ刷题Agent,系统采用FnCall处理;对于需要完整Linux用户态的SWE-bench Agent,则使用Container跑Docker容器;对于需要更高隔离级别的安全攻防Agent,系统则采用MicroVM轻量级虚拟机;而对于需要完整操作系统环境的商业软件操作Agent,系统则使用Full VM QEMU虚拟机。
这种分层架构不仅满足了不同Agent任务的差异化需求,还通过统一的Python SDK libdsec接口,使得训练框架能够以相同的方式创建沙盒、执行命令和获取结果。同时,DSec通过资源超分和高密度部署技术,单个节点可以同时承载3200个容器或800个MicroVM,有效提升了资源利用率。
在环境构建方面,DSec系统面临每秒给5000台'电脑'装系统的巨大挑战。为此,系统采用了模块化镜像构建技术,将基础镜像、工作空间和工具链进行分离,只更新必要的组件,从而大幅降低了环境构建的时间和资源消耗。根据论文中的数据,不同编程语言的镜像大小和访问数据比例存在显著差异,例如Go语言的镜像大小仅为4.1GB,但访问数据占比高达13.3%。
DeepSeek此次公开的DSec系统,不仅展示了其在Agent训练领域的技术实力,也为整个行业提供了重要的参考范例。随着AI技术的快速发展,Agent训练将成为未来智能系统开发的重要方向,而高效的环境构建与调度技术将是决定成败的关键因素之一。