SwarmEvolve实现450个潜空间AIagent静默协作,进化搜索速度提升5-13倍

Brown大学研究团队提出SwarmEvolve框架,让450个AI智能体在潜空间中静默推理并共享KV缓存,跳过文本生成环节,将LLM进化式程序搜索吞吐量提升5至13倍;单卡一小时效果相当于传统方法六...

人工智能

在大语言模型驱动的程序合成领域,进化搜索(evolutionary search)正成为发现新算法与数学结构的重要工具。FunSearch曾找到新的cap set构造,AlphaEvolve改进了4×4复矩阵乘法——这些成果证明了该路径的可行性。但长期困扰研究者的瓶颈始终未解:推理过程依赖逐字生成的思维链(Chain-of-Thought),导致单次候选程序生成耗时20–35秒,一轮迭代仅能产出百余样本,GPU高负载下效率极低。

Brown大学Jiang与Karniadakis团队在arXiv论文《SwarmEvolve: Latent Swarms for Efficient LLM-based Evolutionary Search》(编号2611.08483,2026年11月)中提出一种激进优化方案:彻底取消智能体之间的文本交互,转而让450个AI agent在潜空间中静默协作,仅在最终汇总阶段输出文字。实验表明,该方法将进化搜索吞吐量提升5–13倍,中位耗时3–8分钟即可达到基线方法运行60分钟的性能水平;更值得注意的是,一个参数量仅80亿的开源模型,在该框架下复现并改进了AlphaEvolve用更大模型发现的3项数学构造。

这一突破的核心在于对“推理成本”的重新定义。传统LLM进化搜索中,每个agent需完整解码输入提示、中间推理与输出程序,形成冗长自回归序列;上下文随代际累积膨胀,多样性提升反而加剧资源消耗,陷入“越努力越慢”的恶性循环。SwarmEvolve则剥离了语言表征层,将推理压缩至向量空间内部完成。

具体而言,系统每轮启动10个“蜂群”(swarm),每群含45个潜空间agent。每个agent接收问题描述、父程序及特定focus提示(如“从第一性原理推导”或“质疑某假设”),随后执行40步潜空间推理:利用一个预计算的对齐矩阵$W_a$,将模型最后一层隐藏态映射回输入嵌入空间,并作为下一轮输入重馈给模型。该矩阵无需训练,仅通过岭回归闭式解构建,确保各词元输出尽可能匹配其原始输入嵌入,从而维持语义一致性。

关键创新在于agent间通信机制。不同于传统多智能体系统依赖文本消息传递,SwarmEvolve采用KV cache直接传输——即模型推理过程中生成的键值对缓存被跨agent共享。这使得45个agent可在同一轮内并行探索不同方向,而无需重复处理相同上下文。随后,每群中一个专用summarizer读取剩余30个agent(经新颖性过滤后淘汰15个雷同者)的KV cache,整合信息生成新程序。

该设计融合了两条近年兴起的技术路线:一是潜空间推理(latent reasoning),即跳过token解码,在隐藏状态层面完成连续推理;二是隐式多智能体通信(latent MAS),如LatentMAS已验证KV cache可替代文本消息实现高效协同。SwarmEvolve首次将二者系统性嵌入进化搜索闭环,并验证其在真实科学发现任务中的有效性。

在基准测试中,SwarmEvolve在多个程序合成任务上显著优于AlphaEvolve与OpenEvolve。以数学构造任务为例,其在相同算力预算下搜索深度更深、多样性更高;尤其在有限资源场景下优势突出——8B参数模型在单卡A100上运行1小时,产出程序质量超过AlphaEvolve使用更大模型运行6小时的结果。这不仅降低了科研门槛,也为轻量化AI科学发现提供了可行路径。

文章配图

值得注意的是,该框架并未牺牲结果质量。研究团队复现了AlphaEvolve公开的三项关键成果:改进的矩阵乘法核、新型线性码构造及组合优化策略,并在其中两项上实现了进一步优化。这说明静默推理并非简单压缩,而是通过更高效的探索机制提升了搜索信噪比。

45个潜空间智能体通过KV缓存协作生成新程序示意图

从工程角度看,SwarmEvolve的架构具备良好扩展性。10群×45 agent的配置可在单张消费级显卡上部署(实测使用8B模型+80GB显存),而传统方法往往需多卡集群支撑同等规模搜索。代码已开源至GitHub(Qile-J/SwarmEvolve),并提供与AlphaEvolve结果对比的基准数据集(google-deepmind/alphaevolve_results),便于社区复现与迭代。

该工作揭示了一个被长期忽视的事实:在LLM驱动的自动化科学探索中,语言生成本身可能是性能瓶颈而非必要环节。当任务目标明确(如程序合成)、评估标准客观(如运行时间或正确率)时,绕过自然语言中介,直接在表示空间操作,反而能释放模型潜在能力。

目前,该方法仍聚焦于程序级搜索任务,尚未拓展至更开放的创意生成或复杂决策场景。但其思路已引发关注:是否可在其他需要群体智能的领域(如多机器人协同规划、分布式超参数优化)复用潜空间协作范式?随着潜推理技术成熟,未来或出现更多“不说话的AI协作网络”,在保持高精度的同时大幅降低算力开销。

SwarmEvolve尚未进入工业级应用阶段,但其为低成本AI科研工具链提供了新选项。对于高校实验室、初创团队或个人研究者而言,用一张消费级显卡在数小时内完成过去需整日运算的进化搜索任务,意味着试错周期缩短、探索广度扩大——这或许正是AI辅助科学发现走向普及的关键一步。