扩散智能发布Clover-35B模型,七项Agent指标登顶,生成速度达自回归模型5—10倍

扩散智能(DiffuSpace)开源350亿参数扩散语言模型Clover-35B-A3B-Preview,在统一评测中七项Agent任务指标均排名第一,SWE-bench Verified达73.6,...

人工智能 阅读量: 28.32万

扩散语言模型正从边缘探索走向核心竞争舞台。近日,初创公司扩散智能(DiffuSpace)正式发布其350亿参数模型Clover-35B-A3B-Preview(简称Clover),并在技术报告中披露:该模型在七项Agent专项评测中全部位列第一,覆盖工具调用、专业工作与智能体编程等关键场景。其中,SWE-bench Verified得分73.6,Terminal-Bench 2.1达51.7,显著优于LLaMA2.2 flash、DiffusionGemma、Mercury 2.5等同规模自回归或扩散基线模型。

Clover的突破不仅体现在任务性能上,更在于其底层生成机制的重构。与主流自回归模型逐Token顺序生成不同,扩散模型通过噪声逐步去噪的方式并行生成多个Token,并在过程中反复修正内容。这一特性天然适配Agent所需的“试错—反馈—重写”闭环流程。扩散智能联合创始人、首席科学家龚珊三指出,过去扩散模型的主要优势是推理速度;如今随着Agent成为大模型落地的核心路径,团队将重点转向验证其在复杂任务链中的实际效能。

为支撑长上下文与高复杂度任务,Clover采用“分块扩散”(Block Diffusion)策略:将生成序列划分为若干Block,每个Block内部以扩散方式并行生成Token,已完成的历史内容则通过KV Cache复用,避免重复计算。该设计有效缓解了传统扩散模型随上下文增长而指数级上升的计算开销。

更关键的是,团队对基础模块Gated DeltaNet(GDN)进行了双向改造,形成BD-GDN(Bidirectional GDN)。原GDN主要面向左→右单向建模,而BD-GDN需同时处理两类信息流:一是已生成历史内容的高效存取,二是当前Block内Token间的双向交互。技术报告显示,Clover采用混合堆叠结构,每四层为一组,包含三层BD-GDN与一层动态MoE(dMoE),兼顾建模深度与稀疏激活效率。

性能实测数据进一步佐证了该架构的有效性。在WindTunnel任务集(49个任务×每任务3次尝试)中,Clover以98.4综合得分、98.6%尝试成功率、1.52秒中位执行时间全面领先——其单次任务平均成本仅0.0010美元,约为GPT-5.6 Luna的1/24、Gemini 3.6 Flash的1/44。值得注意的是,Clover在Terminal-Bench Verified(终端命令执行验证)中得分51.7,远超第二名Mercury 2.5的33.0,表明其在真实系统环境下的工具调用稳定性显著提升。

速度方面,Clover在部分测试配置下Token生成速度达到同级别自回归模型的5—10倍。但龚珊三强调:“从生成提速到完整任务效率提升,仍需结合工具调用、环境反馈与代码修复等环节综合验证。”例如,在SWE-bench中,高生成速度可快速产出初版代码,但最终能否通过测试,取决于模型对错误模式的识别与迭代能力。Clover在该基准中73.6的得分,说明其不仅生成快,且具备较强的自我修正逻辑。

文章配图

扩散模型的崛起并非一蹴而就。2022年龚珊三启动DiffuSeq项目时,该方向尚属冷门,团队在连续空间建模失败后转向离散空间,历经多轮实验才确立可行路径。早期 Scaling 阶段缺乏参考经验,团队只能“一个一个试”,甚至一度不确定方向是否可行。转折点出现在2023年后:Google、Inception、蚂蚁等机构陆续加入研究行列,社区共识逐渐形成——扩散模型在并行性与全局规划上的潜力值得长期投入。

Clover与其他模型在知识、数学、代码、推理等多维度Benchmark对比表

当前,Clover仍为Preview版本,SFT训练代码已开源,但强化学习与工具微调阶段尚未完全公开。团队下一步将聚焦于拓展双向建模范围,探索如何让扩散过程更充分地利用全局语义约束,从而在更长任务链中保持一致性与目标导向性。

行业观察认为,Clover的发布标志着扩散语言模型正式从“加速器”角色升级为“任务执行者”。过去两年,Agent能力竞赛主要围绕自回归模型的提示工程、工具集成与记忆扩展展开;如今,生成范式本身也成为变量。当模型能在1秒内完成一次完整代码生成+终端执行+结果校验的闭环,效率瓶颈将从“生成慢”转向“决策准”。

WindTunnel任务集综合得分与速度对比表:Clover以98.4分、1.52秒中位时间领先

扩散智能并未宣称要全面取代自回归模型,而是明确指向“部分场景替代”——例如高频调用工具的自动化脚本编写、重复性系统操作、低容错率的批量测试任务等。这些场景对生成速度与迭代效率极为敏感,恰是扩散模型的优势区间。

技术路线的分化正在加深。一边是OpenAI、Anthropic等厂商持续深化自回归架构的上下文与记忆能力;另一边,以扩散智能为代表的新兴力量正试图通过生成机制革新,开辟第二条通路。两条路径短期内或将并存,但长期看,谁能更好平衡速度、准确性与任务完整性,谁就更可能主导下一代智能体基础设施。

Clover的开源也为社区提供了重要实验平台。其分块扩散与双向GDN设计可被复用于其他规模模型,而SFT代码的释放降低了复现门槛。随着更多研究者加入验证与改进,扩散模型在Agent领域的实用化进度有望加速。