一周打造竞品!OpenAI计算机操作能力实现新突破

在知名 AI 决策模型 Jev 引发行业关注后,OpenAI 仅用一周时间推出 Decisions API 竞品。该产品沿用 Luna 模型权重,通过优化推理系统实现快速决策,支持客服分类、评估打分等...

人工智能

今年 6 月,播客主持人 Dwarkesh Patel 曾提出"AI 为什么还不擅长操作电脑"的质疑,在行业内引发广泛讨论。三个月后,OpenAI 在 9 月 29 日开发者日展示了 Dot 等计算机操作相关技术,但真正引发关注的是其在 Jev 推出三周后紧急推出的 Decisions API。

据 OpenAI CUA 团队负责人 Ari Weinstein 透露,过去一年智能体在遇到障碍时更善于排错和重试,不再局限于截图点击方式。页面结构、无障碍信息和代码编写都成为其操作软件的新手段。而 OpenAI API 产品负责人 Nikunj Handa 则分享了 Decisions API 的开发细节:团队没有重新训练模型,而是沿用 Luna 的权重,将输出约束为结构化结果,并专门优化推理系统以缩短首次决策返回时间。

Decisions API 的推出并非原计划,而是受到 Jev 启发后迅速启动的项目。从原型验证到可运行版本,团队仅用了一周时间完成。该产品不仅能用于客服工单分类和评估打分,还能与 GPT Live 配合,让智能体在需要快速判断时表现更灵敏。

Ari Weinstein 强调,智能体计算机操作能力的提升来自模型和运行框架的双重进步。如今的智能体可以结合截图、无障碍信息、页面结构和 Playwright 工具操作软件,一次执行多个步骤。不过,当涉及网站访问和付款等关键操作时,仍需用户在特定环节进行把关。

图2:机器人与云端数据分析的未来科技场景

Nikunj Handa 表示,Decisions API 的设计还考虑了异步函数调用和中途引导功能,有助于处理工具调用频繁、执行时间较长的任务。这些改进使得智能体在复杂任务中能够持续工作,同时保持高效性。

OpenAI 的这一快速响应不仅展示了其内部黑客文化的活力,也反映了行业对 AI 计算机操作能力的迫切需求。随着智能体执行速度的提升,等待网站加载等操作本身的耗时也成为新的瓶颈。未来,如何进一步优化智能体的反应速度和准确性,将成为行业发展的重要方向。