GPT-6Astra裸考通过真实汽车科目二测试,通用大模型展现物理世界控制能力

近日,独立研究项目DrivingBench进行了一项实验,使用GPT-6 Astra等通用大模型直接控制一辆2022款丰田卡罗拉在停车场完成科目二考试路线。结果显示,GPT-6 Astra成为唯一完成...

人工智能

在一个空旷的停车场内,一台2022款丰田卡罗拉搭载着最新版GPT-6 Astra大模型系统,成功完成了模拟科目二考试的倒U形赛道。这项由Aditya Ramabadran、Simon Mahns和Tobias Gessler三位研究者发起的实验,不仅验证了通用大模型在物理世界中的控制潜力,也为未来机器人技术的发展提供了新的思路。

实验场地设置在一个空旷的停车场,赛道由蓝色锥桶划定,包含左转、直线、缓弯、右转等多个驾驶场景。研究人员通过comma four设备和OBD-C接口将车辆摄像头画面及CAN总线数据实时传输至电脑,再经MCP工具传递给GPT-6 Astra模型。该模型利用视觉信息感知周围环境,并生成转向、加速和制动指令,最终通过开源辅助驾驶系统openpilot执行。

文章配图

在首次尝试中,GPT-6 Astra行驶67.3米后因过早对正导致偏离,安全员进行了人工干预。但在第二次尝试中,模型明显调整了策略:将车速控制在0.8米/秒以内,增加转向幅度,在24次运动指令中有20次使用了最大转向请求。最终,它以134.7米的成绩和5分22秒的用时完成了整个赛道,成为四个参测模型中唯一完赛者。

值得注意的是,这次测试并非传统意义上的驾照考试。DrivingBench没有按照任何国家的驾驶证考试标准进行,场地也并非公共道路,而是一处空旷停车场。真正值得关注的是,一个并非专门为自动驾驶研发的通用大模型,已经可以通过视觉信息观察真实世界,并形成感知、判断、规划和车辆控制的闭环。

实验过程中,GPT-6 Astra展现了明显的上下文学习特征。它并没有重新训练参数,而是依据第一次驾驶获得的信息,在第二次尝试中调整了速度、转向和操作节奏。这种自我优化能力,使得模型在短时间内显著提升了驾驶表现。

此外,测试还暴露出一些安全边界问题。最初,GPT-6 Astra有时会拒绝控制真实车辆,并明确给出安全方面的理由。即便研究人员告知场地为空旷停车场、车辆速度受到限制、车内也有安全员,它仍可能拒绝执行。后来研究人员将连接车辆的MCP工具名称改成了DrivingBench Sandbox,拒绝现象明显减少。这个细节甚至比成功完赛更加值得研究,因为它揭示了通用大模型在进入物理世界时需要面对的安全判断机制。

DrivingBench团队表示,他们目前也无法确定,这究竟来自模型对测试环境的判断,还是单纯受到Sandbox这一名称的影响。这个细节甚至比成功完赛更加值得研究。随着大模型开始从电脑操作进一步进入机器人、汽车等真实物理设备,模型不仅需要理解世界,还需要判断哪些操作能够执行,以及自己的行为究竟会造成什么现实后果。

尽管134.7米的成绩不能与今天的城市NOA甚至Robotaxi直接比较,但这次实验展示了通用大模型在物理世界中的控制潜力。它表明,未来的机器人系统可能不再需要针对特定任务进行深度训练,而是通过通用模型理解和适应各种环境。这种架构类似于近年来机器人行业越来越常见的思路:让通用模型负责理解环境和任务,再通过标准化工具调用底层执行机构。