网通社科技快报
GPT6 Astra裸考通过真车科目二测试
近日,由Aditya Ramabadran、Simon Mahns和Tobias Gessler发起的DrivingBench实验中,搭载最新版GPT-6 Astra的大模型系统成功控制一辆2022款丰田卡罗拉,在空旷停车场内完成模拟科目二考试赛道。该实验首次验证了通用大模型在物理世界中的环境感知与车辆控制能力。
实验场地为一处空旷停车场,赛道由蓝色锥桶划定,包含多种驾驶场景。研究人员通过comma four设备和OBD-C接口将车辆数据实时传输至电脑,再经MCP工具传递给GPT-6 Astra模型。模型利用视觉信息生成转向、加速和制动指令,并通过openpilot系统执行。
在首次尝试中,GPT-6 Astra因过早对正偏离赛道,安全员进行了人工干预。但在第二次尝试中,模型显著调整策略:将车速控制在0.8米/秒以内,增加转向幅度,在24次运动指令中有20次使用最大转向请求,最终以134.7米的成绩和5分22秒的用时完成赛道,成为四个参测模型中唯一完赛者。
值得注意的是,此次测试并非传统驾照考试,场地也非公共道路。实验重点在于验证通用大模型是否能通过视觉信息观察真实世界,并形成感知、判断、规划和控制的闭环。测试过程中,GPT-6 Astra展现了上下文学习特征,依据第一次驾驶经验优化策略,提升了表现。
此外,测试还暴露出一些安全边界问题。最初,模型有时会拒绝控制真实车辆,并给出安全理由。即便研究人员告知场地为空旷停车场且车内有安全员,模型仍可能拒绝执行。后来将连接工具名称改为“DrivingBench Sandbox”后,拒绝现象明显减少。这一细节揭示了通用大模型进入物理世界时的安全判断机制。
DrivingBench团队表示,目前无法确定模型拒绝行为是源于对环境的判断,还是单纯受工具名称影响。随着大模型从电脑操作迈向机器人和汽车等物理设备,模型不仅需要理解世界,还需要判断哪些操作可行以及行为的现实后果。
尽管134.7米的成绩不能与城市NOA或Robotaxi直接比较,但这次实验展示了通用大模型在物理世界中的控制潜力。它表明,未来的机器人系统可能不再需要针对特定任务进行深度训练,而是通过通用模型理解和适应各种环境,为自动驾驶领域带来新思路。
实验场地为一处空旷停车场,赛道由蓝色锥桶划定,包含多种驾驶场景。研究人员通过comma four设备和OBD-C接口将车辆数据实时传输至电脑,再经MCP工具传递给GPT-6 Astra模型。模型利用视觉信息生成转向、加速和制动指令,并通过openpilot系统执行。
在首次尝试中,GPT-6 Astra因过早对正偏离赛道,安全员进行了人工干预。但在第二次尝试中,模型显著调整策略:将车速控制在0.8米/秒以内,增加转向幅度,在24次运动指令中有20次使用最大转向请求,最终以134.7米的成绩和5分22秒的用时完成赛道,成为四个参测模型中唯一完赛者。
值得注意的是,此次测试并非传统驾照考试,场地也非公共道路。实验重点在于验证通用大模型是否能通过视觉信息观察真实世界,并形成感知、判断、规划和控制的闭环。测试过程中,GPT-6 Astra展现了上下文学习特征,依据第一次驾驶经验优化策略,提升了表现。
此外,测试还暴露出一些安全边界问题。最初,模型有时会拒绝控制真实车辆,并给出安全理由。即便研究人员告知场地为空旷停车场且车内有安全员,模型仍可能拒绝执行。后来将连接工具名称改为“DrivingBench Sandbox”后,拒绝现象明显减少。这一细节揭示了通用大模型进入物理世界时的安全判断机制。
DrivingBench团队表示,目前无法确定模型拒绝行为是源于对环境的判断,还是单纯受工具名称影响。随着大模型从电脑操作迈向机器人和汽车等物理设备,模型不仅需要理解世界,还需要判断哪些操作可行以及行为的现实后果。
尽管134.7米的成绩不能与城市NOA或Robotaxi直接比较,但这次实验展示了通用大模型在物理世界中的控制潜力。它表明,未来的机器人系统可能不再需要针对特定任务进行深度训练,而是通过通用模型理解和适应各种环境,为自动驾驶领域带来新思路。