谷歌GeminiMac版上线电脑操控功能,可跨应用执行PPT制作、表单填写等任务

谷歌于11月19日为macOS版Gemini推出“电脑操控”功能,允许AI在后台跨本地文件、桌面应用与网页执行多步骤任务。该功能面向美国地区AI Plus/Pro/Ultra订阅用户开放,需Apple...

人工智能 阅读量: 20.85万

谷歌于美东时间11月19日正式为macOS版Gemini应用上线“电脑操控”(Computer Use)功能,标志着其AI助手从对话生成正式迈入系统级任务执行阶段。该功能允许Gemini在用户授权下,直接操作Mac上的桌面应用、访问本地文件并浏览网页,完成多步骤自动化工作流——例如批量修图、从PDF提取信息填写运费单、汇总仪表盘数据生成PPT,以及整理衣物照片后自动在二手平台发布商品。

与传统聊天式AI不同,Gemini的电脑操控能力以“后台代理”模式运行:任务在独立窗口中执行,不干扰用户主屏幕与鼠标光标;聊天界面同步显示实时操作预览,用户可随时暂停或终止流程。对于涉及文件修改、表单提交等关键动作,模型会主动请求用户批准,确保操作可控。权限层面,用户可精细指定Gemini可访问的应用程序与文件夹范围,而非授予全局控制权。

该功能目前仅向美国地区的英语用户逐步开放,适用订阅层级为Google AI Plus、Pro与Ultra(起价4.99美元/月),硬件要求为搭载Apple Silicon芯片、运行macOS Sequoia 15.0或更新版本的Mac设备。值得注意的是,谷歌此次功能发布与苹果近期系统权限调整高度同步。11月16日,苹果在macOS 27.3 Beta 2中引入针对“设备控制”与“数据访问”的细化权限机制:将原“完全磁盘访问”(Full Disk Access)拆分为按应用/文件夹粒度授权,并新增菜单栏透明提示标识,当某应用正在控制另一应用时即时提醒用户。

苹果在开发者公告中明确指出,此举旨在应对AI智能体日益增长的系统操作能力所引发的安全风险。尽管相关权限调整早于Gemini电脑操控功能的官宣,但二者时间点的高度重合,凸显出操作系统厂商正积极构建适配新一代AI代理的权限治理框架。根据The Verge报道,苹果并未将此视为对谷歌的针对性回应,而是长期规划的技术演进。

从技术路径看,Gemini的电脑操控能力依赖于端云协同架构:终端侧负责屏幕内容感知、界面结构识别与敏感信息过滤;云端则承担复杂任务规划、多模态推理与工具调用编排。这种分工既保障了隐私合规性(避免全部本地数据上传),也提升了任务执行效率。例如,在处理本地PDF时,Gemini可先在设备端提取文本结构,再将关键字段发送至云端模型生成结构化数据,最终返回指令驱动Pages或Numbers完成表单填充。

行业观察认为,这一变化标志着AI竞争重心正从“模型参数规模”转向“系统集成能力”。过去两年,生成式AI的核心交互是“提问-回答”,而桌面智能体要求模型理解上下文状态、协调异构工具、维持长周期任务一致性。这不仅考验模型的推理与规划能力,更依赖操作系统提供的安全沙箱、权限接口与运行时调度支持。

通信世界分析指出,任务式智能体将重塑算力消费模型:相比单次对话触发的集中式推理,后台任务常伴随碎片化、长上下文、多轮校验的请求流,对云服务的缓存策略、批处理能力与状态管理提出新要求。未来可能出现“按任务计费”或“按执行结果付费”的新型定价模式,补充现有Token计费体系。

网络连接质量也成为关键变量。跨应用、跨网页的连续操作需稳定上行链路以同步屏幕状态、上传文件片段、接收动作反馈。尤其在断网或弱网场景下,智能体需具备断点续传与本地缓存能力,这对边缘计算节点的部署提出更高需求。

Gemini跨应用协同示意图

用户实际体验方面,谷歌强调“可控性”为设计核心。除权限分级外,系统还提供操作审计线索:用户可在设置中查看Gemini近期执行的任务记录、访问过的应用及文件路径。已安装并获授权的应用在macOS 27.3正式版推送后无需重新授权,亦不会强制弹出说明界面,降低升级摩擦。

目前,该功能尚未覆盖全球市场,中文及其他语言版本暂未开放。有分析人士指出,本地化适配难点不仅在于语言模型本身,更涉及对各国办公软件生态(如WPS、钉钉文档)、电商平台(闲鱼、转转)及数据合规法规的深度整合。短期内,此类高权限AI功能仍将优先在监管框架较成熟的区域试点。

从产业影响看,Gemini在Mac端的落地为云端智能体树立了新标杆:它不再仅是信息检索工具,而是能嵌入真实工作流的代理执行者。微软Copilot+ PC虽已通过本地NPU实现部分任务自动化,但依赖Windows原生API;而Gemini选择在第三方操作系统上构建跨应用控制能力,显示出谷歌推动AI通用代理化的战略意图。

Gemini应用图标特写

不过,挑战依然显著。一方面,复杂任务的可靠性依赖于对GUI元素的精准识别——当应用界面更新或布局变动时,AI可能误触按钮;另一方面,用户对“AI代操作”的心理接受度仍需培育。早期测试中,部分用户反馈对后台自动点击存在本能警惕,即便有预览窗口,仍倾向全程监督关键步骤。

可以预见,随着更多厂商跟进类似功能,操作系统层的“智能体沙箱”将成为标配。苹果、谷歌、微软均在构建各自的权限抽象层:苹果聚焦“最小权限原则”与实时提示,谷歌强调用户主导的细粒度授权,微软则通过Windows Agent Platform统一调度本地与云端智能体。三方路径虽异,目标一致:让AI真正成为生产力延伸,而非系统风险源。

截至发稿,Gemini for Mac可通过谷歌官网下载,电脑操控功能随应用更新自动启用(需订阅对应层级)。用户需确保系统版本为macOS Sequoia 15.0及以上,并完成首次权限配置。未来数月,该功能有望扩展至更多国家与语言环境,同时兼容更多第三方应用生态。