网通社科技快报
AI自主操作手机成功完成多任务
近日，人工智能领域迎来一项突破性进展：AI Agent已能直接操作真实智能手机。这一技术的核心是XPhoneUse工具，由开发者jkindle推出，为Codex、Claude等AI Agent提供了“眼睛和手”，使其能够像人类一样使用手机。该工具通过集成“Skill”功能，允许用户向AI发出指令，如安装技能或执行任务，AI即可按要求完成操作。
在实际测试中，使用DeepSeek V4.1 Flash模型配合omp，AI Agent成功完成了多项任务，包括查看多邻国连胜记录、发送微信消息以及完成日语学习任务。这些操作得益于XPhoneUse提供的无障碍树结构和屏幕截图能力，使AI能够理解并操作手机界面。然而，AI在操作过程中也面临挑战，例如无法直接识别微信界面内容，需额外开发OCR工具辅助；同时存在误操作情况，如错误点击系统会话窗口。为此，开发者优化了AI的操作逻辑，制定了“不知道屏幕上有什么，就不碰；一次动作，一次验证”的原则，以提高准确性和安全性。
与此同时，阿里巴巴集团也在这一领域发力。在2026云栖大会上，阿里发布了Qwen Intelligence（简称QI），这是一个面向手机智能的全栈解决方案。QI覆盖了从先进模型到全栈平台，再到具体手机任务的一整套能力，旨在让手机里的AI从一个“回答问题的助手”，变成一个持续执行任务的Agent。其核心在于Mobile Planner Agent、Mobile-Use Agent和Mobile Creative Agent三套系统，分别负责任务规划、跨应用执行和影像创作，标志着AI手机产业分工格局正在加速变化。
总的来说，AI自主操作手机的技术正在快速发展，从最初的Demo演示阶段逐步走向实际应用，不仅改变了我们对手机的认知，也为未来的智能生活带来了无限可能。
在实际测试中，使用DeepSeek V4.1 Flash模型配合omp，AI Agent成功完成了多项任务，包括查看多邻国连胜记录、发送微信消息以及完成日语学习任务。这些操作得益于XPhoneUse提供的无障碍树结构和屏幕截图能力，使AI能够理解并操作手机界面。然而，AI在操作过程中也面临挑战，例如无法直接识别微信界面内容，需额外开发OCR工具辅助；同时存在误操作情况，如错误点击系统会话窗口。为此，开发者优化了AI的操作逻辑，制定了“不知道屏幕上有什么，就不碰；一次动作，一次验证”的原则，以提高准确性和安全性。
与此同时，阿里巴巴集团也在这一领域发力。在2026云栖大会上，阿里发布了Qwen Intelligence（简称QI），这是一个面向手机智能的全栈解决方案。QI覆盖了从先进模型到全栈平台，再到具体手机任务的一整套能力，旨在让手机里的AI从一个“回答问题的助手”，变成一个持续执行任务的Agent。其核心在于Mobile Planner Agent、Mobile-Use Agent和Mobile Creative Agent三套系统，分别负责任务规划、跨应用执行和影像创作，标志着AI手机产业分工格局正在加速变化。
总的来说，AI自主操作手机的技术正在快速发展，从最初的Demo演示阶段逐步走向实际应用，不仅改变了我们对手机的认知，也为未来的智能生活带来了无限可能。