Google开源Artemis移动端AI Agent 支持自然语言驱动真机跨App操作

Google近日开源Artemis——一款面向Android的自主移动AI Agent系统，允许用户通过自然语言描述目标，由系统在真实设备或模拟器上自动执行点击、滑动、输入等多步骤操作，并通过Web控制台全程回放推理过程与界面截图。其核心采用‘观察-思考-行动’循环机制，结合结构化UI树与视觉识别双重感知路径，显著提升对动态界面的鲁棒性。技术架构上，Artemis分层设计：前端为Angular构建的Showcase UI，后端由FastAPI提供Admin Console管理任务队列与会话追踪；执行层含FlashRunner（高频短流程）与Pro引擎（基于LangGraph的多Agent协同，支持长链路任务与校验节点）。系统通过MCP协议无缝集成Cursor、Claude Code等IDE，开发者可在编码环境中直接调用mobile_tap、mobile_swipe等工具驱控真机。部署需配置Python 3.12+、ADB连接、LLM API Key（支持Gemini、OpenAI、Claude、OpenRouter等），设备侧优先启用Accessibility Helper获取UI树，不可用时降级至UIAutomator2；部分机型需手动开启USB调试。实际测试中，红米K80搭配DeepSeek视觉模型成功执行山姆App商品分享并保存带水印图片全流程，全程无需代码。系统内置坐标兜底与视觉兜底双保险机制，应对UI变更或元素缺失；Workspace页面支持复盘每步推理链、截图标注、Token消耗与scrcpy录屏等可观测指标，并可一键重放历史会话。项目托管于GitHub（google/artemis），采用Apache 2.0许可证，提供Maps导航、Gmail发信等推荐任务示例。Artemis并非替代Appium等传统框架，而是补充其在探索性任务、界面快速迭代及跨生态协作场景中的能力边界，具备纳入CI/CD流程潜力，标志移动端AI Agent正迈向工程落地阶段。