手机GUI Agent双通道感知实践无障碍树与像素帧协同应用

近期，开发者momo-null在GitHub上开源了名为hachifish的项目，详细记录了手机GUI Agent实现双通道感知的实践经验。该项目的核心架构采用“无障碍树为主、像素帧兜底”的设计思路，结合无障碍服务（AccessibilityService）获取结构化UI树信息，同时利用MediaProjection（MediaProjection）获取屏幕像素帧作为视觉补充。这种双通道感知方式有效解决了单一感知模式的局限性，尤其在界面动态变化或自绘控件场景下表现出更强的鲁棒性。

技术实现方面，无障碍服务提供精确的控件语义信息（如clickable、editable属性），但对自绘控件支持有限；而像素感知虽缺乏语义理解，却能捕捉真实视觉信息，适用于WebView和游戏等复杂场景。性能测试显示，无障碍服务的中位数延迟约为6ms，而像素感知为20ms，尽管时延稍高，但在转场动画和纯自绘界面等场景下表现更稳定。

实际应用案例表明，该架构在自动化测试中显著提升了Agent的可靠性。例如，当界面快速切换导致无障碍服务失效时，Agent可无缝切换至像素感知模式继续工作。此外，对于OCR文字提取或图像特征匹配等任务，Agent优先使用像素感知结果以确保准确性。

hachifish项目的开源不仅提供了可复用的代码框架，还分享了在不同机型（如Android 12）上的适配经验，特别是针对WebView和游戏等特殊场景的处理方法。这些实践经验为构建更智能的手机GUI Agent提供了重要参考。

随着移动设备界面复杂度的提升，传统的单一感知方式已难以满足需求。双通道感知架构的提出，展示了在移动环境中实现可靠感知的新路径。未来，随着硬件性能优化和感知算法改进，该架构有望在自动化测试、辅助功能增强和智能交互等领域得到更广泛应用。