先这样答
回答这道题，可以从 GUI Agent 面临的感知、行动、规划三大挑战切入，最后补充评测与选型原则。整体设计思路是围绕这三个难点做针对性的方案取舍。
感知层面的难点在于如何把屏幕截图转化为模型能理解的 UI 元素，并完成视觉定位，也就是决定点哪个坐标。设计上有两条路线，一是纯像素方案，直接分析截图找位置；二是提取操作系统的 accessibility 树这种结构化方案。后者定位更稳定，但依赖系统接口暴露情况。行动层面的难点是动作空间设计与定位稳定性。设计时需要抽象出点击、输入、滚动、快捷键等原子动作。在执行时，控件 ID 定位优先，坐标点击作为兜底。针对删除或提交等高代价操作，必须设计确认闸以防止误操作。
规划层面的挑战在于多步操作的状态跟踪与失败恢复。页面跳转后，目标元素可能发生变化，或者中途遇到弹窗、加载延迟、验证码等干扰，Agent 需要具备识别异常并恢复操作的能力。在评测环节，核心指标是端到端的任务成功率，也就是对最终状态的校验，辅以步骤效率。离线 benchmark 与真实的动态环境分布往往存在差异。
在实际工程中，GUI Agent 更多是一种兼容性广的补充方案。向面试官总结时可以说，核心选型原则永远是有 API 走 API，没有 API 才走 GUI，因为 API 方案的稳定性远高于脆弱的图形界面操作。
面试官会怎么追问
-
「纯视觉方案和基于 accessibility 树的方案，在实际落地时怎么选？」 优先使用 accessibility 树获取结构化数据。提取到的控件属性和层级关系准确率高，适合标准化程度高的桌面或网页应用。当遇到不支持无障碍接口的第三方软件或者跨设备投屏场景时，再降级使用纯视觉方案进行像素级解析和坐标预测。
-
「如果执行过程中突然弹出一个广告弹窗，Agent 怎么处理？」 这属于规划层面的失败恢复问题。Agent 在每执行一步后，需要对当前屏幕截图进行状态跟踪。如果发现预期元素未出现且检测到弹窗，需要调用前置设定的异常处理逻辑，比如寻找关闭按钮并点击，然后再尝试恢复主线任务。
-
「GUI Agent 的评测指标只看最终任务成功率够吗？」 不够。除了端到端的终态校验，还需要考察步骤效率。如果 Agent 产生大量冗余操作才完成任务，在实际应用中会带来高昂的延迟。此外，离线 benchmark 无法完全模拟真实的动态加载和突发弹窗，评测结果需要结合真实环境来修正。
回答的坑
一味强调模型看图能力强，忽视了纯视觉方案在坐标定位上的误差，正确方向是结合控件 ID 或无障碍树进行多模态对齐与兜底。
把 GUI Agent 当作所有自动化场景的首选方案，正确方向是明确其脆弱性，坚持 API 优先，将 GUI 操作定位为无法获取 API 时的兼容性方案。
同系列的题