(mobile agent v3.5) [Bug] Agent 无法识别和打开系统应用（如电话），且 Click 失败后错误提示安装

[Holidayrabbit]

问题描述

执行任务「打开电话查看最近通话记录」时，Agent 表现异常：

1. STEP 0 & 1：VLM 正确识别到 Phone 图标并输出 click 动作，坐标 [116, 706]
2. STEP 2：在 click 似乎未生效后，Agent 改为 open 动作，请求打开 "Phone"
3. APP RESOLVER：LLM 返回 app: ""，理由为「电话/Phone 不在已安装应用列表中」
4. 错误提示：[ACTION REQUIRED] Please install the app: Phone

电话是系统预装应用，不应被要求「安装」。

复现步骤

cd mobile_use
uv run run_gui_owl_1_5_for_mobile.py --instruction "打开电话查看最近通话记录"

根因分析

1. 应用列表不包含系统应用

utils.py 中 get_package_name(all_packages=False) 默认使用 pm list packages -3，只返回第三方应用，系统应用（电话、设置、联系人等）被排除。

# utils.py:156-163
def get_package_name(self, all_packages=False):
    flag = "" if all_packages else " -3"  # -3 仅第三方
    cmd = f"{self.adb_path}{self._device_flag}shell pm list packages{flag}"

2. packages.py 缺少电话/拨号器映射

packages.py 中未包含常见拨号器包名，如：

• com.android.dialer (AOSP)
• com.google.android.dialer (Google)
• com.miui.dialer (小米)
• 等厂商定制包名

因此 NAME_PACKAGE_DICT.get("Phone", []) 和 NAME_PACKAGE_DICT.get("电话", []) 均为空。

3. Click 与 Open 的衔接逻辑缺失

当 VLM 在屏幕上识别到图标并执行 click 时，若 click 未生效（坐标缩放、延迟、界面变化等），Agent 会 fallback 到 open。但 open 依赖「已安装应用列表 + 包名映射」，两者都不包含系统应用，导致无法打开。

4. 错误提示不合理

系统应用无法通过「安装」获得，提示 Please install the app: Phone 对用户无意义。

建议改进

1. 支持系统应用：get_package_name() 增加选项或默认包含常见系统应用（电话、设置、联系人、相机等）
2. 扩展 packages.py：补充电话/拨号器及常见系统应用的包名映射
3. 优化 open 失败处理：当解析不到应用时，可尝试通过 adb shell am start + Intent 启动（如 android.intent.action.DIAL）
4. 区分系统/第三方：对系统应用给出「无法找到/无法启动」等更合理的提示，而非「请安装」

环境

• 设备：Pixel 4a
• MacOS

[buptcjj]

非常感谢您的建议，我们这么做事出于这几种考虑：

1. 很多系统应用packagename名称不统一，不同厂家会有自己的应用名，收集复杂
2. 底层APP可以从其他途径获得sdk直接调用
   所以我们目前应用针对的是更需要gui操作的三方应用，系统应用也就没有重点考虑。

当然针对您遇到的问题，最直接的方案：
直接修改本地代码，在NAME_PACKAGE_DICT的表中，添加拨号软件或其他有需求的本地app的packagename，确保可以运行

我们之后会收集一下常用收集的常用本地应用的packagename，之后进行更新。

[Holidayrabbit]

Thank you for your helpful reply!

[buptcjj]

另外想向您确定一下，一开始click "手机" 失效的原因
是我们输出的坐标有问题导致没有按准？还是 click动作失效了？
如果是前者的话，能否请提供一下手机原图？最好是调用dashscope返回的requestid
如果坐标没问题，那可能有两种情况

1. click动作失败了，您可以测一下其他query看这个程序在您手机上是否可以正常执行(点击、滑动、打字等)
2. 如果其他的都正常，那大概率是手机延迟等问题(通常我们加了sleep时间这个情况在click动作上较少发生)，我判断系统转到open操作也没有问题