港大又出新项目!刚开源了一个跑在手机上的Agent,直接装Android上,用自然语言让AI帮你操作各种App
无需电脑,也不用每一步都截图让模型猜怎么操作
叫PhoneGo,比如说,你让它去小红书找一家香港大学附近的酒店,然后再到携程查询当晚价格
它就会先搜小红书笔记、提取酒店名称,再切换携程搜索同一家酒店,查询可订日期和房价,最后把结果反馈给你
全程无需你逐步指导它打开哪个App、点哪个按钮,App被藏在虚拟屏幕里驱动,不影响你自己用手机
比纯视觉手机Agent,操作步骤减少了47%、执行耗时减少了56%、Token消耗减少了55%
核心是CLI+GUI混合执行,已知的App操作路径直接调用命令,遇到陌生界面才让视觉模型接管
它的工作流程是:离线探索App,建立App Navigation Map,把页面和导航路径编译成可执行命令
在线执行任务,AI理解用户意图,优先调用已有命令,直接执行熟悉的操作流程
然后视觉兜底,遇到未知页面、动态内容或者异常状态,再通过视觉模型识别屏幕、点击、滑动
跨App协作,把一个应用获取的信息传递给另一个应用,完成连续任务
目前支持Android 14+、ARM64,提供APK可直接安装;需自备模型API Key,通过无线调试和无障碍服务操作手机,大部分任务可后台执行
github:t点cn/AXT5g4ex