阿里全新Agent玩转手机：刷短视频自主点赞评论，还学会了跨应用操作

会操纵手机的智能体，又迎来了全新升级！

新的 Agent 打破了 APP 的界限，能够跨应用完成任务，成为了真 · 超级手机助手。

比如根据指示，它可以自行搜索篮球比赛的结果，然后根据赛况在备忘录中撰写文稿。

来自阿里的一篇最新论文，展示了全新手机操纵智能体框架Mobile-Agent，可以玩转 10 款应用，还能跨越 APP 完成用户交给的任务，而且即插即用无需训练。

依托多模态大模型，整个操纵过程完全基于视觉能力实现，不再需要给 APP 编写 XML 操作文档。

在 Mobile-Agent 还只有演示视频的时候，就已经让一众网友为之惊艳：

和树莓派结合到一起，将完爆 Rabbit R1。

想象一下如果它支持语音操纵，并且学会了说话……

那么，Mobile-Agent 操纵手机到底有多 6 呢？

支持跨应用任务

目前，Mobile-Agent 已经学会了十个 APP 的操作，以及一些跨应用任务。

比如搜索导航路线、帮忙在购物网站下单，它总能精准找到搜索框并完成目标。

也可以 " 刷 " 视频，然后点赞评论，看上去就像熟练的老手。

甚至是安装应用、修改系统设置，也难不倒它。

而 Mobile-Agent 支持的跨应用操作，也是让 " 手机助手 " 更加接近人类……

只见它打开天气预报软件，然后迅速根据读取到的天气数据在备忘录中生成了报告。

而在 Mobile-Eval 数据集上的测试结果也显示，Mobile-Agent 操纵手机的效率已经达到了人类的 80%。

研究人员在 10 款 APP 和跨应用任务上各测试了三种指令，收集了是否成功、操作评分、相对效率和完成率四项指标。

其中 SU 只有成功和不成功两种情况，RE 是 Agent 所需操作步骤数和人类所需步骤数的比值，CR 则是 Agent 相对于人类操作的完成比例，PS 则以打分形式得出。

结果，针对三种指令，Mobile-Agent 的平均完成率都在 90% 以上，成功次数也不低于 80%。

而且，与此前的智能体不同，Mobile-Agent 不需要依赖应用说明文档，而是完全依靠视觉能力实现。

基于 GPT-4V 实现

具体来说，Mobile-Agent 基于最强多模态大模型 GPT-4V 实现。

通过视觉感知模块，Mobile-Agent 从设备的屏幕截图中准确定位视觉和文本元素文本和图标。

这一过程涉及到使用 OCR 工具和 CLIP 模型来确定图标的位置。

通过这些视觉信息，Mobile-Agent 能够将语言模型生成的操作指令映射到具体的屏幕位置，从而执行点击等操作。

在执行任务时，Mobile-Agent 首先接收用户的指令，然后根据当前屏幕截图、操作历史和系统提示生成下一步操作。

这个过程是迭代进行的，直到任务完成。

Mobile-Agent 还具备自我规划能力，能够根据操作历史和系统提示自主规划新的任务。

此外，它还引入了自我反思机制，在执行过程中，如果遇到错误或无效操作，它会根据屏幕截图和操作历史进行反思，尝试替代操作或修改当前操作的参数。

目前，研究人员已经在 GitHub 中开源了 Mobile-Agent 测试过程中生成的指令记录，程序代码也已经发布，未来还计划推出 APP 版本。

感兴趣的小伙伴可以试一试了 ~

GitHub 主页：

论文地址：

— 完 —

点这里关注我，记得标星哦～

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见 ~