AutoGLM 是能直接操作手机界面的 AI 智能体:你说帮我点一份不加香菜的牛肉面,四十分钟内送到,它自己打开外卖 App、搜索、加购,一路走到提交订单页。这类工具省掉的不是思考,是点击。它把十几步操作压成一句话,代价是每一步都可能点错,所以支付前的确认环节必须留着。
它和语音助手差在哪
语音助手给的是答案,智能体给的是动作。问附近有什么面馆,前者念一串店名,后者直接把排在最前的那家店的外卖页打开、把商品加进购物车。区别在于它读得懂屏幕上的按钮,也点得动。
技术上,这类工具依靠系统提供的界面读取能力获取屏幕上的控件信息,再用点击、输入、滑动来执行。它看到的是屏幕上的文字和按钮,不是 App 的内部数据。界面一改版,按钮换了位置或名字,原来的操作路径就可能失效。
一次点单的完整链路
需求要一次说全:吃什么、几个人、预算、送达时间、忌口、收货地址。少说一项,它就会自己猜,猜出来的结果通常不是你想要的。
执行过程一般是这样:打开 App、搜索关键词、按销量或距离排序、进店、选规格、加购、确认地址、选优惠、提交订单。每一步都可能出岔子——搜牛肉面进了麻辣烫店,规格默认选了大份,地址用了公司而不是家。
所以更稳的用法是分段确认,不要一口气让它跑到支付页。加购完成后先看一眼购物车,地址和规格在这里改最省事;到了提交页再核对金额,最后自己输密码。
| 环节 | 它做什么 | 你要确认什么 | 出错信号 |
|---|---|---|---|
| 搜索选店 | 按关键词找店、按销量或距离排序 | 店名、距离、是否在营业 | 进了同名店或不同品类的店 |
| 选品加购 | 选规格、加料、改数量 | 份量、辣度、忌口 | 默认规格被当成了你的选择 |
| 填写地址 | 调用地址簿里的记录 | 楼栋、门牌、联系电话 | 用了历史地址或公司地址 |
| 使用优惠 | 勾选可用券、计算配送费 | 实付金额、起送门槛 | 券没勾上,或为凑单加了不需要的东西 |
| 提交支付 | 跳到支付页等待确认 | 金额、收款方、送达时间 | 金额与预期不符、收款方陌生 |
哪些任务适合交给它
步骤固定、结果可预期、错了能撤回的任务最合适:点常吃的那家、查快递到哪了、填一张格式固定的表单。需要比较和取舍的任务不适合全权交出,比如帮我挑一个送长辈的礼物,它没有你的判断依据。
频率也是判断标准。一周点五次同一家店,值得为它配一次指令;一年用两回的复杂操作,自己点更快,教它的时间够你做完三遍。
金额是第三条线。几十元的订单,出错的损失有限;上千元的机票酒店,宁可自己操作。自动执行适合低单价、高频次、可退改的场景。
下单前四看
- 看地址:是不是这次要送的地方
- 看规格:份量、辣度、忌口有没有被默认值覆盖
- 看金额:商品小计、配送费、优惠抵扣是否对得上
- 看时间:预计送达是否在你要求的区间内
它做不到什么
支付密码、短信验证码、人脸识别,这些必须你本人完成,任何声称能代过的说法都别信。它停在支付页是设计如此,不是故障。
商家打烊、菜品售罄、骑手运力不足,这些需要电话沟通的情况,它处理不了。页面上的已售罄它能看见,但换店、加价、跟商家协商,仍然要你自己来。
口味偏好它记不住。这次说不要香菜,下次不会自动带上,除非平台提供偏好设置。每次把忌口写进指令,是最省事的做法。
权限是另一层代价。读取屏幕内容意味着它能看到的,理论上也包括聊天记录和账单页面。只在使用时开权限,用完关掉,是更稳妥的习惯。不同机型的权限入口和支持范围不一样,具体以官方最新版本为准。
它也理解不了模糊的社交需求。帮我点一份让同事满意的下午茶,这句话没有可执行的标准,最后大概率按销量排序,点了最普通的那家。
三个实际操作问题
- 它总停在支付页不动,是坏了吗?:多数是等你自己确认。检查金额与地址,确认无误后手动完成支付即可。若页面卡住不跳转,退出重试比反复下指令有效。
- 能不能让它同时比三个平台的价格?:可以要求它依次查,但跨 App 的连续操作耗时长,中途容易被弹窗打断。更稳的做法是分别下一次指令,自己记价格。
- 地址簿里一堆旧地址,怎么避免选错?:先在 App 里清理,把常用地址设为默认并改名成家、公司。指令里直接说送到公司,比让它从列表里挑可靠。
把任务说清楚这件事本身也有方法。需要模型先想清楚再动手时,深度思考模式的开关时机讲的是同一类判断;如果操作过程需要留痕复盘,把过程转成文字记录更好查;给智能体写指令的通用结构,可以参考提示词改编的三个动作。


