展台中的机械臂操作界面

大部分软件世界的自动化,止步于「有没有 API」。企业的老系统、祖传的后台、封得严严实实的网页——没有接口,RPA 就得靠写死的坐标脚本,页面一改就断。Computer Use 类智能体换了一条路:让模型像人一样看屏幕、移动光标、点击输入。界面本身就是接口。

一、为什么这条路线成立

多模态模型看懂截图的能力过了实用线,是这条路线成立的前提。加上结构化的动作空间(点击、输入、滚动、快捷键),智能体可以操作任何一个给人设计的界面。这意味着自动化的覆盖面从「有 API 的少数」扩大到「有 UI 的一切」。它不是比 RPA 更聪明的脚本,而是把自动化的前提从「对方配合」变成了「界面存在」。

二、能做什么,做得怎么样

现实的甜点区很清楚:跨多个系统搬运数据、重复的表单操作、网页信息的采集与核对——步骤明确、结果可验证的任务。这类场景里它像一个不抱怨的临时工,跑通一次就能稳定复用。

但可靠性账要算清楚:一次点击的坐标偏差、一个弹窗、一次加载延迟,都可能让任务从中间断掉。行业里常见的做法是用「检查点 + 可回放」兜底——每个关键步骤留下断言,失败后从断点重试,而不是从头再来。无头浏览器加 DOM 操作的路线往往比纯视觉点击更稳,代价是只覆盖 Web,碰不了桌面应用。

三、两道墙:责任与反制

第一道墙是责任。智能体替人点了「同意」、提交了订单、发了消息,出错算谁的?这决定了它在生产里只能先做「人类可审计的辅助」:每一步留痕、敏感动作前暂停等人确认。完全无人值守只适合低价值、可撤销的操作。

第二道墙是反制。网站可以用验证码、行为检测识别自动化访问,服务条款也普遍对此设限。技术能力越强,「能不能用」和「允不允许用」的落差越大——工程判断之外,合规判断必须前置。

小结

Computer Use 把「没有 API」从自动化的死路变成了慢路。能跑通演示和能交付生产之间,隔着可靠性工程和责任边界两道墙——先跨第一道的团队已经拿到红利,第二道墙则由规则制定者慢慢砌。


说明:本文为公开资料的整理与评述,信息来源包括主要模型厂商的 Computer Use 产品文档与浏览器自动化社区的公开实践,数据以各官方原文为准。本文由 AI 辅助整理,不构成技术选型或投资建议。