什么是计算机操作代理？AI 如何观察、点击、输入并浏览软件

计算机操作代理是能够感知软件界面，并通过点击、输入、滚动、拖动和键盘快捷键等操作与之交互的 AI 系统。它们无需为每个应用都配备专用 API，而是通过人们使用的许多相同可视界面进行操作。

这种能力让代理能够广泛应用于旧版软件、网站和桌面应用程序，但也带来了不同寻常的风险。对界面的细微误解就可能使一项耗时很长的任务偏离方向；而界面访问权限还可能让代理接触到已登录用户能够查看或更改的一切内容。

计算机操作为何重要

世界上许多重要软件都是为人而非代理设计的。应用程序可能没有公开 API，只能通过编程方式使用部分功能，也可能需要跨多个界面完成操作。

传统的机器人流程自动化可以操作用户界面，但通常依赖预先定义的选择器和工作流。计算机操作代理则加入了一个模型，能够解读陌生屏幕、判断需要执行的步骤，并在界面发生变化或出现意外对话框时灵活应对。

这使计算机操作成为一种通用工具。同一套感知与行动循环有望用于浏览电子表格、客户关系管理系统、设计应用程序、浏览器或内部门户。

计算机操作代理如何工作

目标映射是其中最困难的中间环节。代理必须将“打开最新发票”这类概念性指令与屏幕上某一特定行或控件对应起来。文本标签和无障碍元数据会有所帮助，但遇到动态布局、基于画布的界面、相互重叠的元素和含义模糊的图标时，模型可能不得不根据像素信息进行推理。

这一基本循环与人们和软件交互的方式相似。

1. 观察：捕获屏幕截图、无障碍树、文档结构、光标位置以及其他环境状态。
2. 解读：识别可见控件、内容、警告，并理解当前屏幕与任务之间的关系。
3. 选择操作：决定点击、输入、滚动、按键、等待或请求帮助。
4. 执行：运行时通过操作系统、浏览器或虚拟机界面执行操作。
5. 验证：捕获变化后的屏幕，并判断操作是否达到了预期效果。
6. 重复或停止：继续朝目标推进、从错误中恢复，或在受保护的边界处暂停。

OpenAI 对计算机操作代理的描述，将这项能力概括为视觉感知、推理以及鼠标和键盘操作的结合。关键不在于预测单次点击，而在于感知、行动与重新观察到的状态之间形成的闭环。

代理能“看到”什么

计算机操作系统可以接收不同形式的界面信息。

屏幕截图提供通用的像素级视图，即使没有结构化界面元数据也能使用。它们可以捕捉图表、图像、画布应用程序和视觉布局。不过，小型目标、隐藏状态和含义模糊的图标可能难以解读。

无障碍树或文档结构以更结构化的形式呈现控件和文本。这有助于更准确地选择元素，但可能遗漏视觉信息，或在不同应用程序中的表现不一致。

混合系统结合像素信息、结构化元素、应用程序状态，有时还会使用直接 API。与将所有问题都视为纯视觉模仿相比，这种方式往往更有效。

计算机操作与浏览器自动化的区别

传统浏览器自动化使用代码和稳定的选择器执行已知步骤序列。当页面结构可控时，这种方式既快速又可预测。计算机操作代理则会动态解读界面，并决定要遵循哪一套步骤。

这两种方法可以互为补充。稳健的系统可以先让代理判断需要完成什么，再通过确定性自动化或 API 执行已知操作。在无法使用结构化界面或无法预先确定操作路径时，像素级交互最有价值。

计算机操作与 API 及工具调用的区别

这种混合方法既能减少错误，也能降低成本。智能体可以通过 API 获取数据，只在需要填写旧版表单时打开桌面应用，然后通过另一条结构化查询验证最终记录。将视觉控制视为多种工具之一，可以避免每一步都被迫通过可靠性最低的界面完成。

API 提供面向机器的接口，包含明确的操作和数据类型。与通过屏幕点击操作相比，API 通常速度更快、精度更高，也更容易验证。计算机操作的兼容性更广，但代价是存在更多歧义。

例如，智能体可以通过 API 查询库存，但在处理 API 不支持的例外情况时，改用供应商的网络门户。工具调用可以将这两种能力都提供给模型，同时由运行时优先选择最可靠的途径。

常见应用场景

• 后台运营：在不同门户之间传输数据、处理常规表单，以及准备待审批的记录。
• 研究：浏览网站、筛选结果、收集证据，以及更新工作文档。
• 软件测试：执行用户操作流程、记录故障，以及检查视觉变化。
• IT 支持：检查设置、收集诊断信息，以及指导或执行已获批准的修复操作。
• 个人效率：协调文件、网络应用、日历和文档。
• 无障碍：在严格的隐私控制下，帮助用户操作那些不易使用的界面。

计算机操作任务为何仍然困难

用户界面包含动态菜单、延迟加载、弹出窗口、可滚动区域、小型目标，以及看起来相似但后果各不相同的状态。一项任务可能需要连续完成几十个正确步骤，因此即使单步错误率不高，错误也会逐步累积。

基准测试（如 OSWorld）会在真实计算机环境中评估智能体，而非只测试孤立的点击操作。OSWorld 2.0 将这一思路扩展到更长的工作流，涵盖状态变化和更多样的情况。斯坦福大学的 《2026年人工智能指数》技术性能章节 报告称，性能迅速提升，但在 OSWorld 上与人类表现之间仍存在差距，这凸显出令人印象深刻的演示并不意味着普遍可靠。

主要故障模式

• 视觉定位错误：点击了相邻控件或外观相似的控件。
• 状态混淆：页面未加载、保存未成功或活动窗口未切换，却误以为这些操作已经完成。
• 长程任务偏移：经过许多细小操作后，逐渐偏离任务目标。
• 隐藏的副作用：智能体本想预览，却提交了表单或完成了购买。
• 提示注入：遵循嵌入网页、文档或消息中的恶意指令。
• 凭据暴露：泄露或滥用已登录会话中可获取的信息。
• 不可逆的错误：在审查不足的情况下删除、发布、发送或购买。

安全与控制原则

界面内容不可信。网页、电子邮件或文档中可能包含旨在引导智能体偏离原定方向的指令，恶意对话框也可能伪装成常见的确认提示。系统应将页面内容与策略隔离，限制可访问的目标位置和凭据，并在出现意外的权限请求或可能造成重大后果的确认提示时暂停操作。

计算机操作应在能够完成任务的最受限环境中运行。专用浏览器配置文件、虚拟机或沙盒可以限制对无关账户和文件的访问。会话应使用特定于任务的凭据和最小权限，而不是继承用户对整个桌面环境的全部操作权限。

影响重大的操作必须设有明确的确认关口。系统应在提交、发送、购买、删除、发布或更改敏感设置之前立即暂停，并向用户展示确切的操作对象及其影响。

智能体还应将屏幕内容视为不可信数据。在网页中遇到的指令不得覆盖系统策略或用户的任务要求。下载内容、复制的命令和对外通信都需要单独验证。

如何评估计算机操作智能体

任务成功是必要条件，但仅凭这一点还不够。团队应衡量步骤准确性、从意外状态中恢复的能力、不必要的操作、耗时、成本、敏感数据暴露情况、对审批要求的遵循程度，以及多次运行的一致性。

评估环境应改变屏幕分辨率、布局、数据、时序和应用状态。否则，智能体可能会对脚本化基准测试过度拟合，却无法应对日常软件中的各种变化。

如何阅读计算机操作示意图

阅读计算机操作示意图时，应从带编号的输入开始，顺着流程查看可观察到的结果。对比图指出了计算机操作与其最接近的捷径方式之间的区别，而控制路径则标明在造成现实后果之前，必须检查权限或不确定性的环节。标签采用普通的自适应网页文本，因此可以翻译、换行，并在手机屏幕上重新排版。

对于《什么是计算机操作智能体？AI 如何观察、点击、输入并浏览软件》这一主题，示意图提供的是路线图，而非保证。实际实现可能会合并不同阶段、重复某个步骤，或加入人工审批关口。关键在于团队能否在部署的系统中识别出相同的功能，为每个关口指派负责人，并测试各关口之间的转换。如果某个阶段无法观察或衡量，那么该阶段发生的故障就很难诊断。

关于计算机操作智能体的要点

计算机操作智能体将人类使用的软件界面变成了一种通用工具。它们能够访问缺少合适 API 的系统，也能适应固定自动化难以轻松预见的任务变化。

这种通用性也带来了模糊性和广泛的潜在影响。最稳妥的设计会在有可用结构化 API 时优先使用它们，隔离计算机环境，验证每一次状态变化，并确保由人掌控可能造成重大后果的操作。