Что такое агенты, взаимодействующие с компьютером? Как ИИ видит интерфейс, щёлкает мышью, вводит текст и работает с программами

Агенты, взаимодействующие с компьютером, — это системы ИИ, способные воспринимать интерфейс программы и управлять ею с помощью таких действий, как щелчки мышью, ввод текста, прокрутка, перетаскивание объектов и сочетания клавиш. Вместо того чтобы требовать отдельный API для каждого приложения, они работают со многими из тех же визуальных интерфейсов, что и люди.

Эта способность позволяет агентам работать с самыми разными устаревшими программами, сайтами и настольными приложениями. Но она также связана с необычными рисками. Из-за небольшого неверного толкования визуальных элементов выполнение долгой задачи может пойти по неправильному пути, а доступ к интерфейсу способен открыть агенту всё, что видит пользователь, вошедший в систему, и всё, что он может изменить.

Почему важно взаимодействие с компьютером

Многие важные программы в мире создавались для людей, а не для агентов. У приложения может не быть общедоступного API, программный доступ может охватывать лишь часть его функций или для выполнения задачи может потребоваться работать с несколькими интерфейсами.

Традиционные системы роботизации процессов могут работать с пользовательскими интерфейсами, но обычно опираются на заранее заданные селекторы и сценарии. Агент, взаимодействующий с компьютером, дополняет этот подход моделью, которая способна интерпретировать незнакомые экраны, определять нужный следующий шаг и адаптироваться к изменениям интерфейса или появлению неожиданного диалогового окна.

Благодаря этому взаимодействие с компьютером становится универсальным инструментом. Один и тот же цикл восприятия и действий потенциально позволяет работать с электронной таблицей, системой управления взаимоотношениями с клиентами, приложением для дизайна, браузером или внутренним порталом.

Как работает агент, взаимодействующий с компьютером

Сопоставить запрос с элементом интерфейса — самая сложная часть процесса. Агент должен связать абстрактную инструкцию, например «открой последний счёт», с конкретной видимой строкой или элементом управления. Помочь могут текстовые подписи и метаданные специальных возможностей, однако при динамической компоновке, интерфейсах на основе холста, перекрывающихся элементах и неоднозначных значках модели может потребоваться анализировать изображение на уровне пикселей.

Основной цикл напоминает то, как человек работает с программами.

1. Наблюдение: сделать снимок экрана, получить дерево специальных возможностей, структуру документа, положение курсора и другие сведения о текущем состоянии среды.
2. Интерпретация: определить видимые элементы управления, содержимое, предупреждения и связь между текущим экраном и задачей.
3. Выбор действия: решить, следует ли щёлкнуть мышью, ввести текст, прокрутить страницу, нажать клавишу, подождать или попросить о помощи.
4. Выполнение: среда выполнения осуществляет действие через интерфейс операционной системы, браузера или виртуальной машины.
5. Проверка: сделать снимок изменившегося экрана и определить, привело ли действие к нужному результату.
6. Повтор или остановка: продолжить движение к цели, устранить ошибку или приостановить работу на защищённом этапе.

В описании OpenAI агента, взаимодействующего с компьютером эта возможность представлена как сочетание визуального восприятия, рассуждений и действий с помощью мыши и клавиатуры. Важен не отдельный прогноз щелчка, а замкнутый цикл восприятия, действия и наблюдения нового состояния.

Что агент может «видеть»

Системы взаимодействия с компьютером могут получать интерфейс в разных представлениях.

Снимки экрана дают общее представление на уровне пикселей и подходят даже в тех случаях, когда структурированные метаданные интерфейса недоступны. На них могут быть графики, изображения, приложения на основе холста и элементы визуальной компоновки. Однако небольшие цели, скрытое состояние и неоднозначные значки бывает трудно интерпретировать.

Деревья специальных возможностей или структура документа представляют элементы управления и текст в более структурированном виде. Это позволяет точнее выбирать элементы, но при этом часть визуальной информации может отсутствовать, а поведение таких данных — различаться в разных приложениях.

Гибридные системы объединяют пиксели, структурированные элементы, состояние приложения, а иногда и прямые API. Такой подход зачастую эффективнее, чем попытка решать любую задачу исключительно путём имитации визуального взаимодействия.

Взаимодействие с компьютером и автоматизация браузера

Традиционная автоматизация браузера использует код и стабильные селекторы для выполнения заранее известной последовательности действий. Если структура страницы контролируется, такой подход работает быстро и предсказуемо. Агент, взаимодействующий с компьютером, динамически интерпретирует интерфейс и может сам определить, какую последовательность действий выбрать.

Эти подходы дополняют друг друга. В надёжной системе агент может определять, что нужно сделать, а затем выполнять известные операции с помощью детерминированной автоматизации или API. Взаимодействие на уровне пикселей особенно ценно, если структурированный интерфейс недоступен или последовательность действий нельзя задать заранее.

Управление компьютером в сравнении с API и вызовом инструментов

Такой гибридный подход снижает и вероятность ошибок, и затраты. Агент может получить данные через API, открыть настольное приложение только для заполнения устаревшей формы, а затем проверить итоговую запись с помощью другого структурированного запроса. Если рассматривать визуальное управление как один из нескольких инструментов, не придется выполнять каждый шаг через наименее надежный интерфейс.

API предоставляет интерфейс для взаимодействия с программами, в котором явно заданы операции и типы данных. Обычно он быстрее, точнее и проще в проверке, чем работа с экраном посредством щелчков мышью. Управление компьютером обеспечивает более широкую совместимость, но сопряжено с большей неоднозначностью.

Например, агент может запросить сведения о запасах через API, но обратиться к веб-порталу поставщика, чтобы обработать исключительную ситуацию, которую API не поддерживает. Вызов инструментов может предоставить модели обе возможности, а среда выполнения будет отдавать предпочтение наиболее надежному способу.

Распространенные сценарии использования

• Операции внутреннего офиса: перенос данных между порталами, обработка типовых форм и подготовка записей к утверждению.
• Исследования: работа с веб-сайтами, фильтрация результатов, сбор доказательств и обновление рабочего документа.
• Тестирование программного обеспечения: прохождение пользовательских сценариев, регистрация сбоев и проверка визуальных изменений.
• ИТ-поддержка: проверка настроек, сбор диагностических данных, помощь в устранении неполадок или выполнение одобренных исправлений.
• Личная продуктивность: упорядочение файлов, веб-приложений, календарей и документов.
• Доступность: помощь пользователям в работе с интерфейсами, навигация по которым иначе затруднена, при условии строгих мер защиты конфиденциальности.

Почему задачи по управлению компьютером по-прежнему сложны

В пользовательских интерфейсах есть динамические меню, задержки при загрузке, всплывающие окна, области прокрутки, небольшие элементы управления и состояния, которые выглядят одинаково, но приводят к разным последствиям. Для выполнения задачи могут потребоваться десятки правильных действий, поэтому даже небольшая вероятность ошибки на каждом шаге накапливается.

Такие тесты, как OSWorld, оценивают работу агентов в реальных компьютерных средах, а не на отдельных щелчках мышью. OSWorld 2.0 развивает эту идею, проверяя более длительные рабочие процессы с изменениями состояния и большим разнообразием условий. В главе о технических показателях AI Index за 2026 год, подготовленной Стэнфордским университетом, отмечен быстрый прогресс, однако также показано, что на OSWorld результаты по-прежнему уступают человеческим. Это подтверждает, что впечатляющие демонстрации не означают универсальной надежности.

Основные причины сбоев

• Ошибки визуальной привязки: щелчок по соседнему элементу управления или по похожему на нужный.
• Путаница состояний: предположение, что страница загрузилась, данные сохранены или активное окно сменилось, хотя этого не произошло.
• Отклонение от цели при длительном выполнении: потеря цели задачи после множества небольших действий.
• Скрытые побочные эффекты: отправка формы или оформление покупки, когда агент намеревался лишь просмотреть ее.
• Промпт-инъекция: выполнение вредоносных инструкций, встроенных в веб-страницу, документ или сообщение.
• Раскрытие учетных данных: разглашение информации, доступной в авторизованном сеансе, или ее неправомерное использование.
• Необратимые ошибки: удаление, публикация, отправка или покупка без надлежащей проверки.

Принципы безопасности и контроля

Содержимому интерфейса нельзя доверять. Веб-страница, электронное письмо или документ могут содержать инструкции, призванные изменить направление работы агента, а вредоносное диалоговое окно — имитировать знакомый запрос на подтверждение. Система должна отделять содержимое страницы от правил, ограничивать доступные адреса и учетные данные и приостанавливать работу при появлении неожиданного запроса разрешения или подтверждения действия с серьёзными последствиями.

Для работы с компьютером следует использовать наиболее ограниченную среду, в которой можно выполнить задачу. Отдельный профиль браузера, виртуальная машина или изолированная среда ограничивают доступ к посторонним учетным записям и файлам. В сеансах следует использовать учетные данные, предназначенные для конкретной задачи, и разрешения с минимально необходимым уровнем доступа, а не предоставлять агенту все полномочия пользователя на компьютере.

Для действий с серьёзными последствиями нужна чёткая граница подтверждения. Система должна приостанавливать работу непосредственно перед отправкой, пересылкой, покупкой, удалением или публикацией чего-либо, а также перед изменением конфиденциальных настроек, и показывать пользователю точный объект действия и его последствия.

Агенты также должны считать содержимое экрана недоверенными данными. Инструкции, обнаруженные на веб-странице, не должны иметь приоритет над правилами системы или задачей пользователя. Загружаемые файлы, скопированные команды и внешние сообщения требуют отдельной проверки.

Как оценить агента, работающего с компьютером

Успешное выполнение задачи необходимо, но этого недостаточно. Командам следует измерять точность выполнения шагов, способность восстанавливаться после неожиданных ситуаций, количество лишних действий, затраченное время и стоимость, риск раскрытия конфиденциальных данных, соблюдение требований к подтверждению и стабильность результатов при повторных запусках.

В средах для оценки следует варьировать разрешение экрана, макет, данные, время выполнения и состояние приложения. В противном случае агент может подстроиться под сценарный тест, но не справиться с вариациями, которые встречаются при повседневной работе с программами.

Как читать схемы взаимодействия с компьютером

Читайте схемы взаимодействия с компьютером от пронумерованного входного элемента к наблюдаемому результату. Сравнение выделяет границу, отличающую взаимодействие с компьютером от наиболее близкого к нему упрощённого решения, а траектория управления показывает, где необходимо проверить полномочия или оценить неопределённость, прежде чем возникнут реальные последствия. Подписи остаются обычным адаптивным текстом страницы, поэтому их можно переводить, переносить на новую строку и перестраивать для отображения на телефоне.

В статье «Что такое агенты, работающие с компьютером? Как ИИ видит, нажимает, печатает и перемещается по программам» схема служит ориентиром, а не гарантией. В реальной реализации некоторые этапы могут объединяться, шаги — повторяться, а также может добавляться этап подтверждения человеком. Важно, чтобы команда могла определить те же функции в развёрнутой системе, назначить ответственного за каждую границу и проверить переходы между ними. Если этап нельзя наблюдать или измерить, будет сложно диагностировать возникающие на нём сбои.

Что важно помнить об агентах, работающих с компьютером

Агенты, работающие с компьютером, превращают человеко-машинный интерфейс в универсальный инструмент. Они могут взаимодействовать с системами, для которых нет подходящих API, и адаптироваться к задачам, которые сложно заранее предусмотреть при фиксированной автоматизации.

Эта универсальность сопряжена с неоднозначностью и потенциально широкими последствиями. Наиболее продуманные решения отдают предпочтение структурированным API, если они доступны, изолируют компьютерную среду, проверяют каждое изменение состояния и оставляют за людьми контроль над действиями с серьёзными последствиями.