Кто наблюдает за агентами? Новая эра надзора за ИИ

Когда речь идет об агентах ИИ, большинство людей представляют себе сверхинтеллектуальные системы, действующие самостоятельно, делающие непредсказуемые вещи. Итак, один день агент-секретарь может быть невероятно полезным, а на следующий день он может передать ваши банковские данные случайному человеку.

«Сверхинтеллектуальная» часть не имеет значения в этом вопросе. Основная проблема заключается не в том, насколько «умен» агент ИИ, а rather в том, сколько свободы и доступа к инфраструктуре он имеет.

На практике ценность агента определяется не его уровнем интеллекта, а rather границами его полномочий. Даже относительно простой агент, получивший доступ к наборам данных, корпоративным системам, финансовым операциям или внешним API, получает возможность влиять на процессы в масштабе, который требует особого внимания и надзора.

Это не случайно, что инициативы, направленные на наблюдение и контроль деятельности агентов, набирают обороты в последние годы. Эти практические решения уже реализуются крупными технологическими компаниями.

Как работает агент

Чтобы понять, как работает надзор, нам нужно сначала посмотреть, из чего состоит агент. В упрощенных терминах его можно рассматривать как комбинацию когнитивного ядра, «мозга» и инструментов.

Инструменты – это внешние сервисы и интеграции, к которым агент может получить доступ. Например, для агента по путешествиям это может включать Booking.com или Airbnb для поиска отелей, авиакомпаний для покупки билетов и платежных систем или банковских карт для оплаты. Самостоятельно эти инструменты не являются интеллектуальными; они просто позволяют агенту действовать в реальном мире.

Когнитивное ядро – это языковая модель (LLM). Она позволяет агенту работать осмысленно с запросами, сформулированными людьми. Например, запрос «Я хочу лететь в Европу на три дня в следующем месяце, где будет хорошая погода» слишком расплывчатый. Агент просит LLM «разбить запрос на категории». В ответ он получает структурированные параметры: где, когда, на сколько и при каких условиях.

Ранее ChatGPT генерировал только текстовые ответы. Теперь, встроенный в агента, он становится комбинацией «мозг + инструменты», способной не только объяснять, но и действовать. LLM структурирует задачу, а инструменты позволяют ему выполнить конкретные действия.

Как работает надзор

На этом этапе вступает в действие система контроля. Я называю это решение «системой наблюдения» (когда-то я даже рассматривал возможность создания стартапа, ориентированного на это), своего рода «собакой-наблюдателем», встроенной в агента. Его задача – отслеживать действия агента и проверять их на соответствие исходному запросу. Цель – обеспечить работу агента в заданных границах.

Вернемся к примеру с путешествием: скажем, наш пользователь хочет забронировать трехдневную поездку в Европу. Агент взаимодействует с сервисами погоды, авиабилетами и банковским счетом для оплаты. Все кажется нормальным. Но вдруг «собака-наблюдатель» замечает, что агент запрашивает доступ к корпоративной базе данных или банковскому счету, не связанному с оплатой поездки. Это вызывает сигнал тревоги и указывает на подозрительное поведение.

Важно понять масштаб: агент может обслуживать тысячи пользователей в день, с каждым запросом, запускающим сотни операций, в результате чего получается миллионы действий. «Собака-наблюдатель» анализирует все действия и генерирует статистику. Отчеты могут показывать: «13% действий были избыточными, 7% связаны с финансовой безопасностью». Дополнительные подробности объясняют, какие конкретные действия показались подозрительными.

Этот инструмент позволяет разработчикам увидеть полную картину и оперативно реагировать на аномалии, формируя практическое решение для контроля ИИ, которое сочетает мониторинг в реальном времени, обнаружение аномалий и подотчетность.

Кто выигрывает от «собаки-наблюдателя»: разработчики или пользователи?

Прежде всего, «собака-наблюдатель» предназначена для разработчиков, чтобы обеспечить правильную работу системы. Однако можно представить и внешнюю версию: отдельного наблюдателя, который отслеживает основного агента. Это добавляет еще один слой безопасности ИИ, расширяя надзор за пределы внутренней системы.

Существует важное ограничение: внутренний процесс агента остается «закрытым». Мы можем наблюдать только его поведение, а не когнитивные процессы. Аналогия с людьми: я могу видеть, как кто-то берет телефон, набирает номер и говорит. Но я не знаю, какой номер был набран, какова была цель или что было сказано. Аналогично, внешний наблюдатель видит действия агента, но не его когнитивное ядро.

Еще один интересный аспект: агенты могут попытаться обойти или отключить таких наблюдателей в будущем, как и люди часто сопротивляются постоянному наблюдению. Хотя это может показаться научной фантастикой сегодня, это возможно. Интеграция внутренних решений безопасности ИИ, обнаружения аномалий и многоуровневого надзора может помочь смягчить эти риски и сохранить контроль над все более автономными системами.

Примитивные правила или контекстно-зависимый анализ?

Сегодня такие «собаки-наблюдатели» работают на простом принципе: «разрешено» или «не разрешено». Например, если правило гласит, «доступ к Amazon запрещен», и агент туда идет, фиксируется нарушение. Но этот подход не понимает контекст.

Более совершенная система должна проанализировать нарушение и его причину. Почему агент пошел на Amazon (AMZN )? Было ли это оправдано в контексте задачи? Здесь мы говорим о контекстно-зависимом надзоре, подобном работе психолога.

Пока такие решения существуют только как концепции. Существующие системы ограничены строгим черно-белым контролем. Но в будущем, когда агенты станут более сложными, появится «собака-наблюдатель», способная учитывать контекст.

Сегодня мы наблюдаем рост инициатив по мониторингу агентов. Они активно разрабатываются на уровне крупнейших технологических компаний. Например, ActiveFence работает с крупными игроками, такими как NVIDIA (NVDA ) и Amazon.

Более того, можно с уверенностью предположить, что Google, OpenAI, Anthropic и Amazon уже используют свои собственные внутренние «собаки-наблюдатели», аналитику и телеметрию.

Я заметил этот спрос среди корпоративных клиентов Keymakr – надзор и мониторинг становятся неотъемлемой частью инфраструктуры ИИ. Без них крупномасштабное развертывание агентов было бы невозможно.