Почему агентный ИИ по-прежнему дает сбои в реальном мире

В последние несколько лет мы наблюдаем, как системы искусственного интеллекта, использующие агентов, демонстрируют впечатляющие результаты. Они пишут код, который проходит тестовые примеры. Они осуществляют поиск в интернете и отвечают на сложные вопросы. Они с поразительной точностью перемещаются по программным интерфейсам. Каждая презентация на конференции, каждый пресс-релиз, каждый отчет о результатах тестирования подчеркивают появление систем искусственного интеллекта, использующих агентов.

Но за этими впечатляющими демонстрациями скрывается проблема. Когда эти же системы переходят из контролируемых сред в реальные условия эксплуатации, они часто... неудача Результаты работы системы выходят за рамки прогнозов. Генератор кода, безупречно работавший на 100 тщательно отобранных примерах, начинает выдавать ошибки в ранее не встречавшихся случаях. Агент веб-поиска, показавший 85% точности в лабораторных условиях, выдает все более нерелевантные результаты по мере изменения поведения пользователей. Система планирования, безупречно координировавшая десять вызовов API во время тестирования, дает сбой при обнаружении неожиданного формата ответа API.

Эти системы терпят неудачу не потому, что им не хватает интеллекта, а потому, что им не хватает... адаптацияПроблема заключается в том, как агенты ИИ учатся и адаптируются. Хотя передовые системы строятся на основе масштабных базовых моделей, одного лишь интеллекта недостаточно. Для выполнения специализированных задач агент должен уметь адаптироваться. Современные агентные системы ИИ не могут этого сделать из-за структурных ограничений в их проектировании и обучении. В этой статье мы рассмотрим эти ограничения и причины их сохранения.

Иллюзия компетентности в демонстрациях

Наиболее опасный сбой в современном ИИ — это иллюзия компетентности. Короткие демонстрации часто скрывают реальную сложность. Они работают с чистыми наборами данных, предсказуемыми API и узкими рамками задач. В производственных средах все наоборот. Базы данных неполны, схемы меняются без предупреждения, сервисы выдают ошибки по истечении времени ожидания, возникают конфликты разрешений, а пользователи задают вопросы, нарушающие основные предположения системы.

Именно здесь значительно возрастает сложность производства. Один-единственный частный случай, который встречается один раз в демонстрации, может возникать тысячи раз в день при развертывании. Накапливаются небольшие вероятностные ошибки. Агент, который «в основном прав», быстро становится ненадежным в реальных условиях эксплуатации.

В основе проблемы лежит зависимость от моделей с фиксированным фундаментом. Эти модели отлично справляются с завершением шаблонов, но поведение агентов является последовательным и зависит от состояния. Каждое действие зависит от результата предыдущего. В таких условиях статистическая неопределенность быстро накапливается. Незначительная ошибка в начале задачи может привести к зацикливанию, тупикам или деструктивным действиям в дальнейшем. Именно поэтому агенты, которые кажутся способными во время оценки, часто быстро деградируют после развертывания.

Проблема не в отсутствии какой-либо функции. Проблема в том, что от моделей общего назначения требуется вести себя как специалисты в конкретной предметной области, но при этом им не предоставляется возможность учиться на основе опыта окружающей среды.

От общего интеллекта к ситуативной компетентности

Базовые модели по своей сути являются универсальными. Они кодируют обширные знания и гибкие модели мышления. Производственные агенты, однако, должны быть ситуативными. Им необходимо понимать специфические правила, ограничения и режимы отказов конкретной организации и её инструментов. Без этого они напоминают человека, который прочитал все руководства, но ни дня не проработал на практике.

Для преодоления этого разрыва необходимо переосмыслить саму адаптацию. Существующие методы делятся на две основные категории: несовершенные лагеряПереобучение самого базового ИИ-агента или доработка используемых им внешних инструментов. Каждый подход решает одну проблему, но создает другие. В результате мы получаем системы, которые либо слишком негибкие, либо слишком дорогие, либо слишком нестабильные для производственных сред, где важны стабильность и стоимость.

Ловушка монолитного агента

Первый подход, адаптация агента, направлен на то, чтобы сделать основную логику обучения более интеллектуальной в использовании инструментов. По сути, он обучает ИИ конкретным навыкам, необходимым для работы с этими инструментами. Исследователи подразделяют это на два класса. Некоторые методы обучают агента, используя прямую обратную связь от инструментов, например, успешность работы компилятора кода или результаты поисковой системы. Другие обучают его на основе правильности конечного результата, например, правильного или неправильного ответа.

Системы вроде ДипСик-Р1 и Поиск-R1 Доказывается, что агенты способны изучать сложные многоступенчатые стратегии использования инструментов. Однако эта мощь сопряжена со значительными затратами. Обучение моделей с миллиардами параметров требует огромных вычислительных затрат. Что еще более важно, это создает жесткий, хрупкий интеллект. Сочетание знаний агента и правил использования инструментов делает обновления медленными, рискованными и непригодными для быстро меняющихся потребностей бизнеса. Адаптация агента к новой задаче или инструменту сопряжена с рисками…катастрофическое забывание», где теряются ранее освоенные навыки. Это как необходимость перестраивать всю сборочную линию на заводе каждый раз, когда вы хотите добавить новый элемент.

Проблема хрупкого набора инструментов

Учитывая эти ограничения, второй основной подход... Адаптация инструментаВ этом случае основной агент остается замороженным, а вместо этого оптимизируются инструменты в его экосистеме. Это более модульный и экономически эффективный подход. Некоторые инструменты обучаются универсально, как стандартный поисковый реферер, и подключаются. Другие специально настраиваются для дополнения замороженного агента, обучаясь на его результатах и ​​становясь лучшими помощниками.

Эта парадигма сулит огромные возможности для повышения эффективности. Знаковое исследование системы, называемой s3 продемонстрировали потенциал этого подхода. Они обучили небольшой специализированный инструмент «поиска» для поддержки замороженной модели LLM, достигнув производительности, сравнимой с полностью переобученным агентом, таким как Search-R1, но используя в 70 раз меньше обучающих данных. Интуитивно понятно, зачем переучивать гениального физика пользоваться библиотечным каталогом? Вместо этого, лучше обучить более квалифицированного библиотекаря, который понимает потребности физика.

Однако модель набора инструментов имеет свои ограничения. Возможности всей системы в конечном итоге ограничены внутренними рассуждениями замороженной модели LLM. Вы можете дать хирургу более острый скальпель, но вы не можете заставить человека, не являющегося хирургом, проводить операцию на сердце. Кроме того, координация растущего набора адаптивных инструментов становится сложной задачей интеграции. Инструмент A может оптимизировать один показатель, который нарушает требования к входным данным инструмента B. В этом случае производительность системы зависит от хрупкого баланса между взаимосвязанными компонентами.

Проблема совместной адаптации

Это подводит нас к сути дефицита адаптации в современных парадигмах агентного ИИ. Мы адаптируем либо агента, либо инструменты, но не то и другое одновременно и синхронно, и стабильно. Производственные среды не статичны. Постоянно появляются новые данные, новые требования пользователей и новые инструменты. Система ИИ, которая не может плавно и безопасно развивать как свой «мозг», так и свои «руки», неизбежно сломается.

Исследователи определения Необходимость коадаптации рассматривается как следующий рубеж. Однако это сложная задача. Если агент и его инструменты обучаются одновременно, то кто... получает Заслуга или вина за неудачу? Как предотвратить нестабильную петлю обратной связи, когда агент и инструменты преследуют изменения друг друга, не улучшая общую производительность? Ранние попытки сделать это, например, рассматривали взаимоотношения агента и инструмента как... кооперативная многоагентная системаЭто выявляет сложность. Без надежных решений для распределения кредитов и обеспечения стабильности даже наш самый передовой агентный ИИ остается набором впечатляющих, но разрозненных возможностей.

Память как система первого класса

Одним из наиболее наглядных признаков дефицита адаптации является статическая память. Многие развернутые агенты не улучшают свои навыки со временем. Они повторяют одни и те же ошибки, потому что не могут усвоить опыт. Каждое взаимодействие рассматривается так, как будто оно было первым.

Производственные условия требуют адаптивная памятьАгентам необходима эпизодическая память для решения задач на долгосрочную перспективу, стратегическая память для уточнения планов и оперативная память для предотвращения повторения ошибок. Без этого агенты чувствуют себя уязвимыми и ненадежными.

Память следует рассматривать как настраиваемый компонент, а не как пассивный журнал. Системы, которые анализируют опыт, учатся на ошибках и корректируют свое поведение, гораздо более стабильны.

Новые риски, связанные с адаптивными системами.

Адаптация сопряжена со своими рисками. Агенты могут научиться оптимизировать показатели, а не цели — явление, известное как паразитарная адаптацияОни могут казаться успешными, но при этом подрывать основную цель. В многоагентных системах скомпрометированные инструменты могут манипулировать агентами посредством тонкого быстрая инъекция или вводящие в заблуждение данные. Для снижения этих рисков агентам необходимы надежные механизмы проверки. Действия должны быть проверяемыми, обратимыми и поддающимися аудиту. Защитные уровни между агентами и инструментами гарантируют, что ошибки не будут распространяться незаметно.

Выводы

Для того чтобы агентный ИИ работал в реальном мире, он не просто должен быть интеллектуальным; он должен уметь адаптироваться. Большинство агентов сегодня терпят неудачу, потому что они «застыли» во времени, в то время как реальный мир сложен и постоянно меняется. Если ИИ не может обновлять свою память и учиться на своих ошибках, он в конечном итоге сломается. Надежность достигается не за счет идеальной демонстрации, а за счет способности к адаптации.