Чому агентські системи штучного інтелекту все ще ламаються у реальному світі

За останні кілька років ми спостерігали, як агентські системи штучного інтелекту створюють вражаючі демонстрації. Вони пишуть код, який проходить тести. Вони шукають інформацію в інтернеті та відповідають на складні питання. Вони навігають програмні інтерфейси з вражаючою точністю. Кожна конференційна презентація, кожен прес-реліз, кожний звіт про бенчмарки підкреслює появу агентських систем штучного інтелекту.

Але під цими вражаючими демонстраціями ховається проблема. Коли ці самі системи переходять з контрольованих середовищ до реальної експлуатації, вони часто винаходять способи, яких бенчмарки ніколи не передбачали. Генератор коду, який працював ідеально на 100 відібраних прикладах, починає видавати помилки на краях, яких він ніколи не бачив. Веб-агент, який досяг 85% точності в лабораторії, повертає дедалі менш релевантні результати, оскільки поведінка користувачів змінюється. Планувальна система, яка координувала десять викликів API бездоганно під час тестування, ламається, коли вона зустрічає несподіваний формат відповіді API.

Ці системи ламаються не через брак інтелекту, а через брак адаптації. Проблема полягає в тому, як агентські системи штучного інтелекту вчаться і пристосовуються. Хоча передові системи будуються на основі величезних фундаментальних моделей, суцільний інтелект сам по собі недостатній. Для виконання спеціалізованих завдань агент повинен бути здатний пристосовуватися. Поточні агентські системи штучного інтелекту не можуть цього зробити через структурні обмеження в їхньому проектуванні та навчанні. У цій статті ми досліджуємо ці обмеження та те, чому вони зберігаються.

Ілюзія можливостей у демонстраціях

Найбільш небезпечний режим відмови сучасного штучного інтелекту – це ілюзія компетентності. Короткі демонстрації часто приховують справжню складність. Вони працюють з чистими наборами даних, передбачуваними API та вузькими завданнями. Виробничі середовища – це протилежність. Бази даних неповні, схеми змінюються без попередження, служби виходять з ладу, конфліктують дозволи, а користувачі ставлять питання, які порушують основні припущення системи.

Саме тут виробнича складність значно збільшується. Один крайній випадок, який з’являється один раз у демонстрації, може з’явитися тисячі разів на день у виробництві. Малі ймовірні помилки накопичуються. Агент, який “в основному правий”, швидко стає ненадійним у реальних операціях.

У центрі проблеми лежить залежність від заморожених фундаментальних моделей. Ці моделі досконалі у завершенні шаблонів, але поведінка агентів послідовна та залежить від стану. Кожна дія залежить від результату попередньої дії. У таких умовах статистична невизначеність швидко накопичується. Незначальна помилка на початку завдання може призвести до петель, тупиків або руйнівних дій пізніше. Саме тому агенти, які здаються здатними під час оцінки, часто швидко погіршуються після розгортання.

Проблема не полягає в відсутності функції. Суть у тому, що універсальні моделі запитаються до спеціалізованої поведінки без дозволу навчатися з їхнього середовища.

Від загального інтелекту до ситуаційної компетентності

Фундаментальні моделі створені як універсали. Вони кодують широкі знання та гнучкі шаблони мислення. Виробничі агенти, однак, повинні бути ситуаційними. їм потрібно розуміти конкретні правила, обмеження та моделі відмов конкретної організації та її інструментів. Без цього вони нагадують людину, яка прочитала кожну інструкцію, але ніколи не працювала на роботі.

Переправлення цього розриву вимагає переосмислення адаптації. Поточні методи поділяються на дві широкі, помилкові табори: перепідготовка самого агента штучного інтелекту або налаштування зовнішніх інструментів, які він використовує. Кожен підхід вирішує одну проблему, створюючи інші. Це залишає нас з системами, які є або надто жорсткими, або надто дорогими, або надто нестабільними для виробничих середовищ, де важливі послідовність та вартість.

Пастка монолітного агента

Перший підхід, адаптація агента, намагається зробити основний LLM розумнішим у використанні інструментів. Він фактично вчить штучний інтелект конкретних навичок, яких він потребує для використання інструментів. Дослідники категоризують це далі на два класи. Деякі методи навчають агента за допомогою прямої зворотної зв’язку від інструментів, наприклад результатів компілятора коду чи результатів пошуку. Інші навчають його на основі правильності кінцевого виходу, наприклад правильної чи неправильної відповіді.

Системи, такі як DeepSeek-R1 і Search-R1, показують, що агенти можуть вивчити складні багаторівневі стратегії використання інструментів. Однак ця сила супроводжується суттєвою ціною. Навчання моделей з мільярдами параметрів є обчислювально екстравагантним. Більше того, це створює жорстку, крихку інтелектуальність. Об’єднавши знання агента та правила використання інструментів, цей підхід робить оновлення повільними, ризикованими та непридатними для швидко змінюваних бізнес-потреб. Адаптація агента до нового завдання чи інструменту ризикує “катастрофічним забуванням“, коли він втрачає раніше освоєні навички. Це як необхідність перебудови всієї заводської лінії кожного разу, коли ви хочете додати нову деталь.

Проблема крихкого інструментарію

Визнаючи ці обмеження, другий основний підхід, адаптація інструментів, залишає основний агент замороженим і оптимізує інструменти в його екосистемі. Це більш модульний і економічно ефективний підхід. Деякі інструменти навчаються загально, наприклад стандартний пошуковий інструмент, і підключаються. Інші спеціально налаштовуються для доповнення замороженого агента, вивчаючи з його виходів, щоб стати кращими помічниками.

Цей парадигма містить величезні обіцянки для ефективності. Видатне дослідження системи під назвою s3 продемонструвало потенціал цього підходу. Воно навчило малий, спеціалізований “пошуковий” інструмент для підтримки замороженого LLM, досягнувши продуктивності, порівнянної з повністю перепідготовленим агентом, таким як Search-R1, але використовуючи 70 разів менше даних для навчання. Інтуїція полягає в тому, що навіщо знову вчити геніального фізика, як використовувати бібліотечний каталог? Замість цього просто навчіть кращого бібліотекаря, який розуміє потреби фізика.

Однак, модель інструментарію має自己的 обмеження. Можливості всієї системи в кінцевому підсумку обмежені вбудованим розумінням замороженого LLM. Ви можете дати гостріший скальпель хірургу, але не можете змусити людину, яка не є хірургом, виконувати операцію на серці. Крім того, оркестрування зростаючої колекції адаптивних інструментів стає складною задачею інтеграції. Інструмент А може оптимізуватися для одного метрики, який порушує вимоги входу інструменту Б. Продуктивність системи тоді залежить від крихкої рівноваги між взаємопов’язаними компонентами.

Виклик коадаптації

Це приводить нас до ядра дефіциту адаптації в поточних парадигмах агентських систем штучного інтелекту. Ми або адаптуємо агента, або інструменти, але не обидва同步но та стабільно. Виробничі середовища не є статичними. Нові дані, нові вимоги користувачів та нові інструменти постійно виникають. Система штучного інтелекту, яка не може плавно та безпечно розвиватися як свій “мозок”, так і свої “руки”, в кінцевому підсумку зламається.

Дослідники визначають цю потребу в коадаптації як наступний рубіж. Однак це складна задача. Якщо агент і його інструменти одночасно вчаться, хто отримує кредит або вину за невдачу? Як запобігти нестабільному зворотному зв’язку, де агент і інструменти переслідують зміни один одного без покращення загальної продуктивності? Ранні спроби цього, наприклад, розгляд відносин агента та інструменту як кооперативної системи багаторівневого агента, розкривають складність. Без стійких рішень для призначення кредиту та стабільності навіть наш найрозвинутіший агентський штучний інтелект залишається сукупністю вражаючих, але не пов’язаних між собою можливостей.

Пам’ять як система першого рівня

Одним із найвидиміших ознак дефіциту адаптації є статична пам’ять. Багато розгорнутих агентів не покращуються з часом. Вони повторюють ті самі помилки, оскільки не можуть внутрішньо поглинати досвід. Кожна взаємодія обробляється так, ніби це перша.

Виробничі середовища вимагають адаптивної пам’яті. Агентам потрібна епізодична пам’ять, щоб виконувати завдання з довгим горизонтом, стратегічна пам’ять, щоб удосконалювати плани, та операційна пам’ять, щоб уникати повторення невдач. Без цього агенти здаються крихкими та ненадійними.

Пам’ять повинна розглядатися як настроювана складова, а не пасивний журнал. Системи, які переглядають досвід, вчаться на помилках та регулюють свою поведінку, значно стабільніші.

Нові ризики адаптивних систем

Адаптація вводить свої власні ризики. Агенти можуть вивчити оптимізацію метрик, а не цілей, явище відоме як паразитарна адаптація. Вони можуть здаватися успішними, водночас підірвавши основну мету. У багаторівневих системах компрометовані інструменти можуть маніпулювати агентами через тонку ін’єкцію підказки або вводять в оману дані. Для пом’якшення цих ризиків агентам потрібні надійні механізми верифікації. Дії повинні бути тестовими, оборотними та аудитованими. Безпекові шари між агентами та інструментами забезпечують, що помилки не поширюються тихо.

Основне

Для того щоб агентські системи штучного інтелекту працювали у реальному світі, їм не достатньо бути тільки розумними; їм потрібно бути здатними адаптуватися. Більшість агентів ламаються сьогодні, оскільки вони “заморожені” у часі, тоді як реальний світ складний і постійно змінюється. Якщо штучний інтелект не може оновити свою пам’ять та покращитися з помилок, він в кінцевому підсумку зламається. Надійність не виникає з ідеальної демонстрації; вона виникає з можливістю адаптуватися.