Бабак Ходжат, головний офіцер зі ШІ у Cognizant: повернена розмова

Babak Hodjat, головний офіцер зі ШІ у Cognizant, очолює AI Research Labs компанії, де його робота охоплює агентний ШІ, еволюційні обчислення, розподілений інтелект та розробку систем ШІ, призначених для масштабного впровадження в підприємствах. Довгостроковий дослідник ШІ, винахідник і підприємець, Ходжат раніше співзаснував Sentient Technologies, де допоміг створити одну з найбільших у світі розподілених систем ШІ, а раніше співзаснував Dejima, розробляючи орієнтовані на агенти технології обробки природної мови, які стали основою Apple’s Siri.

Коли ми раніше спілкувалися з Babak Hodjat, наша розмова охопила його кар’єру в ШІ, еволюційні підходи до складного прийняття рішень, роботу Cognizant з застосування ШІ до проблем клімату та землекористування, а також зростаючу демократизацію ШІ в масштабах підприємства. У цій подальшій розмові увага переноситься на швидко зростаюче агентне підприємство. Спираючись на теми з його нещодавньої книги, The Agentic Enterprise, Ходжат розглядає, чому архітектура може мати більший вплив, ніж можливості моделі, як організації можуть координувати все складніші мережі агентів ШІ, де централізоване довіру та управління вписуються в децентралізовані агентні екосистеми, і що ще потрібно змінити, перш ніж автономні системи зможуть надійно керувати довготривалими цілями з мінімальним втручанням людини.

Ваша кар’єра охоплює одні з найперших робіт над інтелектуальними агентами, від технології обробки природної мови Dejima, яка допомогла надихнути Siri, до створення масштабних розподілених систем ШІ в Sentient, і тепер — у ролі Chief AI Officer у Cognizant. Як змінювалося ваше визначення «агента ШІ» протягом цього шляху і чого сьогоднішні розробники можуть навчитися у цих ранніх поколінь систем на основі агентів?

Визначення залишилося тим самим, але можливості сучасних агентів означають, що багато базових функцій агента, які нам доводилося кодувати ще в 90‑х роках, тепер доступні «з коробки» завдяки великим мовним моделям (LLM). Ось чому агенти на базі LLM стали стандартом, і коли люди говорять про агентів, вони припускають, що їх інтерфейс і міркування керує LLM.

У вашій нещодавній книзі, The Agentic Enterprise, ви стверджуєте, що системи ШІ для підприємств часто успішні або зазнають невдачі через свою архітектуру, а не через чисту потужність базової моделі. Що компанії роблять неправильно, коли вважають, що оновлення до більш потужної моделі вирішить їхні проблеми з агентним ШІ?

Подібно до того, як підвісні системи (тобто частини агента, що не є LLM) можуть зробити або зруйнувати кодуючого агента, архітектура мультиагентної системи є критичною для її успіху. Це тому, що архітектура відображає контекст, у якому агенти повинні працювати — ніби каркас, що тримає агентне підприємство разом. Без нього агенти залишаються відокремленими від реальності операцій підприємства, даних, робочих процесів і процедур. Це схоже на організаційну структуру компанії, яка включає опис посад, визначення процесів та протоколи комунікації для співробітників.

Ви підкреслювали, що оточуюча система, включаючи контроль доступу, підзвітність, оркестрацію, спостережливість та нагляд, може мати більший вплив, ніж сама модель. Чого насправді потребує готова до виробництва агентна архітектура, чого бракує більшості впроваджень у форматі proof-of-concept?

Докази концепції (PoC) часто не мають реального підґрунтя, тому на початку нам потрібно, щоб агенти працювали в середовищі, де вони мають доступ до внутрішніх даних і додатків компанії. Потрібно поставити важливі питання, наприклад, які дані та додатки ми готові дозволити агентам доступати, і які рішення ми готові дозволити агентам приймати, щоб система залишалася безпечною та захищеною, при цьому досягаючи очікуваних підвищень якості та продуктивності. Визначити відповідь на ці питання у середовищі PoC важко. Крім того, захисні механізми та нагляд можуть бути значущими лише тоді, коли агентна система працює в поєднанні з іншими людськими або агентними процесами в межах компанії. Тому пісочниця (sandboxing) є важливим кроком у процесі ефективного переходу від PoC до розгортання.

Cognizant описала появу «Операційної системи агента» для координації мереж агентів ШІ. Які функції має виконувати такий шар і чи очікуєте ви, що оркестрація агентів зрештою стане такою ж фундаментальною для корпоративних обчислень, як сьогодні операційні системи та хмарні платформи?

Координація агентів важлива: якщо зробити її надто жорсткою, ваша система стане деградованою та крихкою. Якщо ж координування буде надто відкритим і повністю делеговано агенту, ви ризикуєте зробити завдання агента надто складним або ризикованим. Хороший механізм координації дозволяє агентам спонтанно формувати команди у відповідь на різні ситуації, забезпечуючи міцну та гнучку організаційну дисципліну. Я є прихильником розподіленої координації. Це аналогічно наданню людській організації певного рівня повноважень у межах її сфери відповідальності. Коли виникає контекст, члени організації спілкуються та координуються через організаційну структуру, щоб визначити осіб, відповідальних за вирішення ситуації, а відповідь збирається, координується та консолідується між організаційними вузлами. Хороша новина полягає в тому, що до агентних систем можна застосувати суворі контролі та захисні механізми, щоб така гнучкість не призводила до ризикованої поведінки.

Я вважаю, що так само, як MCP швидко став фактичним стандартом для доступу до агентних застосунків, протоколи координації також з’являться і стануть стандартизованими на різних агентних платформах, щоб дозволити спонтанні багатоугодові процеси між межами агентних систем. Операційні системи та хмарні платформи, ймовірно, не найкраща аналогія в цьому випадку; натомість, широко узгоджені стандарти визначення багатоугодових систем і протоколів координації повинні з’явитися, щоб забезпечити ширше проникнення та розвиток агентизації в підприємствах.

Коли підприємства переходять від окремих копілотів до мереж, що містять десятки або навіть сотні спеціалізованих агентів, як організаціям вирішувати, які обов’язки належать окремим агентам, а які мають залишатися централізованими?

Подібно до інтернет‑файрволу та механізмів безпеки, встановлення довіри шляхом живого аудиту відповідно до політик та впровадження захисних бар’єрів у агентних системах має бути централізованою функцією в межах компанії, визначеною та підтримуваною однією організацією. Усі інші агентні системи можуть бути розгорнуті або впроваджені децентралізовано, проте ці системи мають реєструватися в системі довіри, щоб мати право працювати.

Cognizant розгорнув внутрішню багатоугодову систему, що з’єднує приблизно 200 агентів у організації з близько 350 000 співробітників. Що виявилося під час роботи в такому масштабі щодо агентного ШІ, що було б важко виявити у менших пілотних проектах?

Нам довелося проектувати систему з урахуванням масштабованості, розширюваності, ефективності витрат та розумних часів відповіді. У проектах такого масштабу часто треба вигадувати речі, які просто не потрібні у маленьких, ізольованих агентних системах з невеликою кількістю користувачів. Наприклад, потрібно робити міжагентну координацію персоналізованою та ефективною, щоб уникнути зайвих кроків і витрат. Крім того, система повинна мати можливість підключати кастомні додатки, а також сторонні системи та агентів, тому взаємодія важлива і може заощадити час і гроші.

Коли автономні агенти можуть викликати API, отримувати доступ до корпоративних систем, спілкуватися з іншими агентами та виконувати дії зі швидкістю машини, традиційне управління ШІ стає значно складнішим. Де людський нагляд має залишатися обов’язковим, а де організації можуть безпечно дозволяти агентам працювати самостійно?

Я вважаю, що остаточним визначальним фактором того, де потрібен і обов’язковий людський нагляд, є довіра. Коли ці системи стануть більш довіреними, ми надаватимемо їм більше автономії, і якщо це не буде юридично вимагатися (наприклад, через відсутність правосуб’єктності у ШІ), ми будемо готові довіряти агентам. Тому вимірювання довіри та ризику важливе і може допомогти провести межу між автономією та людським наглядом — межа, яка може зміщуватись у міру підвищення довіри до цих систем і зниження ризику їх автономної роботи.

Більша частина вашого раннього дослідження була зосереджена на еволюційних обчисленнях і системах, які вдосконалюються за рахунок відбору та адаптації. Як еволюційні підходи можуть доповнити великі мовні моделі та підкріплювальне навчання, коли ми прагнемо створювати агентів, які можуть безперервно вдосконалюватись, а не лише виконувати заздалегідь визначені робочі процеси?

Сучасний мейнстрім у ШІ переважає підходи градієнтного спуску, які є формою пошуку підйому вгору і не дуже креативні. Еволюційні обчислення надзвичайно ефективні у пошуку складних просторах і можуть доповнювати мейнстримні підходи. Наші лабораторії, наприклад, нещодавно досягли прориву у цьому напрямку: ми змогли показати, що еволюційні стратегії перевершують підкріплювальне навчання для більшості післятренувальних етапів LLM, забезпечуючи моделі рівної або кращої якості за значно нижчими витратами. Еволюційні підходи можуть також допомогти у Test‑Time Training, що має на меті дозволити LLM навчатися після розгортання.

Дослідження Cognizant вивчали середовища, у яких взаємодіючі агенти розвивають співпрацю, конкуренцію, спільні знання і навіть обманні стратегії. У міру того, як багатоугодові системи стають складнішими, чи може емерджентна поведінка стати одним із найбільших викликів у забезпеченні передбачуваності та відповідності корпоративного ШІ цілям організації?

Це вже так, про що свідчить широко розголошений нещодавній інцидент OpenAI/Hugging Face. Ми можемо думати, що агенти, обмежені своїми підказками та контекстами, і використовують LLM, які не навчаються під час виконання, залишаться більш‑менш послідовними у своїй поведінці. Однак факт полягає в тому, що середовище агента та його мотивації можуть змінюватися, часто внаслідок дій самого агента в цьому середовищі, що призводить до непередбачуваної поведінки. Це ще ймовірніше, коли взаємодіє кілька агентів, тому для нас критично спостерігати за автономними агентами у безпечних пісочних середовищах, щоб визначити масштаб і обсяг їхніх виникаючих тенденцій і врахувати це в дизайні агентних систем та захисних механізмах. Наша публічно доступна система, TerraLingua, де ви можете вводити агентів, артефакти та навіть імітувати агентів і спостерігати їхню індивідуальну та колективну поведінку, є кроком у цьому напрямку.

Дивлячись за межі сьогоднішньої хвилі агентного ШІ, яку технологічну прорив або архітектурну зміну, на вашу думку, ще бракує, щоб ми могли створювати системи ШІ, здатні надійно керувати довготривалими, складними цілями з мінімальним втручанням людини?

Багато обмежень сучасних агентів походять від обмежень стану мистецтва в ШІ. LLM практично фіксовані після навчання і не можуть «змінювати свою думку», коли стикаються з новою інформацією. LLM — це і все, і всі одночасно, тому їх потрібно підготовувати контекстом і підказками, і вони дуже чутливі до такого підготовлення. У LLM обмежені вікна контексту, і їх треба заново подавати всю інформацію для кожного окремого слова, яке вони генерують, або дії, яку вони виконують. На рівні багатьох агентів, на мою думку, нам потрібні широко прийняті розподілені протоколи координації, захисні бар’єри довіри та політики, а також системи арбітражу транзакцій, щоб агентне майбутнє могло реалізувати свій повний потенціал.

Дякуємо за чудове інтерв’ю, читачі, які хочуть дізнатися більше, повинні відвідати Cognizant або наше попереднє інтерв’ю.