ШІ стає розумнішим, а узгодженості досягти дедалі складніше

Усю свою кар’єру я намагався зрозуміти інтелект. Я вивчав нейронауку, бо цікавився ШІ й вирішив, що почати варто з того, щоб спершу розібратися, як працює мозок. Спочатку — інтелект, а вже потім «штучний» інтелект. Після навчання в мене сформувалася звичка. Коли з’являється нова можливість або технологія, я насамперед ставлю практичне запитання: що вона справді вміє і для яких реальних завдань її можна застосувати?

Як фахівець із ШІ, я рідко захоплююся заголовками про нього. Я намагаюся не зважати на галас і розібратися не лише в проривах, а й в обмеженнях нових можливостей.

Від буденних інструментів до надійності, від якої багато залежить

Ще у 2020 році, коли дискусії про безпеку ШІ вирували й були сповнені галасу, я давав просту пораду. Сприймайте ШІ як інструмент — потужний, але все ж таки інструмент. Зосередьтеся на буденних сценаріях використання. Працюйте на рівні окремих завдань, де технологія вже була достатньо надійною, щоб допомагати. Мій оптимістичний сценарій передбачав буденні, але корисні інструменти.

Коли за кілька років почала набирати обертів хвиля агентних систем, я подивився на неї крізь ту саму призму й не переконався в її перспективності. Агентна система настільки ефективна, наскільки ефективні завдання, що лежать у її основі, а я ще не бачив, щоб на рівні окремих завдань ці системи були достатньо надійними для ефективної роботи.

Однак галас навколо них зростав. Коли на початку минулого року я приїхав на конференцію RSA, розрив між словами й реальним станом справ усе ще важко було ігнорувати. Не було навіть спільного розуміння того, що означає «агентність»: кожен мав власне визначення й погляд на це поняття. І мене непокоїла одна структурна проблема. Візьмімо десять агентів, кожен із яких працює з точністю близько 95 відсотків. З’єднаймо їх так, щоб вихідні дані одного ставали вхідними даними для наступного. Наприкінці такого ланцюжка точність знизиться приблизно до 60 відсотків. Надійність не зберігається, коли системи нашаровуються одна на одну. На той час я вже починав замислюватися над системами агентів, хоча мене й далі непокоїло, чи можна довірити їм роботу та чи здатні вони суттєво змінити ситуацію.

Потім моя думка змінилася завдяки стрімкому вдосконаленню агентів для програмування.

За кілька місяців після моєї статті на цю тему неймовірно швидкий прогрес дав мені змогу зрозуміти одне: питання надійності в багатьох реальних завданнях було лише питанням часу. Кращі моделі з досконалішими інженерними засобами для їх розроблення та експлуатації мали скоротити розрив, який мене непокоїв. Обмеження, про яке я хвилювався, мало зникнути.

Саме тоді стала зрозумілою справжня проблема — і це була не та проблема, за якою я стежив. Коли окремим агентам уже можна довіряти, ви не зупиняєтеся після запуску першого. Ви запускаєте багато агентів. Цілі їхні сукупності працюють у всіх підрозділах: кожен агент спроможний виконувати свою роботу й виконує її. І постало нове запитання, не пов’язане з надійністю. Якщо кожен агент у цій сукупності робить те, для чого його створили, чи відповідає результат роботи всієї сукупності тому, чого прагнула організація?

Потреба в організаційній пропріоцепції

Тіло з вправними кінцівками не може добре рухатися без пропріоцепції — постійного внутрішнього відчуття того, де розташовані всі його частини й що вони роблять. Мозочок не просто реагує на ці сигнали зворотного зв’язку, а й передбачає. Коли мозок подає команду рухатися, він формує очікування щодо відчуттів, які має викликати цей рух, а потім зіставляє його з тим, що відчувається насправді. Розбіжність між ними стає сигналом, який коригує подальші дії. Умілий рух — це цикл передбачення результату й коригування дій відповідно до розбіжності.

Організація, що використовує сукупності агентів, потребує такого самого відчуття самої себе. Вона має безперервно знати, у якому стані перебувають її системи й наскільки вони відхилилися від заданого стану. Без такого внутрішнього усвідомлення навіть спроможні складові не зможуть діяти злагоджено. Це не механізм спостереження, який можна згодом додати до системи, щоб зробити її безпечнішою. Він потрібен, щоб система взагалі могла діяти.

Добре вивчено випадок чоловіка на ім’я Ian Waterman, який утратив це відчуття в більшій частині тіла. Він знову навчився рухатися, але лише спостерігаючи за собою й керуючи кожним кроком і кожним рухом руки за допомогою зору. Це працює, але виснажує й не дає певності. Варто вимкнути світло — і він уже не може координувати рухи. Організація, яка керує своїми агентами за допомогою ручних перевірок і періодичних оглядів, опиняється в такому самому становищі. Вона компенсує постійними зусиллями відсутність відчуття, якого так і не сформувала, а така компенсація обходиться дорожче, ніж те, що вона замінює. Щойно умови змінюються, уся система руйнується.

Варто згадати ще одну, дивнішу дисфункцію, описану в захопливій книжці нейронауковця V S Ramachandran. Коли людині ампутують кінцівку, мозок не замовкає. Він і далі генерує сигнали для відсутньої кінцівки, і людина виразно їх відчуває. Так само може давати збій управління. Якщо через реорганізацію чи нехтування позбавити наглядову функцію реальної здатності ухвалювати обґрунтовані рішення, вона не замовкне. Перевірки й далі проводитимуться, а показники й далі формуватимуться. Організація й надалі відчуватиме, ніби нагляд здійснюється, хоча здатність ухвалювати рішення, що лежить в його основі, буде вихолощено. Тут знову стає актуальною моя порада 2020 року — про прозорість. Без прозорості не буває нагляду, а в системі, яка лише створює видимість спостереження, немає прозорості.

Узгодженість як дефіцитний ресурс

Інтелект дешевшає. Незабаром він буде в кожному робочому процесі й кожному інструменті. У цьому світі дефіцитним ресурсом є узгодженість — живий зв’язок між тим, що кожна система робить окремо, і тим, чого прагне досягти підприємство. Узгодженість — це сполучна тканина, яка допомагає розподіленому інтелекту діяти злагоджено заради єдиної мети.

Я роками вивчав, як мозок підтримує злагоджену роботу численних частин. Епоха агентного ШІ ставить перед підприємством те саме запитання. Мета не змінилася з 2020 року. Як і раніше, це нудно, але корисно. Тепер нудна, корисна річ, яку потрібно створити, — це сама узгодженість.