Проблема надійності штучного інтелекту, про яку ніхто не хоче говорити

Домінуюча розповідь про надійність штучного інтелекту проста: моделі бачать марення. Тому, щоб компанії могли отримати найбільшу користь від них, моделі повинні покращуватися. Більше параметрів. Кращі навчальні дані. Більше навчання з підкріпленням. Більше узгодження.

І все ж, навіть коли моделі передового рівня стають більш здатними, дебати про надійність відмовляються зникати. Лідери підприємств все ще вагаються, щоб дозволити агентам здійснювати суттєві дії в рамках основних систем. Ради все ще запитують: “Чи можна їм довіряти?”

Але марення не є переважно проблемою моделі. Це проблема контексту. Ми просимо системи штучного інтелекту працювати на підприємницькій інфраструктурі без надання їм структурної видимості, необхідної для безпечного висновку. Потім ми звинувачуємо модель, коли вона робить припущення.

Фактичний розрив у надійності не полягає у вагах так сильно, як у інформації шару.

Хірург без зображення

П уявіть собі хірурга, який працює без зображення. Ні МРТ. Ні КТ. Ні реального зображення навколишніх тканин. Лише загальне розуміння анатомії та скальпель. Навіть найкваліфікованіший хірург був би змушений робити висновки. Приблизнювати. Довіряти ймовірнісному висновку.

Це те, що агенти штучного інтелекту підприємства роблять зараз.

Коли систему штучного інтелекту просять змінити робочий процес, оновити правило ERP або запустити автоматизацію інструментів, вона рідко має повний граф залежностей середовища. Вона не знає, який “не використаний” поле живить нижню панель інструментів. Вона не бачить, яку автоматизацію посилається на це правило перевірки. Вона не може надійно симулювати вплив другого порядку.

Тому вона робить те, до чого великі мовні моделі навчені: вона передбачає. Прогнозування не є розумінням. А передбачування без структурного контексту виглядає як марення.

Ми постійно формулюємо неправильну дискусію

Спільнота штучного інтелекту була зайнята розмовою про надійність, орієнтовану на модель. Статті про закони масштабування. Дослідження ланцюга висновків промов. Техніки посилення пошуку. Бенчмарки оцінки.

Все необхідне. Все цінне. Але зверніть увагу, що відсутнє: обговорення топології підприємства системи.

Надійність у контексті підприємства не просто означає “модель генерує правильний текст”. Це означає “система здійснює зміни, які є безпечними, відстежуваними та передбачуваними”.

Це є фундаментально іншою вимогою.

Коли OpenAI і Anthropic публікують оцінки продуктивності моделі, вони вимірюють точність висновків, бенчмарки кодування або відгуки знань. Це корисні сигнали. Однак вони не вимірюють здатність агента штучного інтелекту безпечно змінити живу систему доходу з 15-річним накопиченим боргом автоматизації.

Проблема не полягає в тому, чи може модель написати синтаксично правильний код; це те, чи агент штучного інтелекту розуміє середовище, в яке цей код розгортається.

Живі системи накопичують ентропію

Підприємницькі системи не є статичними базами даних. Вони є живими системами. Кожна нова інтеграція залишає слід. Кожна кампанія вводить поле. Кожне “швидке рішення” вводить додатковий шар автоматизації. З часом ці шари взаємодіють способами, яких жодна людина не повністю розуміє.

Це є функцією зростання. Комплексні адаптивні системи природно накопичують ентропію. Дослідження Массачусетського технологічного інституту довго підкреслювали, як асиметрія інформації всередині організацій посилює операційний ризик. Тоді ж Gartner оцінює, що погана якість даних коштує організаціям в середньому $12,9 мільйона на рік.

Тепер уявіть собі вставлення автономних агентів у це середовище без попереднього вирішення його структурної не透明ості.

Ми не повинні бути здивовані, коли результати здаються непередбачуваними. Агент не є злим або дурним. Він сліпий. Він будує у темряві.

Пошук не достатній

Дехто буде стверджувати, що пошук-підсилене покоління (RAG) вирішує цю проблему. Дайте моделі доступ до документації. Підживіть її описами схем. З’єднайте її з API.

Це допомагає.

Але документація не є топологією.

PDF, який пояснює, як робочий процес “повинен” працювати, не є тим же, що і реальне зображення того, як він взаємодіє з 17 іншими автоматизаціями.

Реальність підприємства рідко відповідає документації підприємства.

Дослідження 2023 року, опубліковане в Communications of the ACM виявило, що застаріла документація є основним внеском до невдач технічного обслуговування програмного забезпечення. Системи еволюціонують швидше, ніж їхні розповіді.

Тому, навіть коли ми надаємо агентам штучного інтелекту документацію, ми часто надаємо їм часткову або ідеалізовану карту.

Часткові карти все ж таки генерують впевнені помилки.

Агентський шар є справжнім шаром безпеки

Ми схильні вважати безпеку як навчання узгодженості, перил, червоних команд та фільтрів політики. Все важливо. Але в контексті підприємства безпека є контекстною. Це означає знання:

• На що залежить це поле?
• Яка автоматизація посилається на цей об’єкт?
• Які нижні звіти будуть порушені?
• Хто володіє цим процесом?
• Коли це було останнє змінено?
• Які історичні зміни передували поточній конфігурації?

Без цього шару агент штучного інтелекту фактично імпровізує всередині чорної скриньки. З цим шаром він може симулювати вплив перед діями. Різниця між маренням та надійністю часто полягає у видимості.

Чому модель звинувачується

Чому, тоді, дебати зосереджені так сильно на моделях? Тому що моделі є зрозумілими. Ми можемо вимірювати перплексію. Ми можемо порівнювати бенчмарки. Ми можемо публікувати криві масштабування. Ми можемо дискутувати про якість навчальних даних.

Інформаційна топологія підприємств є значно більш неохайною. Це вимагає міжфункціональної координації. Це вимагає дисципліни управління. Це змушує організації визнати накопичену складність своїх власних систем.

Це легше сказати “модель не готова”, ніж визнати “наша інфраструктура не прозора”.

Але коли агенти штучного інтелекту переміщуються від генерації контенту до операційного виконання, це формулювання стає небезпечним.

Якщо ми розглядаємо надійність виключно як проблему моделі, ми продовжимо розгортання агентів у середовищах, які вони не можуть суттєво сприймати.

Автономія вимагає контексту

Недавні експерименти Anthropic з багатокористувальницькими командами розробки програмного забезпечення показують, що системи штучного інтелекту можуть координуватися через складні завдання, коли їм надається структурований контекст та постійна пам’ять. Фронтир можливостей швидко просувається. Але ця марка автономії без екологічної свідомості є крихкою.

Самохідний автомобіль не залежить виключно від потужної нейронної мережі. Він залежить від лідару, камер, систем картографування та реального зображення середовища. Модель є одним шаром у більш широкому перцептивному стеку.

Підприємницький штучний інтелект потребує еквівалент лідару. Не просто доступ до API. Не просто документація. Але структуроване, динамічне розуміння залежностей системи.

Поки це не існує, дебати про марення будуть продовжувати неправильно діагностувати кореневу причину.

Прихований ризик: надмірна впевненість

Є ще один тонкий ризик у поточному формулюванні.

Коли моделі покращуються, їхні виходи стають більш плавними, більш переконливими, більш авторитетними.

Плавність посилює надмірну впевненість.

Коли агент зміниє систему без повного контексту, невдача не є негайно очевидною. Це може проявитися через тижні як розбіжність у звітності, розрив у відповідності або помилка у прогнозуванні доходу. Через те, що модель здається компетентною, організації можуть переоцінити її операційну безпеку. Фактичний режим невдачі є правдоподібним неправильним розрахунком.

І правдоподібний неправильний розрахунок процвітає у темряві.

Переформулювання питання про надійність

Замість того, щоб запитувати: “Чи достатньо добра модель?” Ми повинні запитувати: “Чи має агент достатній структурний контекст для безпечної дії?” Замість вимірювання точності бенчмарків, ми повинні вимірювати екологічну видимість. Замість дискусій про кількість параметрів, ми повинні проводити аудит системи не透ності.

Наступний фронт надійності штучного інтелекту не просто більші моделі. Це багатші контекстні шари.

Це включає:

• Графи залежностей підприємств системи
• Реальне зображення змін
• Мапування власності
• Історична свідомість конфігурації
• Симуляція впливу перед виконанням

Жодне з цього не є гламурним. Жодне з цього не трендує у соціальних мережах. Але це те місце, де надійність буде виграна.

Будівництво з включеним світлом

Лідери підприємств праві вимагати надійності перед тим, як надати агентам операційну владу. Але шлях вперед не полягає у чеканні на міфічну модель без марення.

Це інвестування у видимість інфраструктури, яка робить інтелектуальну дію можливою.

Ми не дозволили б молодому адміністратору змінювати продукційні системи без розуміння залежностей. Ми не повинні дозволяти агентам штучного інтелекту робити це також.

Мета? Зменшити сліпі плями.

Коли агенти працюють зі структурною свідомістю, показники марення знижуються не тому, що модель змінилася, а тому, що поверхня припущення зменшується.

Прогнозування стає висновком. Висновок стає симуляцією. Симуляція стає безпечним виконанням.

Невідворотний зсув

За наступні п’ять років стек штучного інтелекту буде розділений. Один шар буде зосереджений на здатності моделі: глибині висновку, багатомодальній плавності та ефективності витрат. Інший шар буде зосереджений на інформаційній/контекстній топології: системних графах, інтелекті метаданих та кадрах управління.

Організації, які розглядають надійність виключно як вибір моделі, будуть боротися.

Організації, які розглядають надійність як архітектурну властивість, будуть рухатися швидше з меншим ризиком.

Дебати про марення будуть виглядати наївними в ретроспективі. Фактична історія буде про видимість.

Штучний інтелект не є внутрішньо безрозсудним.

Він працює у темній кімнаті.

Поки ми не вирішимо це, ми не будемо будувати інтелектуальні системи. Ми будемо будувати потужні передбачувачі у не прозорих середовищах.

І це означає, що, незважаючи на весь прогрес, штучний інтелект все ще будує у темряві.