Надзор за штучним інтелектом має три сліпих плями — і більшість компаній не спостерігає жодної з них

Більша частина розмов про безпеку штучного інтелекту всередині компаній спрямована на неправильну ціль. Команди витрачають тижні на обговорення того, яку модель використовувати, потім підключають цю модель до своєї електронної пошти, платежів, бази даних клієнтів і коду, не зупиняючись, щоб поставити простіше питання: коли ця річ щось робить, хто за цим спостерігає, і чи може хтось зупинити це?

Цифри свідчать про те, що це скоро стане дорогим. Gartner вважає, що щонайменше 15% рішень щодо рутинної роботи будуть прийматися автономно штучним інтелектом у 2028 році, у порівнянні з майже нулям у 2024 році. У тому ж дослідженні він попереджає, що більше 40% проєктів штучного інтелекту з агентними функціями будуть скасовані до кінця 2027 року, і однією з причин, яку він називає, є слабкі контролі ризику. Прочитайте це знову. Проєкти не помирають через те, що моделі погані. Вони помирають через те, що ніхто не створив механізму управління ними.

Я будую системи управління штучним інтелектом для життя, тому бачу ті самі пробіли знову і знову. Їх три. Більша частина компаній належним чином спостерігає за жодним з них, і багато з них не спостерігає жодного.

Агенти — це голосні

Усіх турбують автономні агенти, і вони мають право на це. Але більшість людей турбуються про неправильну частину. Неприємна річ про агента полягає не в тому, що він мислить. А в тому, що він діє. Він не пропонує повернення коштів; він їх виплачує. Він не складає електронного листа; він його відправляє. Дайте моделі набір інструментів, і ви дали їй можливість заходити в реальні системи та змінювати речі.

Якщо ви помилилися, то невдача не полягає в незграбному реченні. А в тому, що гроші йдуть, або таблиця тихо видалена з бази даних. І є гостріший край: вставка запиту знаходиться прямо на вершині списку ризиків для застосунків LLM, і з доброю причиною: якщо моделі дати неправильний текст, вона може бути переконана зробити щось, чого ніхто не просив. Коли модель може тільки говорити, це незручність. Але коли модель може викликати інструменти, це атакувальник, який тримає ваші ключі API.

Стандартна відповідь полягає в тому, щоб реєструвати все, що робить агент, і спостерігати за слідами. Добре. Але слід — це опис чогось, що вже відбулося. Це кадри відеозапису після того, як каса була спорожня, корисні для розслідування, але безкорисні для зупинки крадіжки.

Тиха, про яку ніхто не згадує

Друга сліпа пляма ніколи не потрапляє на слайд, тому що вона нудна. Це звичайний виклик API. Не агент, не фреймворк, просто шматок коду десь у службі, який складає запит і відправляє його до моделі.

Більшість штучного інтелекту в виробництві виглядає саме так, і це найменш керований частина всього стеку саме через те, що це так звичайно. Це HTTP-запит, похований три рівні глибоко в якійсь службі, написаній інженером, який ніколи не чув про вашу політику штучного інтелекту і не знає, де її знайти. Той один виклик може відправити дані клієнта до моделі третього боку або запустити дію вниз за потоком, і нічого не перевіряє, чи це слід робити, і нічого незалежного не реєструє те, що це було зроблено.

Незаконні дії — це люди

Третя сліпа пляма — це люди, і це найгірша з них. Ваш персонал вже місяці тому зрозумів, що вставляння завдання в ChatGPT або Claude робить роботу швидше, тому вони роблять це весь день, зазвичай з особистих рахунків, яких ви не бачите. Це не гіпотетично. Дослідження Cyberhaven щодо реального використання на робочому місці виявило, що реальна частка працівників вставила конфіденційні дані компанії в ChatGPT, більшу частину з яких через рахунки, у яких компанія не має вікна.

Якщо ви хочете попереджувальну історію, то це Samsung. У 2023 році вони заборонили генераційний штучний інтелект всередині компанії після того, як інженери вставили власний джерельний код у ChatGPT, три окремі рази за менш ніж місяць. Це не були погані актори. Це були хороші інженери, які намагалися відладити роботу швидше. Це вся пастка: витік виглядає ідентично продуктивності. І ваші старі інструменти проти втрати даних не спіймають цього, тому що це копіювання та вставляння в вкладку браузера, а не файл, який виходить з будівлі.

Що насправді працює

Якщо ви вишикуєте три речі, то виправлення перестає бути питанням агентів конкретно і перетворюється на одну ідею: керувати тим, що робить штучний інтелект, до того, як він це робить, а не після. Деякі речі, які справді мають значення, вивчені в основному важким шляхом.

Сидіть перед дією, а не за нею. Це вся гра, і це чому я продовжую наполягати на тому, що спостережуваність і керування не одне й те саме слово. Панель, яка повідомляє вам, що агент перемістив 40 000 фунтів вчора, це звіт про втрату. Щось, що може затримати цей перехід для людини, щоб вона могла подивитися, перш ніж він покине місце, це контроль. Якщо ваша система може тільки сказати вам, що відбулося, у вас немає нагляду. У вас є ретроспектива.

Використовуйте одну перевірку, а не одну для кожного інструменту. Агенти, виклики API та працівники, які вставляють щось у чат-бот, здаються трьома окремими проблемами, тому компанії купують три окремі інструменти і закінчують тим, що мають три набори пробілів між ними. Погані речі живуть у цих пробілах. Все, що робить штучний інтелект, куди б він не походив, повинно проходити через одну й ту саму браму.

Зберігайте журнал, який штучний інтелект не може переписати. Якщо система, яка робить дію, також єдина, яка реєструє те, що вона робить, у вас немає запису. У вас є щоденник, який вона може редагувати. Це саме те місце, куди рухаються правила. Вимога щодо ведення записів Закону ЄС про штучний інтелект, стаття 12, існує для того, щоб те, що зробила система високого ризику, можна було відновити кимось іншим, ніж система. На практиці це означає журнал, який ведеться зовні речі, яку реєструють, один, який не може бути тихо змінений після факту.

Помістіть людину на великі, незворотні дзвінки. Не все, якщо ви це робите, люди будуть потоплені у затвердженнях, поки вони не поставлять свій відбиток на все. Але дзвінки, які ви не можете повернути, переміщення грошей, експорт даних, видалення записів, повинні зупинитися і чекати. Закон ЄС про штучний інтелект вже робить обов’язковим нагляд людини для систем високого ризику, стаття 14. Пастка, яку варто пам’ятати, полягає в тому, що нагляд має значення тільки в тому випадку, якщо людина має час і контекст, щоб насправді сказати ні. Атестація, яку ніхто не читає, — це лише театр.

Чесна перевірка інстинкту

Жодна з цих трьох не є окремим випадком. Це звичайний спосіб, яким більшість компаній зараз працюють зі штучним інтелектом, тихо, без великої сітки. Команди, які пройдуть через наступні пару років без неприємного інциденту, не будуть тими, у яких найкрасивіші графіки. Це будуть ті, які вирішили на початку, що все, що робить їхній штучний інтелект, агент, виклик API, вставлений абзац, проходить через одну браму до того, як це відбувається, а не після.

Якщо ви хочете швидкий тест своєї власної системи, відповісті на два питання чесно. З тих трьох поверхонь, скільки ви можете насправді бачити? І з тих, які ви бачите, скільки ви можете зупинити? Для багатьох компаній чесна відповідь на друге питання — нуль. Це число, яке потрібно виправити спочатку.