Лідери думок

Чому керування штучним інтелектом продовжує провалюватися

mm
Додайте Unite.AI до бажаних джерел у Google

Проблема не в тому, що організації не мають політики штучного інтелекту. Проблема в тому, що ці політики насправді нічого не роблять.

Десь між гармонійно оформленим PDF-документом і розгорнутим моделем намір зникає. Команди імпровізують. Виникають винятки. Керування перетворюється з системи на перемовини – і в галузях, що підлягають регулюванню, таких як охорона здоров’я та наукові дослідження, цей розрив не тільки прикрий, а й операційний ризик.

Вирішенням проблеми не є додаткова документація. Вирішенням є traitement керування як програмного забезпечення.

Пропуск у керуванні вже вимірюється

Прийняття рішень щодо штучного інтелекту прискорилось значно, тоді як інфраструктура керування не змогла за цим跟ати. Дослідження Ernst & Young у вересні 2025 року показало, що лише 10% компаній повністю готові до аудиту систем штучного інтелекту. Водночас дослідження Ponemon виявило, що 92% організацій вважають, що генераційний штучний інтелект змінив спосіб, у який співробітники отримують доступ до інформації та її обмін, проте лише 18% повністю інтегрували керування штучним інтелектом у програми внутрішніх ризиків.

Ланцюг подій постійний: штучний інтелект вже вбудований у щоденну роботу. Надзір за цим процесом все ще відстає. І чим довше керування залишається у вигляді документів, тим гіршим стає цей розрив.

Керування, яке реалізується

Концепція проста: якщо вимога до керування не може викликати збій збірки, воно не може захистити виробництво.

Фактичне керування має вхідні дані, вихідні дані, точки застосування та спостережувані результати. Воно працює безперервно – не раз на квартал. І що найважливіше, воно генерує докази як побічний продукт виконання роботи, а не як окремий ритуал з дотриманням вимог, доданий пізніше.

Оперативна модель виглядає так:

Політика → Контроль → Докази → Метрики

Політика визначає намір. Контроль забезпечує поведінку. Докази доводять виконання. Метрики підтверджують результати. Це не нова ідея – це саме так працюють зрілі системи безпеки та дотримання вимог. Зміна полягає в застосуванні тієї ж логіки до штучного інтелекту.

Контроль не є порадами. Докази не є документацією. І якщо контроль вимагає ручних зусиль для генерації доказів, то це не контроль. Це надія.

Ризикові рівні, а не театр ризику

Не кожна система штучного інтелекту заслуговує на однакову увагу. Обробка низькоризикового внутрішнього інструменту з тією ж суворістю, що й клінічна система підтримки прийняття рішень, це те, як організації або повністю зупиняються, або займають зайву позицію.

Фреймворк управління ризиками штучного інтелекту NIST, випущений у 2023 році, надає базову структуру для思考у про це – відображення ризику штучного інтелекту через чотири функції: керування, мапування, вимірювання та управління. Функціональна корпоративна модель керування будується на цій логіці з практичними ризиковими рівнями:

Рівень Обсяг Контроль
Мінімальний Внутрішні інструменти, немає чутливих даних Реєстрація, легкі перевірки
Обмежений Інструменти, що взаємодіють з користувачем, помірний ризик Документація, огляд, тестування безпеки
Високий Регульовані або високовпливові рішення Формальний ризиковий аналіз, журнали аудиту, суворий контроль змін
Заборонений Неприйнятні випадки використання Блокування на етапах проектування та розгортання

Це дає інженерним командам те, чого вони рідко отримують від процесів керування: ясність. Не “що нам робити?”, а “який рівень ризику, і що це викликає?”

Хороше керування усуває двозначність. Відмінне керування усуває дискусію.

Політика як код: від порад до виконання

Політики, написані в документах, є порадами. Політики, закодовані в конвеєрах, є обов’язковими до виконання.

Так само, як інфраструктура перевіряється перед розгортанням, системи штучного інтелекту можуть бути заблоковані автоматичними перевірками, які підтверджують, чи зареєстрований випадок використання, чи існує необхідна документація, чи результати оцінки відповідають визначеним порогам, і чи доступ до чутливих даних здійснюється з найменшим привілеєм. Ці перевірки відбуваються в процесах CI/CD. Вони не чекають на рішення комітету. Вони не залежать від пам’яті чи доброї волі когось.

Open Policy Agent — проект Cloud Native Computing Foundation — демонструє, як правила можуть бути версіоновані, переглянуті та послідовно застосовані в інженерних екосистемах. Шаблон зрозумілий. Пробіл полягає в тому, що команди штучного інтелекту не застосовують його.

Найбезпечніша система штучного інтелекту не та, у якої найкращі політики. Це система, яка технічно не може порушити їх.

Контроль за генераційним штучним інтелектом: де все стає цікавим

Генераційний штучний інтелект вводить категорію ризику, для якої традиційні фреймворки керування не були спроектовані — вставка запитів, маніпуляція виводом, неправильне використання інструментів. Це не виняткові випадки. Це структурні властивості того, як працюють генераційні моделі мови, і як зазначено в матеріалах Unite.AI про агентське керування штучним інтелектом, розрив у керуванні ще більше посилюється, коли системи штучного інтелекту переходять від відповідей на питання до виконання дій.

Ефективне керування системами генераційного штучного інтелекту вимагає контролю, спеціально розробленого для поведінки генераційних моделей мови: суворої роздільності системних інструкцій та вхідних даних користувача, контрольованого доступу до інструментів та переліку дозволених дій, перевірки виводу перед виконанням, захисту від витоку даних та безпечних умов для безпечного завершення роботи.

Ці вимоги відповідають задокументованим класам уразливості у фреймворку OWASP Top 10 для застосунків генераційного штучного інтелекту – спільному фреймворку, який зараз охоплює понад 600 експертів з 18 країн. Керування генераційним штучним інтелектом менше пов’язане з тим, що знає модель, і більше з тим, що система дозволяє їй робити.

Докази є інфраструктурою, а не паперовими роботами

Аудитори не довіряють наміру. Вони довіряють записам.

У системі, де керування реалізується, докази генеруються автоматично: карти моделей, що описують призначене використання та обмеження, документація даних, що охоплює походження, звіти про оцінку, що показують продуктивність та відомі ризики, журнали, що фіксують рішення та зміни. Ці артефакти не існують для аудиту. Вони існують, тому що система потребує їх для функціонування.

Найсильніша позиція аудиту виникає, коли докази вже існують до того, як хтось про них запитає. Це не теорія — регулятори вже рухаються в цьому напрямку. Як зазначено в недавньому аналізі щодо обґрунтованого керування штучним інтелектом, питання, які регулятори скоро запитують, вже не тільки “чи ви зберегли це?” але й “чи можете ви довести, що відбулося, під якою політикою, з якими даними та з чиїм дозволом?”

Реальна аргументація: керування як прискорювач

Тривала міфологія полягає в тому, що керування та швидкість знаходяться в протиріччі. На практиці погано спроектоване керування сповільнює команди. Добре спроектоване керування усуває тертя.

Коли контроль стандартизований, перевірки автоматизовані, а очікування кодифіковані, команди припиняють перемовини та починають будівництво. Випуски стають більш передбачуваними. Рішення припиняють вимагати героїчних зусиль від невеликої групи фахівців, які запам’ятали документи політики.

Керування масштабується, коли воно є інфраструктурою. Воно не масштабується, коли воно є настроєю.

Мета ніколи не полягала в контролі заради контролю. Це імпульс без хаосу – і організації, які роблять це правильно, не ті, у яких найкращий PDF. Це ті, хто зробив правильну поведінку найлегшим шляхом.

Сітарам Сріватсавай є лідером думок в галузі інженерії CRM з більш ніж 18-річним досвідом роботи з CRM, iOS та веб-платформами. Керує глобальними командами, які розробляють великомасштабне корпоративне програмне забезпечення, з особливим акцентом на оглядах архітектури, модернізації автоматизації та забезпеченні надійності, дотримання нормативних вимог та масштабованої продуктивності.