Лідери думок

Чому керування штучним інтелектом продовжує провалюватися

Sitaram Srivatsavai
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиУправління зазнає невдачі, коли політики залишаються рекомендаційними документами, а не…
Показати більше
  • Управління зазнає невдачі, коли політики залишаються рекомендаційними документами, а не обов'язковим кодом у конвеєрах CI/CD.
  • Лише 10% компаній можуть аудитувати системи ШІ, тоді як 92% повідомляють, що генеративний ШІ змінив обмін даними.
  • Докази мають бути автоматичним побічним продуктом інфраструктури, а не ручним комплаєнс-ритуалом, який додають заднім числом.

Проблема не в тому, що організації не мають політики штучного інтелекту. Проблема в тому, що ці політики насправді нічого не роблять.

Десь між гармонійно оформленим PDF-документом і розгорнутою моделлю намір зникає. Команди імпровізують. Виникають винятки. Керування перетворюється з системи на перемовини – і в галузях, що підлягають регулюванню, таких як охорона здоров’я та біонауки, цей розрив не тільки прикрий, а й операційний ризик.

Вирішенням проблеми не є додаткова документація. Вирішенням є ставлення до керування як до програмного забезпечення.

Розрив у керуванні вже можна виміряти

Впровадження штучного інтелекту значно прискорилося, тоді як інфраструктура керування не змогла за цим встигати. Дослідження Ernst & Young у вересні 2025 року показало, що лише 10% компаній повністю готові до аудиту систем штучного інтелекту. Водночас дослідження Ponemon виявило, що 92% організацій вважають, що генеративний штучний інтелект змінив спосіб, у який співробітники отримують доступ до інформації та обмінюються нею, проте лише 18% повністю інтегрували керування штучним інтелектом у програми внутрішніх ризиків.

Ланцюг подій постійний: штучний інтелект вже вбудований у щоденну роботу. Нагляд за цим процесом все ще відстає. І чим довше керування залишається у вигляді документів, тим гіршим стає цей розрив.

Керування, яке реалізується

Ідея на перший погляд проста: якщо вимога до керування не здатна зупинити збірку програмного забезпечення при її порушенні, вона не може захистити середовище експлуатації.

Фактичне керування має вхідні дані, вихідні дані, точки застосування та спостережувані результати. Воно працює безперервно – не раз на квартал. І що найважливіше, воно генерує докази як побічний продукт виконання роботи, а не як окремий ритуал з дотриманням вимог, доданий пізніше.

Оперативна модель виглядає так:

Політика → Контроль → Докази → Метрики

Політика визначає намір. Контроль забезпечує поведінку. Докази доводять виконання. Метрики підтверджують результати. Це не нова ідея – це саме так працюють зрілі системи безпеки та дотримання вимог. Зміна полягає в застосуванні тієї ж логіки до штучного інтелекту.

Контроль не є порадами. Докази не є документацією. І якщо контроль вимагає ручних зусиль для генерації доказів, то це не контроль. Це надія.

Ризикові рівні, а не театр ризику

Не кожна система штучного інтелекту заслуговує на однакову увагу. Обробка низькоризикового внутрішнього інструменту з тією ж суворістю, що й клінічна система підтримки прийняття рішень, це те, як організації або повністю зупиняються, або наражаються на зайві ризики.

Фреймворк управління ризиками штучного інтелекту NIST, випущений у 2023 році, надає базову структуру для осмислення цього – відображення ризику штучного інтелекту через чотири функції: керування, мапування, вимірювання та управління. Функціональна корпоративна модель керування будується на цій логіці з практичними ризиковими рівнями:

Рівень Обсяг Контроль
Мінімальний Внутрішні інструменти, немає чутливих даних Реєстрація, легкі перевірки
Обмежений Інструменти, що взаємодіють з користувачем, помірний ризик Документація, перевірка промптів, тестування безпеки
Високий Регульовані або високовпливові рішення Формальний ризиковий аналіз, журнали аудиту, суворий контроль змін
Заборонений Неприйнятні випадки використання Блокування на етапах проектування та розгортання

Це дає інженерним командам те, чого вони рідко отримують від процесів керування: ясність. Не “що нам робити?”, а “який рівень ризику, і що це викликає?”

Хороше керування усуває двозначність. Відмінне керування усуває дискусію.

Політика як код: від порад до виконання

Політики, написані в документах, є порадами. Політики, закодовані в конвеєрах, є обов’язковими до виконання.

Так само, як інфраструктура перевіряється перед розгортанням, системи штучного інтелекту можуть бути заблоковані автоматичними перевірками, які підтверджують, чи зареєстрований випадок використання, чи існує необхідна документація, чи результати оцінки відповідають визначеним порогам, і чи доступ до чутливих даних здійснюється за принципом найменших повноважень. Ці перевірки відбуваються в процесах CI/CD. Вони не чекають на рішення комітету. Вони не залежать від пам’яті чи доброї волі когось.

Open Policy Agent — проєкт зі статусом Graduated у Cloud Native Computing Foundation — демонструє, як правила можуть бути версіоновані, переглянуті та послідовно застосовані в інженерних екосистемах. Шаблон зрозумілий. Пробіл полягає в тому, що команди штучного інтелекту не застосовують його.

Найбезпечніша система штучного інтелекту не та, у якої найкращі політики. Це система, яка технічно не може порушити їх.

Контроль, специфічний для LLM: де починається найцікавіше

Генеративний штучний інтелект вводить категорію ризику, для якої традиційні фреймворки керування не були спроектовані — вставка запитів, маніпуляція виводом, неправильне використання інструментів. Це не виняткові випадки. Це структурні властивості того, як працюють великі мовні моделі, і як зазначено в матеріалах Unite.AI про керування штучним інтелектом на основі агентів, розрив у керуванні ще більше посилюється, коли системи штучного інтелекту переходять від відповідей на питання до виконання дій.

Ефективне керування системами генеративного штучного інтелекту вимагає контролю, спеціально розробленого для поведінки великих мовних моделей: суворої роздільності системних інструкцій та вхідних даних користувача, контрольованого доступу до інструментів та переліку дозволених дій, перевірки виводу перед виконанням, захисту від витоку даних та безпечних умов для безпечного завершення роботи.

Ці вимоги відповідають задокументованим класам уразливості у фреймворку OWASP Top 10 (перелік для застосунків LLM) – спільному фреймворку, який зараз охоплює понад 600 експертів-учасників з 18 країн. Керування LLM менше пов’язане з тим, що знає модель, і більше з тим, що система дозволяє їй робити.

Докази є інфраструктурою, а не паперовою роботою

Аудитори не довіряють наміру. Вони довіряють записам.

У системі, де керування реалізується, докази генеруються автоматично: карти моделей, що описують призначене використання та обмеження, документація даних, що охоплює походження, звіти про оцінку, що показують продуктивність та відомі ризики, журнали, що фіксують рішення та зміни. Ці артефакти не існують для аудиту. Вони існують, тому що система потребує їх для функціонування.

Найсильніша позиція аудиту виникає, коли докази вже існують до того, як хтось про них запитає. Це не теорія — регулятори вже рухаються в цьому напрямку. Як зазначено в недавньому аналізі щодо обґрунтованого керування штучним інтелектом, питання, які регулятори незабаром поставлять, вже не тільки “чи ви зберегли це?” але й “чи можете ви довести, що відбулося, під якою політикою, з якими даними та з чиїм дозволом?”

Реальна аргументація: керування як прискорювач

Тривала міфологія полягає в тому, що керування та швидкість знаходяться в протиріччі. На практиці погано спроектоване керування сповільнює команди. Добре спроектоване керування усуває тертя.

Коли контроль стандартизований, перевірки автоматизовані, а очікування кодифіковані, команди припиняють перемовини та починають розробку рішень. Випуски стають більш передбачуваними. Рішення більше не вимагають героїчних зусиль від невеликої групи фахівців, які вивчили документи з політиками напам’ять.

Керування масштабується, коли воно є інфраструктурою. Воно не масштабується, коли воно спирається на самі відчуття.

Мета ніколи не полягала в контролі заради контролю. Це імпульс без хаосу – і організації, які роблять це правильно, не ті, у яких найдокладніший PDF. Це ті, хто зробив правильну поведінку найлегшим шляхом.

Сітарам Сріватсавай є лідером думок в галузі інженерії CRM з більш ніж 18-річним досвідом роботи з CRM, iOS та веб-платформами. Керує глобальними командами, які розробляють великомасштабне корпоративне програмне забезпечення, з особливим акцентом на оглядах архітектури, модернізації автоматизації та забезпеченні надійності, дотримання нормативних вимог та масштабованої продуктивності.