Управління штучним інтелектом: проблема для більшості, перевага для небагатьох

Підприємства штучного інтелекту швидко накопичують ризики, ніж хто-небудь їх обліковує. Агенти штучного інтелекту починають торкатися клієнтських даних, виробничого коду та CONSEQUENTIAL бізнес-рішень, і в більшості організацій вони керуються контролями, розробленими для зовсім іншої епохи технологій. Водночас зовнішні підтримки підприємств, на які вони могли б спертися, виснажуються. Ведучі лабораторії штучного інтелекту відкликалися від добровільних зобов’язань щодо безпеки, а регуляторні заходи залишаються фрагментованими по юрисдикціям. Бурден довіри падає на компанії, які розгортають штучний інтелект, оскільки в кінцевому підсумку вони будуть страждати від негативних наслідків, якщо вони виникнуть.

Я виконую стратегічну роботу зі штучним інтелектом з компаніями майже в кожній галузі, і розмовляю з генеральними директорами та радами директорів щодня. Постійна закономірність, яку я бачу, полягає в тому, що розгортання прискорюється, тоді як інфраструктура контролю просто не справляється з цим темпом. Закономірність достатньо постійна, щоб я вважав її структурною, а не провалом якоїсь окремої компанії, і я зроблю передбачення: ми не далеко від того моменту, коли генеральний директор буде змушений пояснити, що велика помилка коштувала бізнесу мільйонів, і він звинуватить штучний інтелект. Я б ввічливо запропонував, що це не виправдання.

Хороша новина полягає в тому, що мені пощастило бачити першими кілька компаній, які ставляться до управління інакше, і я вважаю, що ці компанії будують довгострокову перевагу, яка зростає з часом, тоді як інші, які чекають на стороні, ризикують стати застарілими. Поняття того, що бачать небагатьох, починається з розуміння, куди веде поточний напрям.

Ми рухаємось до проблеми

Сьогоднішні розгортання достатньо малі, щоб людський нагляд міг поглинути ризик. Останнє дослідження Deloitte про стан штучного інтелекту в підприємствах виявило, що лише одна четверта опитаних організацій перевела хоча б 40% своїх експериментів зі штучним інтелектом у виробництво. Більшість підприємств ще на початку кривої, запускаючи кілька агентів у вузьких випадках використання з людьми, які відстежують кожен шматок виводу.

Напрям руху має значення. Коли розгортання масштабуються з двох агентів до 20, до 200, до 2 000 і далі, складність зростає. Кожен новий агент приносить свою поведінку, а також взаємодію з кожною системою, яку він торкається, і з кожним іншим агентом, з яким він працює. При двох агентах довіра легка: ви знаєте команду, і ви переглядаєте вивід самостійно. При 20 довіра повинна стати процесом, з визначеними власниками, тестуванням та шляхами ескалації. Це все ще може працювати, але воно стає все важче підтримувати. При 200 неформальний огляд стає театром, оскільки жодна команда керівництва не може оглянути таку діяльність. А при 2 000 людська участь у циклі практично марна, оскільки взаємодія між агентами, даними та бізнес-процесами утворює мережу, яка виходить за межі того, що може покрити ручний нагляд. На цьому рівні довіра повинна існувати у масштабі та бути вбудована в технічну архітектуру підприємства.

Вартість очікування

Відсутня інфраструктура довіри також одна з причин розчарування поверненням. У останньому глобальному опитуванні генеральних директорів PwC 56% генеральних директорів сказали, що штучний інтелект не приніс ні збільшення доходу, ні зменшення витрат за останні рік. За мого досвіду, навіть повернення, які повідомляються, виглядають менш переконливими, коли ви оглядаєте основну економіку. Більшість підприємств рахують години, збережені, і називають це поверненням на інвестиції. Години, збережені, стають фінансовим поверненням лише тоді, коли організація конвертує цю здатність у щось більш цінне: більший вивід, кращу якість, уникнутий витрат, швидший зростання тощо.

Ця конвертація вимагає довіри. Організація може перемістити людську думку на вищу цінність роботи лише тоді, коли керівництво довіряє системам, які беруть на себе нижчу цінність роботи. Без цієї довіри компанії накопичують технічний борг, який не масштабується, і з часом це суттєво впливає на продуктивність. Це найгірше з двох світів: збільшені витрати з малим результатом. Довіра є основою, на якій ці повернення нараховуються.

Проблема ліфта

Зв’язок між довірою та прийняттям не є новим, і ми можемо повернутися до середини 20-го століття за розумним орієнтиром. Безпілотні ліфти існували десятиліттями до того, як хто-небудь буде їх використовувати. Технологія працювала, але пасажири входили у кабіну, бачили відсутність оператора та виходили назад. Що змінилося, не було ліфтом, а безпековими контролями навколо нього. Після страйку операторів у 1945 році, який зупинив офісні будівлі по всьому Нью-Йорку, галузь інженерії довіри до машини сама по собі: кнопка аварійної зупинки, телефонна лінія, двері, які знову відкрилися при зустрічі з опором, і записаний голос, який пояснював, що робити. Усього за покоління входження у ліфт без людини за контролем стало так звичним, що входження у ліфт з людиною за кнопками відчувалося застарілим. Бар’єр для видалення людини з циклу ніколи не був здатністю. Це була довіра, і галузь вирішила цю проблему, побудувавши видимі, верифіковані контролі у системі та розмістивши їх там, де кожен пасажир міг їх бачити.

Підприємства штучного інтелекту знаходяться на етапі входу, виходу. Команди керівництва бачать агентів, які працюють без людини за контролем, і коливаються, і коливання є раціональним: більшість організацій ще не побудували еквівалент кнопки зупинки, телефонної лінії та дверей, які не закриваються на вас. Компанії, які інженерують ці контролі у свої системи, будуть тими, чия команда, клієнти та регулятори входять і залишаються.

Постачальники можуть нести лише частину цього

Багато лідерів сподіваються, що їхні постачальники штучного інтелекту несуть бурден довіри. Постачальники можуть забезпечувати засоби безпеки моделі та засоби безпеки, і хороші постачальники роблять це. Визначення того, чи є певне розгортання відповідним для ваших даних, регуляторних зобов’язань, клієнтів та толерантності до ризику, залишається вашою роботою, оскільки ваш постачальник не має контексту для цього. У них ніколи не було ваших зобов’язань, і у них немає можливості оцінити, яку вартість має поганий результат для вас.

Зобов’язання постачальника щодо безпеки покриває лише його модель, а не ваше використання її. Це зобов’язання також не є постійним: як показав минулий рік, ці зобов’язання можуть бути переглянуті або відкликані. Регульовані галузі давно вирішили цей питання для третіх моделей, і стандарт, на який вони зупинилися, є правильним: інститут, який розгортає модель, володіє ризиком.

Що роблять небагатьох

Компанії, які випереджають інших, роблять три кроки:

1. Вони будують інфраструктуру контролю зараз, розраховуючи на масштаб, до якого вони хочуть дійти, а не на масштаб, на якому вони зараз знаходяться, оскільки контролі повинні існувати до того, як агенти, яким вони потрібні, будуть створені.
2. Вони вкладають класифікацію ризику та мінімізацію на початку процесу розгортання, а не як переглядову браму в кінці, так що кожний випадок використання класифікується, а контролі пропорційні ризику з першого дня.
3. І вони створюють незалежне управління з реальною владою для верифікації цих систем, зберігаючи гнучкість, достатню для еволюції технології. Незалежність робить верифікацію достовірною. Гнучкість тримає її актуальною.

Варто зазначити, що небагатьох регуляторів явно встановили правила щодо використання та нагляду за генераційним штучним інтелектом, але це не означає, що у нас немає нічого, до чого ми могли б звернутися за орієнтиром. Регулятори мають добре встановлені правила для управління традиційними моделями, і ми можемо використовувати їх як орієнтир. У квітні Федеральний резерв, OCC та FDIC випустили оновлене керівництво щодо ризику моделей, яке відображає десятиліття практики, принципівний підхід, який включає інвентаризацію моделей, контролі ризику, пропорційні експозиції, незалежну валідацию, постійний моніторинг та корпоративну відповідальність за продукти постачальників, і вони наказали установам застосовувати ці самі практики до штучного інтелекту самостійно. Повідомлення є ясним: принципи, які працюють, відомі, і формальні правила штучного інтелекту не прийдуть скоро. Підприємства, які чекають на регуляторну ясність, будуть чекати, тоді як небагатьох діятимуть. Це пояснює, чому сильно регульовані галузі, часто описувані як повільні, вступають у цю епоху з перевагою. Вони витратили десятиліття на будівництво саме того механізму довіри, який зараз потрібен усім іншим, і вони не чекають на дозвіл для його використання.

Питання, яке має значення

Розкол вже утворюється. Більшість компаній розглядають управління як витрату: щось, що поглинається, терпиться та мінімізується. Небагатьох розглядають його як інфраструктуру, яка дозволяє їм перемістити людей на вищу цінність роботи та масштабувати з впевненістю. Кожна команда керівництва знаходиться на одній стороні чи іншій, чи то свідомо, чи ні, і розрив накопичується тихо перед масштабом, який його викриє. Ні хто не двічі не подумає про входження у ліфт сьогодні, оскільки довіра була закладена у нього. Компанії, які роблять те саме для штучного інтелекту, масштабуватимуться далі всіх, хто ще вирішує, чи вступити.