Людина в циклі не є управлінням

Відповідь на ризик штучного інтелекту полягає в тому, щоб “помістіть людину в цикл“. Але це фраза ховає важку частину.

Людина в циклі працює тільки якщо цикл спроектований. В іншому випадку людина стає однією з трьох невдач:

• Затримкою, оскільки перегляд виводу штучного інтелекту займає так само багато часу, як і виконання роботи вручну.
• Рubber-stamp, оскільки переглядач перевантажений, не може бачити докази, не розуміє бізнес-контексту та клікнув затвердження, щоб продовжувати роботу.
• Або третя невдача: зона деформації. Додавши людину в цикл, установа призначає людину відповідальною, але не дає їй жодного реального контролю, часу, повноважень, можливості зупинити систему та жодного шляху змінити наступний запуск. Наслідки лягуть на людину, тоді як рішення залишається незмінним.

Це місце, де багато розмов про корпоративний штучний інтелект йде не так. Ми говоримо про те, чи повинен людина переглянути роботу, але не про те, як цей перегляд спроектований. Ми припускаємо, що додавання людини створює управління. Це не так. Управління залежить відтого, чи має переглядач значимий контроль, значиму видимість та можливість покращити систему після прийняття рішення.

Перегляд людини цінний, але тільки тоді, коли він знаходиться там, де судження має значення, та підтримується достатнім контекстом, щоб зробити це судження значимим.

Валідаційний бар’єр – це більше, ніж крок перегляду

Бар’єр не є паузою. Це інтерфейс верифікації.

Коли агент або автоматизація створює пропозицію – проект відповіді, рекомендацію дії, класифікацію, авторизацію платежу, маршрутизацію справи, пакет відмови або листа про відмову – переглядач повинен негайно зрозуміти, що відбувається та чому.

Фактичний валідаційний бар’єр повинен показувати те, що має значення: запропоновану дію; джерела, що стоять за нею; перевірені правила; бізнес-перехід, який відбудеться; повноваження, що використовуються; запис аудиту, який буде написаний; невизначеність або виняток, що спровокував перегляд; та доступні варіанти: затвердження, редагування, відхилення або ескалація.

Кожен з цих елементів існує за певною причиною. Запропонована дія пояснює, що система намірена зробити. Підтримуючі докази пояснюють, чому. Правила та повноваження показують, чи відповідає рекомендація корпоративній політиці. Невизначеність каже переглядачу, чому робота потрапила до людини вперше. Разом вони перетворюють перегляд з гадання в верифікацію.

Якщо переглядач повинен реконструювати все це вручну, бар’єр не побудований.

Мета бар’єру не полягає лише в тому, щоб зупинити помилки до того, як вони трапляться. Його друга мета важливіша. Вона захоплює інституційне судження.

Це місце, де корпоративне розгортання починає наростати. Кожне реальне затвердження, редагування, відхилення або ескалація захоплює інституційне судження – але тільки якщо бар’єр захоплює чому.

Атестації не є даними, а верифікаціями.

Рubber-stamped клік захоплює нічого корисного. Переглянуте, відредаговане, відхилене або ескальоване рішення з кодом причини захоплює сигнал, який наступна версія системи може вивчити. Якщо переглядач клікнув затвердження без перегляду, система нічого не вчиться. Якщо переглядач редагує, відхиляє, ескалує та дає причину, установа захоплює судження.

З часом ці судження стають одним з найбільш цінних активів організації. Вони розкривають, де політики нечіткі, де робочі процеси постійно ламаються, де винятки трапляються найчастіше, і де автоматизація повинна стати більш впевненою – або більш обмеженою. Метою не є просто автоматизувати більше роботи. Це покращити якість майбутніх рішень, захопивши, як досвідчені люди здійснюють судження сьогодні.

Відповідальність вимагає більшого, ніж названого власника

Ця відмінність змінює те, як організації повинні думати про відповідальність.

Бар’єр не достатній. Названий власник не достатній. Журнал аудиту не достатній.

Відповідальність вимагає прийняття наслідків: помилка повинна приземлитися там, де можна змінити майбутню поведінку.

Перед розгортанням штучного інтелекту в CONSEQUENTIAL роботі організації повинні задати п’ять питань:

1. Хто приймає наслідки, якщо ця дія неправильна?
2. Чи мав той чоловік або система значимий контроль до дії?
3. Чи може відповідальний власник інспектувати, обмежувати, перевершувати або зупинити агента або автоматизацію?
4. Чи є відповідальність пропорційною до контролю, який власник фактично мав?
5. Що змінюється до наступного запуску: навичка, правило, дозвіл, робочий процес, автоматизація, валідаційний бар’єр, код причини, навчання або клас довіри?

Людина в циклі без значимого контролю не є управлінням. Це зона деформації.

Цикл не закритий, поки захоплене судження не змінить щось: навичку, правило, дозвіл, поріг ескалації, автоматизацію, тест, інтерфейс перегляду, план навчання, вибірку аудиту або клас довіри. Наслідок, який не змінює наступний запуск, є лише інцидентом, а не навчанням. Організації покращують, коли кожен значимий перегляд змінює наступну версію системи, чи то шляхом уточнення політики, зміцнення дозволів, покращення автоматизації або зміцнення досвіду верифікації самої по собі.

Ограждення запобігають невдачам. Оцінки будують довіру.

Організації також повинні відрізняти між огражденнями та оцінками. Вони розв’язують різні проблеми, які потребують розв’язання.

1. Ограждення забезпечують поведінку під час виконання. Перевірки схеми, блокування небезпечних параметрів, перевірки дозволів, видалення особистих даних, захист від ін’єкції запитів та обмеження інструментів існують, щоб запобігти небезпечній поведінці до того, як вона трапиться.
2. Оцінки вимірюють продуктивність з часом. Вони досліджують якість, зміщення, вибір інструменту, якість ескалації, вартість, затримку та дотримання політики. Вони кажуть організації, чи продовжує система заслуговувати на довіру.

Одне захищає поточне рішення. Інше покращує майбутні рішення.

Ограждення та оцінки служать різним цілям, і так само роблять люди, відповідальні за них. Платформа забезпечує політику. Оператори оцінюють результати. Разом вони створюють цикл зворотного зв’язку, який дозволяє системі покращуватися без жертвування управлінням.

Система витягує політику, запис претензії, підтримуючі документи, попередні справи, організаційний підручник. Вона готує пакет тріажу, пропонує тяжкість, визначає відсутні докази та відкриває підсправу про шахрайство, якщо правила вимагають цього. Регулятор бачить запропонований рух, підтримуючі докази, код причини, запис аудиту та наслідки затвердження. Замість того, щоб реконструювати справу з кількох систем, переглядач може зосередитися на верифікації самої рекомендації. Лише після верифікації автоматизація оновлює справу, видає платеж, запитує додаткові документи або закриває роботу.

Потік претензій демонструє, як це працює на практиці. Агент не запам’ятовував процес. Він діяв всередині опублікованої карти.

Архітектура повинна слідувати роботі

Те ж принцип застосовується незалежно від того, як робота сама по собі організована. Не кожна корпоративна проблема має ту ж форму, і управління повинно відображати це. Деяка робота починається з мети. Деяка починається з справи; деяка починається зі стабільного робочого процесу. Архітектура повинна слідувати роботі, а не навпаки.

Розгортання, яке керується метою, починається з результату, а не з передбаченого шляху. Розгляньте цю ескалацію клієнта. Знизьте ризик відходу на цьому рахунку. Розслідуйте цей сигнал шахрайства. Підготуйте цей план оновлення. Місце призначення чітке, але маршрут може змінитися, коли з’являється нова інформація. Головний агент розбиває роботу, використовує затверджених агентів та інструменти, викликає затверджені автоматизації та призначає людську роботу всередині керованих меж. Його сила полягає в адаптивності. Його ризик полягає в тому, що адаптивність без чітких обмежень стає непередбачуваністю.

Це пояснює, чому гнучкі системи вимагають більшого управління, а не менше. Чіткі межі робочого процесу, дозволи автоматизації, права на прийняття рішень, записи аудиту та правила ескалації стають більш важливими, оскільки штучний інтелект стає більш здатним. Чим більше свободи агент має для визначення свого шляху, тим більш ретельно установа повинна визначити межі, всередині яких він може діяти.

Корпоративний штучний інтелект не вдався тому, що кожне рішення має людину десь у циклі.

Він вдався тому, що установи вчаться будувати цикл сам по собі.