Створення довірчих агентів штучного інтелекту за допомогою дизайну, а не випадковості

Агентські системи штучного інтелекту не приходить із фанфарами, а скоріше впроваджуються у повсякденні операції. Системи, які раніше сиділи в режимі очікування, чекаючи на людські команди, тепер беруть ініціативу. Ця еволюція вже відбувається всередині організацій, але розмови про управління штучним інтелектом залишаються в минулому. Наші закони та організаційні структури ніколи не були створені з урахуванням автономних, не людських акторів. Для компаній, що підлягають GDPR, це не теоретична проблема, а реальна оперативна проблема — і вона розвивається швидше, ніж більшість команд з питань відповідності можуть комфортно впоратися.

Коли інструменти штучного інтелекту починають розмовляти

Коли ми обговорюємо управління, увага зазвичай зосереджується на відповідності, управлінні ризиками та попередженні шкоди. Хоча ці питання дуже важливі, вони були створені для світу, де штучний інтелект був в основному статичним: навченим, протестованим, випущеним та відстежуваним на передбачуваних циклах.

З включенням агентів штучного інтелекту до процесів прийняття рішень, центральним викликом тепер стає поведінка та довіра. Виконавці повинні запитати себе: “Як ми можемо забезпечити, щоб системи, які здатні діяти, також могли бути довірені?” Довіра — це вибір дизайну, який повинен бути зроблений свідомо, а не інженерно через переконання. Організації, які слідують керівним принципам GDPR, розуміють, що відповідність має важливе значення і має юридичні наслідки.

Три способи, як агентські системи штучного інтелекту порушують сучасні припущення GDPR

Коли GDPR був створений, він не був написаний для автономних агентів. Однак три основних принципів GDPR — обмеження мети, мінімалізація даних, прозорість та підзвітність — мають важливе значення. Агентські системи штучного інтелекту впливають на кожен з цих принципів новими способами, і існують три ключових напрямки, які потрібно вирішити.

Перший ризик полягає в тому, як агент штучного інтелекту “думає” про завдання. Замість виконання одного фіксованого процесу, він розбиває роботу на багато малих кроків, часто викликаючи зовнішні інструменти, витягуючи дані з баз даних, роблячи припущення та обробляючи особисті дані на своєму шляху. Багато з цього відбувається поза зором. Визначення того, які дані були використані, на якому етапі та з якої причини, є важким завданням на практиці — проте це саме той рівень прозорості та підзвітності, який очікує GDPR.

Другий ризик полягає в тому, як агенти використовують пам’ять. Вони можуть зберігати особисті дані в короткостроковій пам’яті під час виконання завдання та в довгостроковій пам’яті протягом багатьох сесій. Якщо пам’ять не розділяється清楚, інформація з однієї особи може просочитися до іншої. Якщо ви не встановлюєте чіткі обмеження на зберігання, особисті дані можуть залишатися після того, як вони мали бути видалені. За правом на видалення GDPR це стає дуже важким для управління, коли дані знаходяться всередині пам’яті агента, а не в базі даних, яку ваша команда з питань конфіденційності може легко знайти та запитати.

Третій ризик полягає у введенні підказки — по суті, обман агента. Коли агент читає документи, переглядає веб-сторінки або обробляє вхідні повідомлення, шкідливий вміст у цих джерелах може захопити його поведінку, змусити його витікати особисті дані або спонукати його до дій, які організація ніколи не схвалювала. Це відомий шаблон атаки, який є специфічним для агентських систем. Це означає, що ви можете зазнати порушення даних не через те, що ваші основні системи були зламані, а через те, що ваш агент штучного інтелекту зустрів ворожий вміст під час виконання своєї роботи — і за GDPR ви все одно відповідаєте.

Будівництво справжньої довіри, а не тільки дружньої інтерфейсу

Важливо розуміти, що існує різниця між інженерно створеною довірчістю та заслуженою довірчістю. Інженерно створена довіра може допомогти переконати користувачів у певній точці, зазвичай через емоційний дзеркальний відбиток, антропоморфні сигнали або переконливий дизайн.

Однак тривка довіра полягає у системах, які поводяться у спосіб, який люди можуть зрозуміти, передбачити та оцінити. Розумування, обмеження та наміри агента є легітимними. Це передумова для дизайну, який відповідає GDPR, де прозорість повинна бути значущою.

Що насправді означає стек довіри?

Одна зі стратегій для організацій полягає у використанні шарового стеку довіри. Це означає, що кожен шар робить ясним питання про підзвітність між людьми та машинами.

• Чіткі шляхи розуміння: Агент повинен бути здатний пояснити, як і чому він отримав результат — не з глибокими технічними деталями, а у спосіб, який ви можете зрозуміти та перевірити. Це відповідає правилам прозорості GDPR та праву на пояснення автоматичних рішень згідно зі статтею 22.
• Чіткі обмеження влади: Повинні бути чіткі межі того, що агент дозволено робити, приймати рішення або рекомендувати. Немає тихого розширення його свободи з часом. Для цілей GDPR це означає, що люди все ще приймають рішення; агент — це інструмент, а не контролер.
• Відкриті цілі: Метою агента повинні бути відкрито заявлені. Люди повинні знати, чи агент оптимізує точність, безпеку, швидкість або комерційну вигоду — і ця мета повинна бути записана та зрозуміла.
• Легке питання та кнопка зупинки: Люди повинні бути здатні поставити під сумнів, виправити або вимкнути рішення агента без труднощів. Простий спосіб відмовитися є суттєвим для довіри — і згідно зі статтею 22, це також юридична вимога.
• Вбудоване управління: Журналювання, перевірки, контроль пам’яті та нагляд повинні бути вбудовані в систему з самого початку, а не додані пізніше. Конфіденційність за допомогою дизайну не є необов’язковою; це основна структура, яка робить все інше можливим.

Використання стеку довіри робить автономію безпечною для масштабування.

Коли управління зустрічається з реальним досвідом

Управління не тільки про правила та процеси. Це також про те, як системи відчуваються для людей, які їх використовують. Люди повинні відчувати, що вони все ще мають контроль. Вони повинні бачити, коли штучний інтелект діє, розуміти, чому він це робить, і знати, як втрутитися, коли це повинно зупинитися.

Системи, які позначають коробку відповідності, але відчуваються як чорна скринька, швидко втрачають довіру. Це вимагає дуже свідомих дизайнерських рішень: немає людських сигналів, які б свідчили про емпаті або моральну оцінку, якої система не має; чіткі сигнали, коли штучний інтелект невпевнений або обмежений; і немає налаштування досвіду для створення емоційної залежності.

Лідери повинні вийти за рамки питання: “Чи наш штучний інтелект відповідальний?” Кращим набором питань є: “Які поведінки ця система зробить нормальними? Що вона тихо відштовхне людей? Як вона вплине на судження з часом — і чи ми готові відповісти за це?”