Створення довірчих агентів ІІ за допомогою дизайну, а не випадковості

Агентські ІІ не приходить із фанфарами, а скоріше впроваджується в повсякденні операції. Системи, які раніше сиділи в бездіяльності, чекаючи на людські команди, тепер беруть ініціативу. Ця еволюція вже відбувається всередині організацій, але розмова про управління ІІ залишається в попередній епохі. Наші закони та організаційні структури ніколи не були створені з урахуванням автономних, нелюдських акторів. Для компаній, що підлягають GDPR, це не є теоретичною проблемою, а живою оперативною викликом – і він розвивається швидше, ніж більшість команд з дотримання вимог можуть комфортно впоратися.

Коли інструменти ІІ починають розмовляти

Коли ми обговорюємо управління, увага зазвичай зосереджується на дотриманні вимог, управлінні ризиками та запобіганні шкоди. Хоча ці питання дуже важливі, вони були створені для світу, де ІІ була в основному статичною: тренувалася, тестувалася, випускався та моніторилася на передбачуваних циклах.

З включенням агентів ІІ до процесів прийняття рішень, центральним викликом тепер стає поведінка та довіра. Виконавці повинні запитати себе: “Як ми можемо забезпечити, щоб системи, здатні діяти, також могли бути довірчими?” Довіра – це дизайнерський вибір, який повинен бути зроблений свідомо, а не інженерно через переконання. Організації, які дотримуються керівних принципів GDPR, розуміють, що дотримання вимог є критичним і має юридичні наслідки.

Три способи, як агентські ІІ порушують сучасні припущення GDPR

Коли GDPR була розроблена, вона не була написана для автономних агентів. Однак три основних принципів GDPR – обмеження мети, мінімалізація даних, прозорість та підзвітність – є критичними. Агентські ІІ впливають на кожен з них новими способами, і є три ключові області, які потрібно вирішити.

Перший ризик полягає в тому, як агент ІІ “думає” про завдання. Замість виконання одного фіксованого процесу, він розбиває роботу на багато малих кроків, часто викликаючи зовнішні інструменти, витягуючи дані з баз даних, роблячи припущення та обробляючи особисті дані на шляху. Багато з цього відбувається поза зором. Визначення того, які дані були використані, на якому етапі та з якої причини, є важким у практиці – проте це саме той вид прозорості та підзвітності, який очікує GDPR.

Другий ризик полягає в тому, як агенти використовують пам’ять. Вони можуть зберігати особисті дані в короткостроковій пам’яті під час виконання завдання та в довгостроковій пам’яті протягом багатьох сесій. Якщо пам’ять не розділяється належним чином, інформація з однієї взаємодії людини може просочитися в іншу. Якщо ви не встановите чіткі обмеження зберігання, особисті дані можуть залишатися після того, як вони мали бути видалені. Згідно з правом на стирання GDPR, це стає дуже важким для управління, коли дані похованих всередині пам’яті агента, а не сидять у базі даних, яку ваша команда з приватності може легко знайти та запитувати.

Третій ризик – ін’єкція підказки – по суті, обман агента. Коли агент читає документи, переглядає веб-сторінки або обробляє вхідні повідомлення, зловмисна інформація в цих джерелах може захопити його поведінку, змусити його витікати особисті дані або спонукати його до дій, які організація ніколи не схвалювала. Це відомий шаблон атаки, який є специфічним для агентських систем. Це означає, що ви можете зазнати порушення даних не через те, що ваші основні системи були взломані, а через те, що ваш агент ІІ зустрів ворожий вміст під час виконання своєї роботи – і згідно з GDPR, ви все одно несете відповідальність.

Створення справжньої довіри, а не просто дружньої інтерфейсу

Важливо зрозуміти, що існує різниця між інженерною довірою та заслуженою довірою. Інженерна довіра може допомогти переконати користувачів у певному пункті, зазвичай через емоційне дзеркало, антропоморфні сигнали або переконуючий дизайн.

Однак тривка довіра полягає в системах, які поводяться способами, які люди можуть зрозуміти, передбачити та оцінити. Розуміння агента, обмеження та наміри є легітимними. Це передумова для дизайну, що відповідає GDPR, де прозорість повинна бути значущою.

Що означає стек довіри?

Одна стратегія для організацій полягає в використанні шарового стеку довіри. Це означає, що кожен шар робить ясним щодо підзвітності між людьми та машинами.

• Чіткі шляхи розуміння: Агент повинен бути能够 пояснити, як і чому він отримав результат – не з глибокими технічними деталями, а таким чином, щоб ви могли слідкувати та перевіряти. Це відповідає правилам прозорості GDPR та праву на пояснення автоматизованих рішень згідно зі статтею 22.
• Чіткі обмеження влади: Повинні бути тверді межі навколо того, що агент дозволено робити, вирішувати або рекомендувати. Ні тихого розширення його свободи з часом. Для цілей GDPR це означає, що люди все ще приймають рішення; агент – це інструмент, а не контролер.
• Відкриті цілі: Мета агента повинна бути відкрито заявлена. Люди повинні знати, чи агент оптимізується для точності, безпеки, швидкості або комерційної вигоди – і ця мета повинна бути написана та зрозуміла.
• Легке виклик та кнопка зупинки: Люди повинні бути能够 поставити під сумнів, виправити або зупинити рішення агента без тертя. Простий спосіб відмовитися є важливим для довіри – і згідно зі статтею 22, це також юридичний вимір.
• Вбудоване управління: Журнали, перевірки, контролі пам’яті та нагляд повинні бути вбудовані в систему з самого початку, а не додані пізніше. Приватність за дизайном не є необов’язковою; це основна структура, яка робить все інше працездатним.

Використання стеку довіри робить автономію безпечною для масштабування.

Коли управління зустрічає реальний досвід

Управління не лише про правила та процеси. Це також про те, як системи відчуваються для людей, які їх використовують. Люди повинні відчувати, що вони все ще мають контроль. Вони повинні бачити, коли ІІ діє, розуміти, чому він робить щось, і знати, як втрутитися, коли йому слід зупинитися.

Системи, які позначають коробку з дотриманням вимог, але відчуваються як чорна скринька, втрачають довіру швидко. Це вимагає дуже свідомих дизайнерських виборів: жодних людських сигналів, які свідчать про емпатію чи моральну оцінку, якої система не має; чіткі сигнали, коли ІІ невпевнений чи обмежений; і жодного налаштування досвіду для створення емоційної залежності.

Лідери повинні рухатися далі, ніж запитувати: “Чи наш ІІ відповідальний?” Кращим набором питань є: “Які поведінки ця система зробить нормальними? Що вона тихо відштовхне людей? Як вона вплине на судження з часом – і чи готові ми відповісти на це?”