Штучний інтелект, який пам’ятає без надмірного обміну: архітектура конфіденційності для наступного покоління особистих сервісів

Більшість бізнесів ще не усвідомили, що особисті помічники штучного інтелекту досягли цілком нового рівня. Тепер вони не тільки відповідають на запитання, але й виконують дії від імені реальних працівників: вони роблять і контролюють бронювання, ведуть переписку, приймають рішення щодо фінансів, графіків, поїздок і зустрічей.

Дані, на яких працює штучний інтелект, також змінилися: з “який музику тобі подобається” до “де ти знаходишся, з ким ти, про що ти домовився, і скільки тобі платять за це”. Це якісно інший рівень уразливості, і нам абсолютно потрібна нова архітектура. Я називаю її “квитки конфіденційності” – цифрові квитки, які дозволяють користувачам бачити в будь-який момент, що саме помічник знає про них, звідки це прийшло, і чому це використовується. Це те саме очікування, яке ми маємо сьогодні щодо банківських витягів: прозорі, верифіковані, доступні на запит.

Чому безпечний штучний інтелект став критично важливим прямо зараз

До недавнього часу помічники штучного інтелекту були в основному інформаційними: пошук, резюме документів, підказки коду. Вони рідко могли діяти без участі людини, яка контролювала процес.

Сьогодні ми бачимо іншу картину. Помічники інтегровані в електронну пошту, календарі, повідомлення, банківські та подорожні послуги; вони можуть незалежно надіслати лист партнеру, оплатити бронювання або змінити рейс, спираючись на контекст, про який людина, яка керує процесом, може не знати.

Водночас найбільш активними користувачами таких помічників є люди, для яких вартість помилок надзвичайно висока: топ-менеджери та генеральні директори, клієнти з високим рівнем доходу, фінансові професіонали та фахівці з управління капіталом. Для них втрати конфіденційності є серйозним репутаційним, юридичним і прямим фінансовим ризиком.

Коли мова йде про штучний інтелект, питання конфіденційності вже не можуть розглядатися як проста формальність.

Мінімум даних, більше цінності

Більшість продуктів штучного інтелекту збирають значно більше даних, ніж їм потрібно для того, щоб бути справді корисними. У нашій практиці ми знаходимо, що більша частина даних, зібраних типовими помічниками штучного інтелекту, насправді ніколи не використовується для надання послуг. Якщо ми беремо консьєрж бізнес, три речі достатньо для того, щоб помічник міг надати високоякісну персоналізовану службу. По-перше, завдання-релевантні переваги: як ти подорожуєш, як ти віддаєш перевагу спілкуватися, які обмеження ти маєш щодо віз, бюджету та сімейних зобов’язань.

По-друге, контекст поточного запиту: де, коли, з ким, для яких цілей, терміни та ризики.

По-третє, він пам’ятає минулі взаємодії в рамках завдань: так він не питає одних і тих же питань, пам’ятає вибрані рішення та не повторює помилок.

Це достатньо для того, щоб продукт працював на рівні хорошого особистого помічника. Йому не потрібно повний архів переписки, постійне відстеження розташування чи фінансових транзакцій.

Помічники штучного інтелекту та прийнятні межі

Є типи даних, які просто не мають місця в особистому помічнику. Наприклад, пасивні поведінкові дані: постійне прослуховування, безперервне геолокаційне відстеження без запиту, моніторинг екрана чи вводу. Якщо система збирає інформацію не про те, про що ти запитав, а про те, що ти робиш загалом, вона перестає бути помічником і стає спостереженням.

Також дані про третіх осіб, які ніколи не взаємодіяли з системою, не потрібні. Наприклад, запит “допоможи організувати зустріч” не повинен перетворитися на право створювати профіль гостей, їх маршрутів та звичок.

По-третє, повний вміст твоєї переписки не повинен зберігатися в довгостроковій пам’яті за замовчуванням. Помічник може обробити конкретний електронний лист, якщо ти явно попросиш його про це, але це не означає, що він тепер має право читати твій електронний лист.

Корисність означає вторгнення: пастка продуктів штучного інтелекту

Додатковий контекст дійсно робить продукт більш зручним, оскільки чим більше система знає, тим точніші рекомендації, тим швидші відповіді та тим більший ефект враження від використання його.

Це спричиняє природну потребу підключити календарі, електронну пошту, чати, CRM та геодані, щоб служба могла передбачати потреби користувача. Кожне підключення користувача здається розумним і виправданим.

У сфері консьєржу підключення календаря клієнта та історії подорожей значно покращує рекомендації – система може передбачати потреби навіть до того, як клієнт їх артикулює. Водночас деякі служби свідомо не зберігають вміст переписки поза активними завданнями та не створюють поведінкові профіль на основі пасивних даних.

Проблема полягає в тому, що логіка оптимізації UX поступово зсуває архітектуру в бік більшої збору даних, тривалого зберігання та ширшого доступу до них. І в якийсь момент лінія просто зникає.

Друга проблема стосується доступу для служби підтримки клієнтів. Ви можете створити сильну криптографію, а потім надати оператору служби підтримки клієнтів повний доступ до історії клієнта заради, наприклад, покупки одного квитка. На практиці інциденти часто трапляються через неконтрольований внутрішній доступ і людську помилку, а не зовнішні атаки.

Третій ризик пов’язаний з багатокомпонентними архітектурами. Коли агенти передають контекст один одному, дані починають рухатися між компонентами способами, які не були явно розроблені. Якщо один агент має надто широкі дозволи, цей контекст підхоплюється ланцюгом далі.

Квитки конфіденційності: наступний стандарт для штучного інтелекту

Це помилка розглядати конфіденційність як функцію відповідності. Реальна конфіденційність залежить від того, що ми зберігаємо та як ми ділимося цим для його призначеної мети, як довго і під яких умов ми розширюємо це, хто отримує доступ і під яких обставин, включаючи людей і агентів штучного інтелекту, і як користувачі контролюють це.

На жаль, більшість сервісів не мають простої відповіді на запитання користувачів: що саме система знає про них, можна це виправити або видалити зовсім, можна заборонити використання конкретної частини даних?

Отже, важливо вводити квитки конфіденційності, коли користувач може запитати свого помічника штучного інтелекту, що саме він знає про нього, чому це знає, і звідки це прийшло, і миттєво отримати чітку, верифіковану відповідь. Як ми очікуємо банківських витягів, ми скоро очікуватимемо прозорості від систем, які керують нашим часом, зв’язками та капіталом.

Технічна основа безпечної пам’яті

Квитки конфіденційності неможливі без солідної інженерної основи. Як мінімум три шари є критичними: по-перше, захист даних на рівні інфраструктури. Шифрування повинно бути основним принципом, а не формальністю. Дані повинні зберігатися з клієнтськими ключами, а не з одним майстер-ключем для всіх, передача повинна здійснюватися через сучасні протоколи, а чутливі атрибути повинні логічно відокремлюватися від метаданих служби.

Крім того, кожна служба, агент і оператор повинні мати доступ тільки до тих даних, які необхідні для виконання конкретного завдання.

Нарешті, важливі незмінні журнали доступу, аудит кожного доступу та технічний контроль географії зберігання та обробки. Регулярне тестування багатокомпонентних сценаріїв повинно розглядатися як окремий клас ризику.

Тільки з цією архітектурою квитки конфіденційності стають можливими: цим шляхом система дійсно знає, що вона знає, і може довести це.

Хто програє, а хто стане стандартом?

Послуги та продукти, які сприймають пам’ять як одностороннє накопичення, програють: менше прозорості для користувача, але більше джерел, більше контексту та триваліше зберігання.

Ця модель здається вигідною в короткій перспективі, але без обмежень і чітких правил ця логіка перетворюється на неконтрольоване розширення, оскільки дані підключаються швидше, ніж механізми для пояснення та контролю можуть бути встановлені.

Скандали, пов’язані з витоком даних, неправильним використанням помічників штучного інтелекту або неправильним розкриттям конфіденційної інформації, вплинуть на всі продукти цієї категорії. Користувачі вимагатимуть більше інформації про прозорість, і тільки компанії, які збудували пояснюваність, відстежуваність та контроль користувача в свою архітектуру заздалегідь, зможуть зберегти довіру.

Продукти, які проектують систему навколо миттєвого та верифікованого зображення того, що штучний інтелект знає і чому, стануть стандартом. Конфіденційність повинна бути частиною системи з самого початку – особливо коли це впливає на життя людей.