Искусственный интеллект, который помнит без чрезмерного обмена информацией: архитектура конфиденциальности для следующего поколения персональных сервисов

Большинство бизнесов еще не осознали, что персональные помощники ИИ достигли совершенно нового уровня. Теперь они не только отвечают на вопросы, но и выполняют действия от имени реальных сотрудников: они делают и отслеживают бронирования, ведут переписку и принимают решения, связанные с финансами, графиками, поездками и встречами.

Данные, на которых работает ИИ, также изменились: от “какой музыки вы любите” до “где вы находитесь, с кем вы, что вы согласились, и сколько вы платите за это”. Это качественно новый уровень уязвимости, и нам абсолютно нужна новая архитектура. Я называю ее “квитанции конфиденциальности” – цифровые квитанции, которые позволяют пользователям видеть в любой момент, что именно помощник знает о них, откуда это пришло и почему это используется. Это то же самое, чего мы ожидаем сегодня от банковских выписок: прозрачность, проверяемость, доступность по запросу.

Почему безопасный ИИ стал критически важным прямо сейчас

До недавнего времени помощники ИИ были в основном информационными: поиск, резюме документов, подсказки кода. Они редко могли действовать без участия человека, контролирующего процесс.

Сегодня мы видим другую картину. Помощники интегрированы в электронную почту, календари, сообщения, банковские и путешественные услуги; они могут независимо отправить письмо партнеру, оплатить бронирование или изменить рейс, полагаясь на контекст, о котором человек, ответственный за процесс, может не знать.

В то же время самыми ранними и активными пользователями таких помощников являются люди, для которых стоимость ошибок чрезвычайно высока: топ-менеджеры и генеральные директора, клиенты с высоким чистым доходом, финансовые и профессионалы в области управления капиталом. Для них потеря конфиденциальности является серьезным репутационным, юридическим и прямым финансовым риском.

Когда речь идет об ИИ, проблемы конфиденциальности больше не могут рассматриваться как простая формальность.

Минимальные данные, больше ценности

Большинство продуктов ИИ собирают намного больше данных, чем им нужно для того, чтобы быть действительно полезными. В нашей практике мы обнаруживаем, что подавляющее большинство данных, собранных типичными помощниками ИИ, никогда не используется для предоставления услуг. Если мы возьмем деловое обслуживание, то для того, чтобы помощник предоставил высококачественную персонализированную услугу, достаточно трех вещей. Первое – предпочтения, связанные с задачей: как вы путешествуете, как вы предпочитаете общаться, какие у вас есть ограничения в плане виз, бюджета и семейных обязательств.

Второе – контекст текущего запроса: где, когда, с кем, для каких целей, сроки и риски.

Наконец, он помнит прошлые взаимодействия в рамках задач: так он не задает один и тот же вопрос, помнит выбранные решения и не повторяет ошибки.

Это достаточно для того, чтобы продукт работал на уровне хорошего персонального помощника. Ему не нужно полный архив переписки, постоянная слежка за местоположением или финансовые транзакции.

Помощники ИИ и допустимые пределы

Существуют типы данных, которые просто не имеют места в персональном помощнике. Например, пассивные поведенческие данные: постоянное прослушивание, постоянная геолокация без запроса, мониторинг экрана или ввода. Если система собирает информацию не о том, о чем вы спросили, а о том, что вы делаете в целом, она перестает быть помощником и становится слежкой.

Кроме того, данные о третьих лицах, которые никогда не взаимодействовали с системой, не нужны. Например, запрос “помогите организовать встречу” не должен превратиться в право на создание профилей гостей, их маршрутов и привычек.

Третье, полный контент ваших сообщений не должен храниться в долгосрочной памяти по умолчанию. Помощник может обработать конкретное письмо, если вы явно попросите его об этом, но это не значит, что он теперь имеет право читать вашу почту.

Полезность означает вторжение: ловушка продуктов ИИ

Дополнительный контекст действительно делает продукт более удобным, потому что чем больше система знает, тем более точные рекомендации, тем быстрее ответы и тем больше впечатление от использования.

Вот где возникает естественная необходимость подключить календари, электронную почту, чаты, CRM и геоданные, чтобы служба могла предвидеть потребности пользователя. Каждое подключение пользователя кажется разумным и оправданным.

В индустрии делового обслуживания подключение календаря и истории путешествий клиента значительно улучшает рекомендации – система может предвидеть потребности даже до того, как клиент их артикулирует. В то же время некоторые сервисы намеренно не хранят контент сообщений вне активных задач и не строят поведенческие профили на основе пассивных данных.

Проблема заключается в том, что логика оптимизации UX постепенно смещает архитектуру в сторону большего сбора данных, более длительного хранения и более широкого доступа к ним. И в какой-то момент граница просто исчезает.

Вторая проблема касается доступа для поддержки клиентов. Вы можете построить сильную криптографию, а затем предоставить оператору поддержки клиентов полный доступ к истории клиента ради, например, покупки одного билета. На самом деле, инциденты часто происходят из-за неуправляемого внутреннего доступа и человеческой ошибки, а не из-за внешних атак.

Третий риск связан с многоагентными архитектурами. Когда агенты передают контекст друг другу, данные начинают течь между компонентами способами, которые не были явно разработаны. Если один агент имеет слишком широкие разрешения, этот контекст подхватывается цепочкой дальше.

Квитанции конфиденциальности: новый стандарт для ИИ

Это ошибка рассматривать конфиденциальность как функцию соблюдения. Реальная конфиденциальность зависит от того, что мы храним и как мы делаем это для своей цели, как долго и при каких условиях мы продлеваем это, кто получает доступ и при каких обстоятельствах, включая людей и агентов ИИ, и как пользователи контролируют это.

К сожалению, большинство сервисов не имеют простого ответа на вопросы пользователей: что именно система знает о них, можно ли это исправить или удалить совсем, можно ли запретить использование конкретного куска данных?

Следовательно, важно ввести квитанции конфиденциальности, когда пользователь может спросить своего помощника ИИ, что именно он знает о них, почему он знает это и откуда эта информация пришла, и мгновенно получить ясный, проверяемый ответ. Как мы ожидаем от банковских выписок, мы скоро ожидаем прозрачности от систем, которые управляют нашим временем, связями и капиталом.

Техническая основа защищенной памяти

Квитанции конфиденциальности невозможны без прочной инженерной основы. Не менее трех слоев являются критическими: первое – защита данных на уровне инфраструктуры. Шифрование должно быть основным принципом, а не формальностью. Данные должны храниться с ключами, специфичными для клиента, а не с одним мастер-ключом для всех, передача должна осуществляться через современные протоколы, и чувствительные атрибуты должны быть логически разделены от метаданных сервиса.

Кроме того, каждая служба, агент и оператор должны иметь доступ только к тем данным, которые необходимы для выполнения конкретной задачи.

Наконец, защищенные от篡改 журналы доступа, аудит каждого доступа и технический контроль хранения и географии обработки являются важными. Регулярное тестирование многоагентных сценариев должно рассматриваться как отдельный класс риска.

Только с этой архитектурой квитанции конфиденциальности становятся возможными: таким образом, система действительно знает, что она знает, и может доказать это.

Кто проиграет, и кто станет стандартом?

Сервисы и продукты, которые воспринимают память как одностороннее накопление, проиграют: меньше прозрачности для пользователя, но больше источников, больше контекста и более длительное хранение.

Эта модель кажется выгодной в краткосрочной перспективе, но без ограничений и ясных правил эта логика превращается в неконтролируемое расширение, поскольку данные подключаются быстрее, чем механизмы объяснения и контроля могут быть установлены.

Скандалы, связанные с утечкой данных, неправильным использованием помощников ИИ или неправильным раскрытием конфиденциальной информации, повлияют на все продукты в этой категории. Пользователи будут требовать больше информации о прозрачности, и только компании, которые построили объяснимость, отслеживаемость и контроль пользователя в свою архитектуру заранее, смогут сохранить доверие.

Продукты, которые проектируют систему вокруг мгновенного и проверяемого изображения того, что ИИ знает и почему, станут стандартом. Конфиденциальность должна быть частью системы с самого начала – особенно когда это влияет на жизнь людей.