Новые уязвимости безопасности быстрого внедрения генеративного ИИ, которые организации должны устранить

Генеративный ИИ (GenAI) за короткое время превратился из любопытства в центральную силу в технологиях предприятий. Его способность генерировать текст, код, изображения и идеи по требованию сделала его незаменимым для сотрудников, стремящихся сократить сложность и ускорить производительность. Но вместе с этой инновацией и эффективностью приходит огромная уязвимость к риску.

В разговорах с руководителями и лидерами управления ИИ из различных отраслей одна тема возникает снова и снова: безопасность данных перешла от ключевой проблемы к центральной точке их стратегии и теперь является определяющей проблемой внедрения ИИ. В отличие от традиционного программного обеспечения или даже предыдущих волн машинного обучения, GenAI фундаментально меняет процесс обеспечения безопасности данных внутри организации.

Недавнее исследование MIT показало, что 95% пилотных проектов GenAI в предприятиях терпят неудачу. Это не потому, что технология слаба; это потому, что предприятия не имеют необходимых рамок управления и безопасности для надлежащего и ответственного внедрения GenAI. В другом исследовании MIT лидеры предприятий назвали безопасность данных главным бизнес- и безопасным риском, препятствующим более быстрому внедрению ИИ. Кроме того, “теневой ИИ”, который представляет собой неавторизованное использование сотрудниками публичных инструментов, широко признан фактором, способствующим росту рисков для данных за пределами контроля корпорации.

Модель наименьших привилегий – это модель безопасности, в которой любая сущность, будь то пользователь, программа или процесс, получает только минимальный уровень доступа и разрешений, необходимых для выполнения ее законных функций. GenAI, однако, переворачивает всю парадигму: сама модель наименьших привилегий становится ограничением, которое конфликтует с тем, как эти системы предназначены для работы. Это связано с тем, что инструменты GenAI для предприятий обеспечивают более высокие производственные выгоды, когда они имеют доступ к большему количеству бизнес-данных и контекста.

По мере того, как внедрение GenAI ускоряется, пользователи продолжают открывать новые применения GenAI, большинство из которых возникают из органических экспериментов и любопытства, а не из планов, разработанных сверху. Если сущность не может определить задачи, для которых будет использоваться GenAI, или типы данных, к которым она должна иметь доступ, становится невозможным настроить разрешения наименьших привилегий. Кроме того, пользователь может иметь надлежащий доступ к набору данных и законно предоставить его в качестве входных данных для инструмента GenAI, но как только эти данные будут приняты, они больше не связаны с исходными разрешениями пользователя. Вместо этого они могут быть поглощены моделью, отображены в будущих выходных данных или стать доступными для других, использующих тот же инструмент. Поскольку GenAI не обязательно наследует механизмы контроля доступа к данным, он фактически делает невозможным соблюдение модели наименьших привилегий.

Уязвимости GenAI, которые следует учитывать

GenAI создает огромную и постоянно расширяющуюся поверхность данных, что усложняет управление данными и безопасность предприятий несколькими взаимосвязанными способами. К ним относятся:

Утечка входных данных – GenAI может принимать данные в их сыром виде, включая текст, изображения, аудио, видео и структурированные данные. Конечные пользователи теперь могут направлять инструменты GenAI на новые наборы данных с минимальными усилиями или опытом. Вместо того, чтобы быть ограниченными тщательно отобранными, структурированными таблицами с определенной схемой и отношениями, эти наборы данных могут включать записи звонков, заметки электронной почты CRM, транскрипты обслуживания клиентов и многое другое. На практике сотрудники вводят подсказки, содержащие высоко конфиденциальную бизнес-информацию, включая персональные данные клиентов, интеллектуальную собственность, финансовые прогнозы и даже исходный код.

Уязвимость выходных данных – генеративные модели не только потребляют, но и синтезируют данные. Подсказка может непреднамеренно извлечь идеи из различных наборов данных и раскрыть их пользователям без надлежащего разрешения. В некоторых случаях выходные данные даже могут “галлюцинировать” данные, которые кажутся законными, но содержат фрагменты реальных, высоко конфиденциальных обучающих материалов.

Инструменты GenAI работают лучше, когда они имеют контекст для выполнения задачи. В результате не только GenAI принимает существующую информацию, но и пользователи создают новые данные для руководства им в виде обширных, подробных подсказок, которые документируют бизнес-контекст, внутренние процессы и другую потенциально конфиденциальную или бизнес-критическую информацию.

Доступность без надзора – традиционные системы предприятий требовали настройки поставщика и ИТ-обеспечения. Сегодня GenAI встроен повсюду – в пакеты Microsoft Office, браузеры, инструменты чата и платформы SaaS. Сотрудники могут принять его瞬aneously, обойдя управление entirely. Этот безшовный доступ стимулирует “теневой ИИ”, и каждое неавторизованное использование GenAI является потенциальным событием эксфильтрации данных, происходящим незаметно, в масштабе и за пределами периметра управления предприятия.

Риски второго уровня цепочки поставок – поставщик может казаться безопасным, но он часто полагается на субподрядчиков, таких как хосты облака, услуги аннотации или третьи сторонние лаборатории ИИ. Каждый из них вводит свои собственные лицензионные соглашения и политики. Конфиденциальные данные предприятия могут распространяться через несколько невидимых рук, но ответственность остается исключительно с предприятием. Например, предприятие может иметь поставщика, который ранее завершил процесс настройки, но этот поставщик теперь использует инструмент GenAI, который может позволить данным предприятия быть использованными в качестве обучающих данных, с существенными последствиями.

Провалы в управлении обучающими данными – как только данные попадают в модель ИИ, контроль фактически заканчивается. Предприятия не могут легко отозвать или управлять тем, как их информация используется. Собственнические знания могут сохраняться и затем появляться в выходных данных долго после того, как их источник был забыт. Мы еще не встретили ни одного инструмента GenAI, который бы позволял запросить удаление информации, которую он принял, подобно тому, что предусмотрено в правилах, таких как Общий регламент по защите данных (GDPR) или Закон Калифорнии о конфиденциальности потребителей (CCPA). Реализация таких процессов вряд ли произойдет до тех пор, пока регулирование не будет стимулировать изменения.

Риски приложений – ИИ все чаще пишет код, который лежит в основе бизнес-систем. Разработчики, которые используют инструменты GenAI, такие как Microsoft Copilot, для генерации кода, могут непреднамеренно ввести незащищенные зависимости, распространить уязвимости или встроить код под конфликтующими открытыми лицензиями. Как только эти уязвимости будут развернуты, они становятся частью цепочки поставок программного обеспечения.

Устранение рисков GenAI

GenAI уже встроен в рабочие процессы предприятий, поэтому вопрос для предприятий не в том, чтобы принять его, а в том, как это сделать ответственно. Принятие GenAI без управления рисками грозит дорогостоящими нарушениями, штрафами за нарушение правил и ущербом репутации. Но блокирование его только стимулирует сотрудников использовать неавторизованные решения. Единственный способ вперед – это обеспечение, сочетающееся с видимостью и контролем.

Управление GenAI требует контекстно-ориентированной видимости не только в отношении того, какие данные есть у предприятия, где они находятся и кто имеет к ним доступ, но и того, как GenAI используется. Предприятия должны видеть, какие инструменты используются, какие подсказки вводятся и не покидают ли конфиденциальные данные их среды. Оттуда они могут применить соответствующие контроли для мониторинга подсказок и выходных данных в режиме реального времени, отметить рискованные сеансы или аномальные потоки данных, заблокировать неавторизованные инструменты, отфильтровать конфиденциальные подсказки, прежде чем они покинут их, обезличить конфиденциальные данные при вводе их в подсказки и обеспечить рольные ограничения на выводы, основанные на ИИ.

GenAI – это совершенно новый слой рисков и возможностей для предприятий. Управление им требует мышления, которое рассматривает безопасность не как тормоз на инновации, а как основу, которая делает ее безопасной.