Раскрытие скрытых рисков Shadow AI

Не прошло много времени, как предприятия столкнулись с широким использованием Генеративного ИИ (GenAI) среди своих сотрудников. Однако, когда речь идет о рисках GenAI, инструменты, известные внутри вашей организации, не являются теми, о которых вам следует беспокоиться больше всего. Это те, о которых вы не знаете, которые должны держать вас в напряжении.

Благодаря быстрому расширению инструментов GenAI, таких как ChatGPT, Copilot, Gemini и Perplexity, а также многих специализированных SaaS-ассистентов, сотрудники принимают их быстрее, чем могут справиться с этим команды безопасности. И это использование создает быстро растущую слепую зону, известную как тень AI.

Если тень AI звучит знакомо, это потому, что она заимствует из термина тень IT, используемого для описания использования неутвержденных инструментов и услуг на рабочем месте. Но с тенью AI ставки могут быть даже выше. Вместо злонамеренного приложения для обмена файлами тень AI может привести к тому, что конфиденциальные данные будут вставлены в запрос чат-бота, проглочены внешними моделями и незаметно раскрыты третьим сторонам.

Тень AI представляет одну из наименее заметных, но наиболее срочных угроз в области безопасности данных предприятий сегодня.

Что такое тень AI?

Тень AI относится к неутвержденному использованию инструментов ИИ, особенно GenAI, сотрудниками без знания или одобрения команд ИТ или безопасности компании. Внутри организации пользователи могут быть маркетинговой командой, создающей блог-посты с помощью крупномасштабных языковых моделей (LLM), юридической командой, исследующей язык контракта в инструментах ИИ, или инженерами, отлаживающими код с помощью бесплатных оберток GPT.

И хотя такое экспериментирование может показаться безобидным, то, что делится с этими инструментами, может не быть. Это могут быть конфиденциальные стратегические слайды или информация о клиентах. Эти данные в конечном итоге попадают в нешифрованные запросы, без управления и без возможности отслеживать, что происходит дальше.

Почему тень AI является проблемой?

Проблема тени AI заключается в том, что для создания риска безопасности данных достаточно одного сотрудника с хорошими намерениями и доступом к ChatGPT. В отличие от хакера, тень AI не является злонамеренной, но это не делает ее менее опасной. Каждый раз, когда конфиденциальные данные добавляются в запрос, они потенциально подвергаются воздействию модели, поставщика и любого, кто имеет доступ к журналам. Они могут даже появиться в ответе на запрос другого пользователя. И худшее то, что вы, скорее всего, никогда не узнаете об этом.

Вот пять ключевых рисков тени AI, о которых следует знать.

1. Утечка данных через входные запросы – Поля запросов являются черной дырой безопасности данных. Как только конфиденциальная информация, такая как исходный код, документы слияния и поглощения и данные о зарплате, передается в инструмент GenAI, она выходит из-под вашего контроля. Даже если поставщик ИИ обещает, что данные не сохраняются, обеспечение этого неясно, и нет никаких гарантий относительно обучения или телеметрии.

2. Отсутствие контроля доступа или журналов аудита – В отличие от санкционированных корпоративных приложений, большинство инструментов GenAI не предлагают контроль доступа на основе ролей, детальные разрешения или журналы активности, что означает, что команды безопасности не имеют видимости того, кто получил доступ к каким данным или когда. Если происходит инцидент, нет ничего, что можно было бы расследовать.

3. Нарушения правил соблюдения – Многие из бесчисленных правил соблюдения, которые организации должны соблюдать, требуют, чтобы регулируемые данные хранились, обрабатывались и получались очень конкретными способами. Подача этих данных в внешнюю модель ИИ может нарушить эти правила, подвергая вашу организацию юридическому риску, штрафам и обязательным уведомлениям о нарушении.

4. Распространение устаревшей или предвзятой информации – Инструменты GenAI часто предоставляют ответы уверенно и позиционируют их как факты, даже когда они очень неверны. Полагаться на эти выходные данные для сообщений клиентам, сводок соблюдения или финансовых отчетов без проверки может привести к бизнес-решениям на основе неточной информации. Заллюцинации происходят регулярно и не кажутся исчезающими, даже когда эти LLM становятся умнее.

5. Тень AI, которая становится тенью данных – Выходные данные инструментов GenAI, включая сводки и фрагменты кода, часто сохраняются, делятся и перерабатываются. Поскольку они были созданы вне формальных рабочих процессов, эти файлы становятся неотслеженными, неклассифицированными и незащищенными тенью данных.

В большинстве случаев с тенью AI никто в безопасности не имеет представления о том, когда происходит нарушение. Эти реальные примеры могут происходить в вашей организации:

• Младший инженер-программист вставляет проприетарный код в бесплатный отладчик GPT.
• Представитель по продажам подает список клиентов за последний квартал в инструмент ИИ для написания электронных писем, чтобы сгенерировать предложения по продажам.
• Менеджер по персоналу использует внешний инструмент ИИ для анализа ответов на опросы удовлетворенности сотрудников.
• Финансовый аналитик просит ChatGPT упростить язык конфиденциальных прогнозов доходов для руководителей.
• Юрист просит GenAI переписать контракт, используя конфиденциальную клаузулу из соглашения клиента.

Почему традиционные инструменты безопасности не обнаруживают тень AI

Устаревшие стеки безопасности не предназначены для угроз, основанных на запросах GenAI. Например, брандмауэр не может заблокировать инструменты ИИ, основанные на браузере. CASB не увидит, что вводится в окна чата. И SIEM не предупредит о том, кто только что попросил LLM суммировать конфиденциальную интеллектуальную собственность.

Тень AI работает на уровне приложения и существует в браузере, где видимость слабее. Сотрудники также используют свои личные устройства. Нет плагина, чтобы остановить их, нет водяного знака, чтобы отслеживать, какие данные были раскрыты, и нет оповещения, когда данные пересекают границу. И к тому времени, когда это появляется в оповещении DLP, если оно вообще появляется, данные уже раскрыты.

Как выявить и смягчить риски тени AI

Вы не можете контролировать то, чего не видите, и с GenAI большинство организаций летят вслепую. Традиционные инструменты не были разработаны для понимания взаимодействий на основе запросов или отслеживания того, что происходит после того, как пользователь нажимает «Enter».

Однако новые подходы к безопасности, основанные на ИИ, способны помочь организациям вывести тень GenAI из тени. Вот несколько из мер безопасности, которые предлагают продвинутые решения:

Обнаружение тени AI – Эти инструменты выявляют, какие приложения GenAI используют ваши пользователи, даже те, которые основаны на браузере и обходят традиционные контроли. Они анализируют движение данных, закономерности доступа и контекст, чтобы обнаружить нарушения без необходимости агентов на стороне конечного пользователя или инвазивного мониторинга.

Классификация того, что является чувствительным – Современные решения используют контекстно-зависимый ИИ, чтобы понять как содержание, так и контекст за данными. Это означает, что они могут пометить риски, такие как прогноз доходов, встроенный в слайд PowerPoint, или данные клиентов, вставленные в черновик электронного письма. Это тот вид контента, который сотрудники могут подать в GenAI без второго размышления.

Предотвращение рискованного поведения запроса – Как только обнаружены чувствительные данные и определено их местоположение, безопасность данных ИИ помогает предотвратить их раскрытие. Эти инструменты помечают, редактируют или блокируют рискованные входные запросы, прежде чем они покинут организацию.

Очистка тени данных – Запросы GenAI часто генерируют волну новых файлов, таких как сводки, черновики и ответы, которые сохраняются, делятся и забываются. Продвинутые платформы безопасности данных выявляют эти артефакты, обнаруживают риски раскрытия (такие как чрезмерные разрешения или неуместное хранение) и смягчают их, прежде чем потеря данных станет заголовком.

Тень AI не является теоретическим риском. Это реально, оно растет, и это происходит в вашей среде прямо сейчас, независимо от того, видели ли вы это или нет. Запрет инструментов GenAI не является реалистичным, но закрыв глаза на это крайне рискованно. Организациям нужна видимость, контроль и интеллект вокруг использования GenAI — не только для того, что выходит, но и для того, что входит.

Новые подходы доступны, которые раскрывают рискованное поведение, предотвращают случайное раскрытие и очищают беспорядок с данными, который оставляют после себя ИИ и тень AI.

Тень AI не является чем-то, что можно игнорировать, но, повернувшись к ней, можно минимизировать риски и обеспечить безопасность данных.