Риск ИИ, которого никто не наблюдает: раскрытие секретов в корпоративных рабочих процессах

Большинство дискуссий о рисках корпоративного ИИ начинаются с знакомой проблемы: сотрудники вставляют данные клиентов в чат-боты. Проблемы конфиденциальности и регулирования доминируют в заголовках и брифингах совета директоров, и исследование Deloitte показывает, что конфиденциальность данных и безопасность занимают первые места среди рисков ИИ, которые беспокоят организации.

Однако данные, поступающие из реального корпоративного использования, рассказывают другую историю. Наиболее распространенная конфиденциальная информация, поступающая в инструменты ИИ, не является личными данными. Это секреты и учетные данные.

Ключи API, токены доступа, веб-хуки и артефакты аутентификации теперь составляют самую большую долю раскрытий конфиденциальных данных, наблюдаемых в запросах ИИ. Эти раскрытия редко являются результатом небрежности или злого умысла и возникают из рутинной работы, такой как отладка неудачной интеграции, устранение неполадок автоматизации, тестирование кода или решение проблемы клиента. Поскольку ИИ становится неотъемлемой частью ежедневных рабочих процессов, эти моменты возникают постоянно и часто находятся вне видимости традиционных средств безопасности.

Последствия ясны. По мере расширения внедрения ИИ организации получают более точное представление о том, где возникают реальные риски, и управление должно эволюционировать, чтобы решить их.

Пересмотренный риск раскрытия данных ИИ скрывается на виду

Недавний анализ использования ИИ, проведенный компанией Nudge Security, изучил анонимную телеметрию в корпоративных средах, чтобы понять, как инструменты ИИ фактически используются на рабочем месте. Вместо того, чтобы полагаться на опросы или самоотчеты, исследование проанализировало наблюдаемую активность ИИ, интеграции и поведение запросов в корпоративных экосистемах SaaS.

Результаты предоставляют новые сведения о том, где фактически возникает риск ИИ в корпоративном использовании. Раскрытия конфиденциальных данных в запросах ИИ доминируются операционными учетными данными. Секреты и учетные данные составляют примерно 48 процентов обнаруженных событий конфиденциальных данных, по сравнению с 36 процентами для финансовых данных и 16 процентами для информации, связанной со здоровьем. Эти закономерности свидетельствуют о том, что наиболее значительной проблемой раскрытия данных ИИ не является утечка конфиденциальности, а распыл секретов.

То же исследование показывает, что внедрение ИИ перешло за пределы экспериментов. Инструменты ИИ интегрированы в рабочие процессы, интегрированы с основными бизнес-платформами и все чаще способны выполнять автономные действия. Основные поставщики крупномасштабных языковых моделей теперь практически повсеместны, с OpenAI, присутствующей в 96 процентах организаций, и Anthropic – в 78 процентах.

Исследование McKinsey показывает, что 88 процентов организаций сообщают о регулярном использовании ИИ в至少 одной бизнес-функции, по сравнению с 78 процентами год назад. Инструменты интеллекта совещаний, платформы кодирования с помощью ИИ, генераторы презентаций и голосовые технологии широко развернуты, отражая, как ИИ расширился из интерфейсов чата в повседневные рабочие процессы. Это расширение имеет значение, поскольку риск следует за использованием. По мере того, как ИИ становится неотъемлемой частью сред разработки, платформ сотрудничества и рабочих процессов поддержки клиентов, он приближается к конфиденциальным системам и операционным данным.

Внедрение также стимулировалось снизу. Недавнее исследование KPMG показало, что 44 процента сотрудников используют инструменты ИИ способами, которые не были авторизованы их работодателями, отражая, как быстро эти инструменты входят в повседневные рабочие процессы. Сотрудники устанавливают расширения браузера, подключают помощников и экспериментируют с интеграциями, чтобы ускорить повседневные задачи, часто вне централизованных процессов закупок. Аналитики безопасности описывают эту модель как тень ИИ, в которой инструменты работают внутри браузеров и рабочих процессов SaaS за пределами традиционной видимости ИТ. Поскольку эти инструменты могут быть развернуты мгновенно и требуют минимальной технической настройки, программы управления, построенные вокруг процессов утверждения поставщиков и политики допустимого использования, с трудом справляются с тем, как ИИ фактически вводится и используется в организации.

Почему утечка секретов может создать немедленный операционный риск

Личные данные остаются конфиденциальными и регулируемыми, но секреты несут немедленный операционный удар. Утечка ключа API может предоставить доступ к производственным системам. скомпрометированный токен может раскрыть репозитории. URL веб-хука может включить неавторизованную автоматизацию. Учетные данные часто появляются в запросах ИИ во время рутинных рабочих процессов. Разработчики вставляют токены в интерфейсы чата при устранении неполадок аутентификации, инженеры могут делиться фрагментами конфигурации для диагностики проблем интеграции. Эти действия не являются необычными. Секреты встроены в технические рабочие процессы и появляются в журналах, скриптах, файлах конфигурации и выходных данных автоматизации. Когда команды находятся под давлением, чтобы быстро решить проблемы, они могут делиться этими артефактами, не задумываясь о том, какие конфиденциальные данные они содержат.

Интерфейсы ИИ усиливают это поведение. Запросы поощряют обмен контекстом. Загрузка файлов поддерживает более богатую отладку. Интегрированные рабочие процессы делают легко перемещать данные между системами. Исследование Nudge Security показало, что 17 процентов запросов включают копирование и вставку или загрузку файлов. В этой среде конфиденциальные учетные данные могут быть раскрыты за считанные секунды.

Традиционное управление пропускает поведенческий риск

Программы управления ИИ часто фокусируются на формальных контролях, таких как политики и утвержденные инструменты. Этот подход предполагает, что риск возникает из-за неправильного использования или поведения модели. На практике наиболее значительные раскрытия происходят во время рутинных рабочих процессов, выполняемых добросовестными сотрудниками.

Ландшафт ИИ развивается быстро, с новыми технологиями, выпускаемыми ежедневно. Когда ваши сотрудники обращаются к последнему инструменту, они могут обойти традиционный подход сетевых контролей, потому что они просто не могут跟ать за постоянно меняющимся ландшафтом современной работы.

Этот разрыв объясняет, почему организации могут внедрить сильные политики, но все равно испытывать раскрытие конфиденциальных данных. Политики устанавливают ожидания. Поведение определяет результаты. Эффективное управление требует видимости того, как инструменты ИИ фактически используются, и ограничений, которые направляют более безопасные решения в момент обмена данными.

Интеграции и агенты расширяют объем раскрытия

Профиль риска инструмента ИИ формируется тем, к чему он может получить доступ. Интеграции создают доверенные пути между системами. Гранты OAuth, токены API и учетные записи службы позволяют инструментам ИИ получать документы, обновлять тикеты или взаимодействовать с репозиториями кода. Исследование внедрения ИИ в корпоративной среде подчеркивает, что интеграции фактически определяют объем раскрытия. Неправильно настроенное разрешение или скомпрометированный токен могут раскрыть целые репозитории документов или среды разработки, потому что доверенные соединения позволяют перемещать данные на машинной скорости.

Агентный ИИ вводит дополнительную сложность. Ранние развертывания часто отдают приоритет функциональности над наименьшими привилегиями. Разрешения, предоставленные во время экспериментов, могут сохраняться долго после того, как первоначальные случаи использования эволюционируют. Со временем эти накопленные разрешения создают скрытый риск. Команды безопасности должны относиться к интеграциям и разрешениям агентов как к прочным решениям об доступе, а не к временным удобствам.

Что должны делать команды безопасности сейчас

Снижение раскрытия секретов в рабочих процессах ИИ требует перехода от реактивных контролей к управлению, отражающему, как фактически происходит работа. Руководители безопасности могут начать с практических шагов, которые улучшают видимость, направляют более безопасное поведение и снижают раскрытие без замедления производительности:

• Отобразите, где происходят взаимодействия ИИ.
  Определите среды, в которых данные входят в инструменты ИИ, включая расширения браузера, среды разработки, платформы автоматизации и интерфейсы чата. Постоянная видимость этих точек соприкосновения обеспечивает основу для эффективного управления.
• Вмешайтесь в момент принятия решений.
  Реализуйте сканирование секретов, запросы редактирования и предупреждения в режиме реального времени, которые предупреждают пользователей, когда учетные данные или конфиденциальные артефакты собираются быть обменены. Своевременные рекомендации снижают случайное раскрытие, сохраняя скорость рабочего процесса.
• Примените управление интеграциями с той же строгостью, что и приложения OAuth.
  Проверьте инструменты ИИ, подключенные к электронной почте, документам, системам отслеживания тикетов и репозиториям. Принудите минимальные объемы разрешений и проведите периодические обзоры разрешений, чтобы снизить долгосрочный риск раскрытия.
• Создайте более безопасные рабочие процессы для отладки и поддержки.
  Предоставьте шаблоны с удаленными данными, безопасные соединители и внутренние инструменты для анализа журналов или файлов конфигурации, чтобы команды могли использовать ИИ для решения проблем, не раскрывая живые учетные данные.
• Установите ограничения для агентной автоматизации.
  Требуйте человеческого утверждения для действий с высоким воздействием, ведите журнал деятельности агентов централизованно и используйте токены доступа с ограниченным объемом, чтобы предотвратить распыл разрешений и непреднамеренную автоматизацию.
• Основывайте обучение на реальных рабочих процессах.
  Образование наиболее эффективно, когда оно отражает общие задачи, такие как отладка интеграций, просмотр журналов или загрузка файлов. Практические примеры помогают сотрудникам распознавать риск в момент его возникновения.

Эти меры выравнивают управление с повседневной работой, позволяя организациям снижать раскрытие секретов, сохраняя при этом производственные выгоды, которые стимулируют внедрение ИИ.

От политики ИИ к управлению поведением ИИ

ИИ эволюционирует от инструмента производительности к операционному слою, вплетенному в повседневную работу, с исследованиями, показывающими, что агенты ИИ теперь встроены в корпоративные рабочие процессы, и прогнозами, предполагающими, что агенты, специфичные для задач, будут внутри значительной доли корпоративных приложений. По мере того, как внедрение углубляется, доминирующие риски выходят за пределы нарушений конфиденциальности или неправильного использования модели. Они возникают из пересечения людей, разрешений и платформ в реальных рабочих процессах.

Раскрытие секретов в запросах ИИ является видимым сигналом этого более широкого преобразования. Оно подчеркивает ограничения контролей на основе периметра и управления только политикой и подкрепляет необходимость ограничений, которые действуют там, где принимаются решения. Организации, которые адаптируются, перейдут от реактивных контролей к моделям управления, основанным на реальном поведении. Они будут относиться к интеграциям и разрешениям как к прочным отношениям об доступе. Они будут направлять сотрудников в момент действия, а не полагаться исключительно на принудительное исполнение политики.

ИИ переходит от инструмента к сотруднику в современной работе. Обеспечение безопасности этого сотрудничества требует управления, которое следует за ним, защищая критические данные, направляя более безопасные решения и сохраняя скорость и эффективность, которые ИИ обеспечивает.