Риск ИИ, за которым никто не наблюдает: раскрытие секретов в рабочих процессах предприятий

Большинство дискуссий о рисках ИИ в предприятиях начинаются с знакомой проблемы: сотрудники вставляют данные клиентов в чат-боты. Проблемы конфиденциальности и нормативной экспозиции доминируют в заголовках и брифингах совета директоров, и исследование Deloitte показывает, что конфиденциальность данных и безопасность занимают одно из первых мест среди рисков ИИ, которые беспокоят организации.

Однако данные, поступающие из реального использования ИИ в предприятиях, рассказывают другую историю. Наиболее распространенная конфиденциальная информация, поступающая в инструменты ИИ, не является личными данными. Это секреты и учетные данные.

Ключи API, токены доступа, веб-хуки и артефакты аутентификации теперь составляют наибольшую долю раскрытия конфиденциальных данных, наблюдаемых в подсказках ИИ. Эти раскрытия редко происходят из-за небрежности или злого умысла и вместо этого возникают из рутинной работы, такой как отладка неудавшейся интеграции, устранение неполадок автоматизации, тестирование кода или решение проблемы клиента. По мере того, как ИИ становится неотъемлемой частью повседневных рабочих процессов, эти моменты происходят постоянно и часто вне видимости традиционных средств безопасности.

Последствия ясны. По мере расширения внедрения ИИ организации получают более точное представление о том, где возникают реальные риски, и управление должно эволюционировать, чтобы решить их.

Пересмотренный риск раскрытия данных ИИ скрывается на виду

Недавний анализ использования ИИ, проведенный Nudge Security, изучил анонимную телеметрию в средах предприятий, чтобы понять, как инструменты ИИ фактически используются на рабочем месте. Вместо того, чтобы полагаться на опросы или самоотчеты, исследование проанализировало наблюдаемую активность ИИ, интеграции и поведение подсказок в экосистемах программного обеспечения как услуге.

Результаты предоставляют новые сведения о том, где фактически возникает риск ИИ в использовании предприятий. Раскрытия конфиденциальных данных в подсказках ИИ доминируются операционными учетными данными. Секреты и учетные данные составляют примерно 48 процентов обнаруженных событий конфиденциальных данных, по сравнению с 36 процентами для финансовых данных и 16 процентами для информации, связанной со здоровьем. Эти закономерности предполагают, что наиболее значительной проблемой раскрытия данных ИИ не является утечка конфиденциальности, а распыл секретов.

То же исследование показывает, что внедрение ИИ вышло за рамки экспериментов. Инструменты ИИ интегрированы в рабочие процессы, интегрированы с основными бизнес-платформами и все чаще способны совершать автономные действия. Основные поставщики крупномасштабных языковых моделей теперь почти повсеместно присутствуют, причем OpenAI присутствует в 96 процентах организаций, а Anthropic – в 78 процентах.

Исследование McKinsey показывает, что 88 процентов организаций сообщают о регулярном использовании ИИ хотя бы в одной бизнес-функции, по сравнению с 78 процентами год назад. Инструменты интеллекта совещаний, платформы кодирования с помощью ИИ, генераторы презентаций и голосовые технологии широко развернуты, отражая, как ИИ расширился из интерфейсов чата в повседневные рабочие процессы. Это расширение важно, поскольку риск следует за использованием. По мере того, как ИИ становится неотъемлемой частью сред разработки, платформ сотрудничества и рабочих процессов поддержки клиентов, он получает близость к конфиденциальным системам и операционным данным.

Внедрение также стимулировалось снизу. Недавнее исследование KPMG показало, что 44 процента сотрудников используют инструменты ИИ способами, которые не авторизованы их работодателями, отражая, как быстро эти инструменты входят в повседневные рабочие процессы. Сотрудники устанавливают расширения браузера, подключают помощников и экспериментируют с интеграциями, чтобы ускорить повседневные задачи, часто вне централизованных процессов закупок. Аналитики безопасности описывают эту закономерность как тень ИИ, когда инструменты работают внутри браузеров и рабочих процессов программного обеспечения как услуге за пределами традиционной видимости ИТ. Поскольку эти инструменты можно развернуть мгновенно и требуют минимальной технической настройки, программы управления, построенные вокруг процессов утверждения поставщиков и политик приемлемого использования, с трудом справляются с тем, как ИИ фактически вводится и используется в организации.

Почему утечка секретов может создать немедленный операционный риск

Личные данные остаются конфиденциальными и регулируемыми, но секреты несут немедленный операционный удар. Утечка ключа API может предоставить доступ к производственным системам. Скомпрометированный токен может раскрыть репозитории. URL веб-хука может включить неавторизованную автоматизацию. Учетные данные часто появляются в подсказках ИИ во время рутинных рабочих процессов. Разработчики вставляют токены в интерфейсы чата при устранении неполадок аутентификации, инженеры могут делиться конфигурационными фрагментами для диагностики проблем интеграции. Эти действия не являются необычными. Секреты встроены в технические рабочие процессы и появляются в журналах, скриптах, файлах конфигурации и выводах автоматизации. Когда команды находятся под давлением, чтобы быстро решить проблемы, они могут делиться этими артефактами, не задумываясь о том, какие конфиденциальные данные они содержат.

Интерфейсы ИИ усиливают это поведение. Подсказки поощряют обмен контекстом. Загрузка файлов поддерживает более богатую устранение неполадок. Интегративные рабочие процессы делают легко перемещать данные между системами. Исследование Nudge Security показало, что 17 процентов подсказок включают копирование и вставку или загрузку файлов. В этой среде конфиденциальные учетные данные могут быть раскрыты в течение секунд.

Традиционное управление пропускает поведенческий риск

Программы управления ИИ часто фокусируются на формальных контролях, таких как политики и утвержденные инструменты. Этот подход предполагает, что риск возникает из-за неправильного использования или поведения модели. На практике наиболее значительные раскрытия происходят во время рутинных рабочих процессов, выполняемых добросовестными сотрудниками.

Ландшафт ИИ развивается быстро, с новыми технологиями, выпускаемыми ежедневно. По мере того, как ваши сотрудники обращаются к последнему инструменту, они могут обойти традиционный подход сетевых контролей, потому что они просто не могут справиться. Браузер позволяет直接 наблюдать за контекстным поведением, которое обеспечивает необходимую гибкость для поддержания постоянно меняющегося ландшафта современной работы.

Этот разрыв объясняет, почему организации могут реализовать сильные политики, но все равно испытывать раскрытие конфиденциальных данных. Политики устанавливают ожидания. Поведение определяет результаты. Эффективное управление требует видимости того, как инструменты ИИ фактически используются, и ограждений, которые направляют более безопасные решения в момент обмена данными.

Интеграции и агенты расширяют объем раскрытия

Профиль риска инструмента ИИ формируется тем, к чему он может получить доступ. Интеграции создают доверенные пути между системами. Гранты OAuth, токены API и учетные записи служб позволяют инструментам ИИ извлекать документы, обновлять тикеты или взаимодействовать с репозиториями кода. Исследование внедрения ИИ в предприятиях подчеркивает, что интеграции фактически определяют объем раскрытия. Неправильно настроенное разрешение или скомпрометированный токен могут раскрыть целые репозитории документов или среды разработки, потому что доверенные соединения позволяют перемещать данные на скорости машины.

Агентский ИИ вводит дополнительную сложность. Ранние развертывания часто отдают приоритет функциональности над наименьшими привилегиями. Разрешения, предоставленные во время экспериментов, могут сохраняться долго после того, как первоначальные случаи использования эволюционируют. Со временем эти накопленные разрешения создают скрытый риск. Команды безопасности должны рассматривать интеграции и разрешения агентов как прочные решения об доступе, а не временные удобства.

Что должны делать команды безопасности сейчас

Снижение раскрытия секретов в рабочих процессах ИИ требует изменения от реактивных контролей к управлению, отражающему, как фактически происходит работа. Руководители безопасности могут начать с практических шагов, которые улучшают видимость, направляют более безопасное поведение и снижают раскрытие без замедления производительности:

• Отобразите, где происходят взаимодействия ИИ.
  Определите среды, в которых данные входят в инструменты ИИ, включая расширения браузера, среды разработки, платформы автоматизации и интерфейсы чата. Постоянная видимость этих точек соприкосновения обеспечивает основу для эффективного управления.
• Вмешайтесь в момент принятия решений.
  Реализуйте сканирование секретов, подсказки редактирования и предупреждения в режиме реального времени, которые предупреждают пользователей, когда учетные данные или конфиденциальные артефакты собираются быть обменены. Своевременные рекомендации снижают случайное раскрытие, сохраняя скорость рабочего процесса.
• Примените управление интеграциями с той же строгостью, что и приложения OAuth.
  Просмотрите инструменты ИИ, подключенные к электронной почте, документам, системам ticketing и репозиториям. Принудите наименьшие привилегии и проводите периодические обзоры разрешений, чтобы снизить долгосрочный риск раскрытия.
• Создайте более безопасные рабочие процессы для устранения неполадок и поддержки.
  Предоставьте редактированные шаблоны, безопасные соединители и внутренние инструменты для анализа журналов или файлов конфигурации, чтобы команды могли использовать ИИ для решения проблем без раскрытия живых учетных данных.
• Установите ограждения для агентной автоматизации.
  Требуйте человеческого утверждения для действий высокого воздействия, ведите журнал деятельности агентов централизованно и используйте токены доступа с ограниченным объемом, чтобы предотвратить распыл разрешений и непреднамеренную автоматизацию.
• Основывайте обучение на реальных рабочих процессах.
  Образование наиболее эффективно, когда оно отражает общие задачи, такие как отладка интеграций, просмотр журналов или загрузка файлов. Практические примеры помогают сотрудникам распознавать риск в момент его возникновения.

Эти меры выравнивают управление с повседневной работой, позволяя организациям снижать раскрытие секретов, сохраняя при этом производительность, которая стимулирует внедрение ИИ.

От политики ИИ к управлению поведением ИИ

ИИ эволюционирует от инструмента производительности к операционному слою, вплетенному в повседневную работу, с исследованием, показывающим, что агенты ИИ теперь встроены в рабочие процессы предприятий, и прогнозами, предполагающими, что агенты, специфичные для задач, будут внутри значительной доли приложений предприятий. По мере того, как внедрение углубляется, доминирующие риски распространяются за пределы нарушений конфиденциальности или неправильного использования модели. Они возникают из того, как люди, разрешения и платформы пересекаются в реальных рабочих процессах.

Раскрытие секретов в подсказках ИИ является видимым сигналом этого более широкого преобразования. Оно подчеркивает ограничения контролей на основе периметра и управления только политикой и подкрепляет необходимость ограждений, которые действуют в момент принятия решений. Организации, которые адаптируются, перейдут от реактивных контролей к моделям управления, основанным на реальном поведении. Они будут рассматривать интеграции и разрешения как прочные решения об доступе. Они будут направлять сотрудников в момент действия, а не полагаться исключительно на принудение политики.

ИИ переходит от инструмента к сотруднику в современной работе. Обеспечение этого сотрудничества требует управления, которое соответствует ему, защищая критические данные, направляя более безопасные решения и сохраняя скорость и эффективность, которые ИИ делает возможными.