От инструмента к инсайдеру: рост автономной ИИ-идентичности в организациях

ИИ значительно повлиял на деятельность каждой отрасли, обеспечивая улучшенные результаты, повышенную производительность и исключительные результаты. Сегодня организации полагаются на модели ИИ, чтобы получить конкурентное преимущество, принимать обоснованные решения, анализировать и разрабатывать стратегии своих бизнес-усилий. От управления продуктами до продаж организации внедряют модели ИИ в каждом отделе, адаптируя их для достижения конкретных целей и задач.

ИИ больше не является просто дополнительным инструментом в бизнес-процессах; он стал неотъемлемой частью стратегии и инфраструктуры организации. Однако, поскольку Распространение ИИ растетвозникает новая задача: как управлять объектами ИИ в рамках структуры идентичности организации?

ИИ как отдельные организационные идентичности 

Идея о том, что модели ИИ имеют уникальные идентичности в рамках организации, превратилась из теоретической концепции в необходимость. Организации начинают назначать определенные роли и обязанности моделям ИИ, предоставляя им разрешения, как и сотрудникам-людям. Эти модели могут получать доступ к конфиденциальным данным, выполнять задачии принимать решения самостоятельно.

Поскольку модели ИИ внедряются в качестве отдельных идентификаторов, они по сути становятся цифровыми аналогами сотрудников. Так же, как у сотрудников есть контроль доступа на основе ролей, моделям ИИ можно назначать разрешения на взаимодействие с различными системами. Однако это расширение ролей ИИ также увеличивает поверхность атаки, представляя новую категорию угроз безопасности.

Опасности автономной идентификации ИИ в организациях

Хотя идентификация на основе ИИ принесла пользу организациям, она также создает некоторые проблемы, в том числе:

• Отравление модели ИИ: Злонамеренные субъекты угроз могут манипулировать моделями ИИ путем введения предвзятых или случайных данных, что приводит к тому, что эти модели выдают неточные результаты. Это оказывает значительное влияние на финансовые, охранные и медицинские приложения.
• Внутренние угрозы со стороны ИИ: Если система ИИ скомпрометирована, она может действовать как внутренняя угроза, либо из-за непреднамеренных уязвимостей, либо из-за враждебной манипуляции. В отличие от традиционных внутренних угроз, связанных с сотрудниками-людьми, внутренние угрозы на основе ИИ сложнее обнаружить, поскольку они могут действовать в рамках назначенных им разрешений.
• ИИ развивает уникальные «личности»: Модели ИИ, обученные на различных наборах данных и фреймворках, может развиваться непредсказуемыми способами. Хотя у них нет истинного сознания, их модели принятия решений могут отклоняться от ожидаемого поведения. Например, модель безопасности ИИ может начать неправильно помечать законные транзакции как мошеннические или наоборот, когда подвергается воздействию вводящих в заблуждение обучающих данных.
• Взлом ИИ, приведший к краже личных данных: Так же, как украденные учетные данные могут предоставить несанкционированный доступ, захваченный ИИ Идентификация может быть использована для обхода мер безопасности. Когда система ИИ с привилегированным доступом скомпрометирована, злоумышленник получает невероятно мощный инструмент, который может работать под легитимными учетными данными.

Управление идентификацией ИИ: применение принципов управления человеческой идентификацией 

Чтобы снизить эти риски, организации должны переосмыслить, как они управляют моделями ИИ в рамках своей структуры управления идентификацией и доступом. Следующие стратегии могут помочь:

• Ролевое управление идентификацией на основе ИИ: Относитесь к моделям ИИ как к сотрудникам, устанавливая строгий контроль доступа и гарантируя, что у них будут только те разрешения, которые необходимы для выполнения конкретных задач.
• Поведенческий мониторинг: Внедрить инструменты мониторинга на основе ИИ для отслеживания действий ИИ. Если модель ИИ начинает демонстрировать поведение, выходящее за рамки ожидаемых параметров, должны срабатывать оповещения.
• Архитектура Zero Trust для ИИ: Так же, как пользователи-люди требуют аутентификации на каждом этапе, модели ИИ должны постоянно проверяться, чтобы гарантировать, что они работают в рамках своих полномочий.
• Отзыв и аудит личности с помощью ИИ: Организации должны разработать процедуры для динамического отзыва или изменения разрешений на доступ к ИИ, особенно в ответ на подозрительное поведение.

Анализ возможного эффекта кобры

Иногда решение проблемы только ухудшает ее, ситуация, исторически описанная как эффект кобры, также называемая извращенным стимулом. В этом случае, хотя включение ИИ-идентификаторов в систему каталогов решает проблему управления ИИ-идентификаторами, это также может привести к тому, что модели ИИ будут изучать системы каталогов и их функции.

В долгосрочной перспективе модели ИИ могут демонстрировать невредоносное поведение, оставаясь уязвимыми для атак или даже изымая данные в ответ на вредоносные запросы. Это создает эффект кобры, когда попытка установить контроль над идентификациями ИИ вместо этого позволяет им изучать элементы управления каталогами, что в конечном итоге приводит к ситуации, когда эти идентификации становятся неконтролируемыми.

Например, модель ИИ, интегрированная в автономный центр управления безопасностью (SOC) организации, потенциально может анализировать шаблоны доступа и определять привилегии, необходимые для доступа к критически важным ресурсам. При отсутствии надлежащих мер безопасности такая система может изменять групповые политики или использовать неактивные учётные записи для получения несанкционированного контроля над системами.

Баланс интеллекта и контроля

В конечном счете, трудно определить, как внедрение ИИ повлияет на общую безопасность организации. Эта неопределенность возникает в первую очередь из-за масштаба, в котором модели ИИ могут учиться, адаптироваться и действовать в зависимости от данных, которые они поглощают. По сути, модель становится тем, что она потребляет.

Хотя контролируемое обучение обеспечивает контролируемое и направляемое обучение, оно может ограничить способность модели адаптироваться к динамическим средам, потенциально делая ее негибкой или устаревшей в меняющихся операционных контекстах.

Наоборот, неконтролируемое обучение предоставляет модели большую автономность, увеличивая вероятность того, что она будет исследовать разнообразные наборы данных, потенциально включая те, которые находятся за пределами ее предполагаемой области действия. Это может повлиять на ее поведение непреднамеренными или небезопасными способами.

Таким образом, задача состоит в том, чтобы сбалансировать этот парадокс: ограничить изначально неограниченную систему. Цель состоит в том, чтобы разработать ИИ-идентичность, которая будет функциональной и адаптивной, но не будет полностью неограниченной, наделенной полномочиями, но не бесконтрольной.

Будущее: ИИ с ограниченной автономностью? 

Учитывая растущую зависимость от ИИ, организациям необходимо налагать ограничения на автономность ИИ. Хотя полная независимость сущностей ИИ остается маловероятной в ближайшем будущем, контролируемая автономность, когда модели ИИ работают в предопределенном объеме, может стать стандартом. Такой подход гарантирует, что ИИ повышает эффективность, минимизируя непредвиденные риски безопасности.

Неудивительно, если регулирующие органы установят конкретные стандарты соответствия, регулирующие то, как организации используют модели ИИ. Основное внимание будет — и должно — уделяться конфиденциальности данных, особенно для организаций, которые обрабатывают критически важную и конфиденциальную персональную информацию (PII).

Хотя эти сценарии могут показаться спекулятивными, они далеки от невероятных. Организации должны активно решать эти проблемы, прежде чем ИИ станет и активом, и обузой в их цифровых экосистемах. Поскольку ИИ превращается в операционную идентификацию, его защита должна стать главным приоритетом.