Где стандарты безопасности ИИ останавливаются — и где должна начинаться защита во время выполнения

С учетом всех разговоров о рисках безопасности ИИ, одна проблема, которая, кажется, остается без внимания, заключается в том, что системы ИИ функционируют только путем раскрытия своих наиболее ценных активов — моделей и данных.

В отличие от традиционного программного обеспечения, ИИ не просто выполняет предопределенную логику. Он непрерывно сочетает проприетарные модели с чувствительными входными данными для генерации выходных данных, часто на инфраструктуре, которая не была разработана для защиты вычислений.

Таким образом, традиционная безопасность не справляется. Шифрование эффективно, когда данные хранятся или передаются по сети, но не когда данные обрабатываются или используются. Для ИИ в частности опасность возникает, когда модель развертывается. Ее параметры загружаются в память, инициализируются и выполняются в крупном масштабе — в момент, когда шифрование прекращается — подвергая их потенциальному несанкционированному доступу. Во время вывода чувствительные данные проходят через то же самое открытое пространство. Результатом является высоко уязвимая поверхность риска: системы ИИ, которые могут показаться безопасными — но на самом деле не защищены в наиболее критических моментах.

Организации, такие как Национальный институт стандартов и технологий (NIST), Агентство Европейского Союза по кибербезопасности (ранее известное как Европейское агентство по сетевой и информационной безопасности, или ENISA), и Открытый проект безопасности веб-приложений (OWASP) начали исследовать эту территорию. Они описывают риски, называют уязвимости и очерчивают принципы управления. Но они не доходят до предписания того, как защитить модели как интеллектуальную собственность и данные как конфиденциальные активы, когда начинается выполнение. Закрытие этого разрыва требует переосмысления безопасности ИИ — не как упражнения по соблюдению требований, а как проблемы защиты вычислений самих по себе. Именно здесь шифрование во время использования, или шифрование от начала до конца, играет свою роль.

Слепое пятно в современной безопасности ИИ

Большинство разговоров о безопасности ИИ все еще вращаются вокруг знакомой территории: управления данными для обучения, контроля доступа, мониторинга API и ответственных политик пользователей. Все это необходимо. Однако ни один из них не решает того, что происходит после развертывания, когда модель покидает репозиторий и становится живой системой.

Как только развертывается, параметры модели больше не являются абстрактными артефактами. Они являются живыми, память-резидентными активами, непрерывно доступными во время вывода и часто используемыми несколькими арендаторами или клиентами через общие сервисы ИИ. Это раскрытие происходит до любого запроса вывода, тем самым увеличивая риск введением чувствительных входных данных и внешне наблюдаемого поведения.

Отношение к защите модели как к проблеме до развертывания и безопасности вывода как к проблеме во время выполнения упускает из виду суть. В реальных системах эти риски перекрываются. Модели и данные раскрыты на этапах инициализации, выполнения и вывода. Безопасность, которая начинается и заканчивается контролями хранения, не решает эти проблемы.

Что правильно делает NIST — и где он останавливается

Фреймворк управления рисками ИИ NIST стал краеугольным камнем для организаций, пытающихся управлять рисками ИИ. Его структура — управление, картирование, измерение, управление — предлагает дисциплинированный способ думать об ответственности, контексте, влиянии и смягчении рисков на протяжении всего жизненного цикла ИИ.

Что NIST делает особенно хорошо, так это формулирует риск ИИ как системный, а не случайный. Неудачи ИИ редко являются единичными событиями; они возникают из взаимодействия между моделями, данными, людьми и инфраструктурой. Эта формулировка необходима.

Где фреймворк не справляется, так это в том, что он не предписывает, как высокоценные активы ИИ защищаются, когда системы находятся в живом состоянии. Параметры модели неявно рассматриваются как артефакты времени проектирования, а не активы во время выполнения. Среды выполнения предполагаются достаточно заслуживающими доверия.

На практике параметры модели часто являются наиболее ценным имуществом, которым обладает организация. Они загружаются в память, копируются на узлы, кэшируются и повторно используются. Если управление рисками ИИ не учитывает конфиденциальность моделей во время развертывания и выполнения, критический актив остается вне границы риска, как сидящая утка.

ENISA и реальность угроз, специфичных для ИИ

Работа ENISA по кибербезопасности ИИ продвигает разговор дальше. Ее многослойный фреймворк различает традиционную безопасность инфраструктуры и риски, специфичные для ИИ, признавая, что системы ИИ ведут себя по-другому — и терпят неудачи по-другому — чем традиционное программное обеспечение.

Почему это важно? ИИ вводит угрозы, которые не вписываются в существующие контроли: извлечение модели, утечка параметров, раскрытие ко-тенантности и изменение во время выполнения. Эти риски не требуют экзотических атакующих. Они возникают естественно, когда высокоценные модели запускаются в общих или внешне управляемых средах.

Фреймворк ENISA неявно признает, что безопасность ИИ означает безопасность поведения, а не только кода. Но как и большинство стандартов, он фокусируется на том, что следует учитывать, а не на том, как защиты технически обеспечиваются, когда модели запущены.

OWASP и стоимость наблюдаемого интеллекта

Топ-10 OWASP для приложений крупномасштабных языковых моделей предлагает более具体ный взгляд на то, как системы ИИ ломаются в реальном мире. Ввод подсказки, раскрытие чувствительной информации, утечка встроения, чрезмерная прозрачность вывода — это не теоретические проблемы. Они являются побочными продуктами развертывания мощных моделей без ограничения того, что они раскрывают.

Хотя эти проблемы часто формулируются как проблемы уровня приложения, их последствия глубже. Повторное раскрытие поведения модели может привести к эффективному клонированию; плохо изолированные встроения могут раскрыть структуру; и злоупотребление выводом становится путем к репликации модели.

Таксономия OWASP делает одно ясным: защита ИИ не только о том, чтобы остановить плохие входные данные. Это о том, чтобы ограничить то, что модели раскрывают — внутри и снаружи — когда они находятся в эксплуатации.

Общий вывод, незаконченная работа

На протяжении NIST, ENISA и OWASP существует широкое согласие по основным вопросам:

• Риск ИИ охватывает жизненный цикл
• Системы ИИ вводят новые категории угроз
• Модели и данные являются высокоценными активами
• Раскрытие во время выполнения неизбежно

Что эти фреймворки не имеют, однако, так это механизм для обеспечения конфиденциальности, когда модели развертываются и начинается выполнение. Это упущение не является ошибкой, поскольку стандарты определяют намерение и объем. Реализация обычно оставляется разработчику системы.

Но они оставляют критический разрыв — который становится шире, когда системы ИИ масштабируются.

Шифрование во время использования меняет уравнение

Шифрование во время использования меняет модель безопасности. Вместо того, чтобы предполагать, что данные и модели должны быть раскрыты, чтобы быть полезными, оно рассматривает вычисления как нечто, что можно защитить.

В практическом смысле это означает:

• Модели остаются зашифрованными во время развертывания, инициализации и выполнения
• Входные данные никогда не видны в открытом тексте среде выполнения
• Промежуточные состояния не могут быть осмотрены или изменены
• Инфраструктура больше не нуждается в неявном доверии

Это не заменяет фреймворки управления или контроли уровня приложения — оно операционализирует их. Оно превращает принципы риска в обеспечиваемые гарантии прямо тогда, когда системы ИИ наиболее уязвимы.

Иными словами, шифрование во время использования — это отсутствующий слой между политикой ИИ и реальностью ИИ.

Когда управление заканчивается, а выполнение начинается: Защита вычислений ИИ

Безопасность ИИ разрушается во время выполнения. Как только развертывается, модели ИИ и чувствительные данные должны быть раскрыты в памяти, чтобы функционировать, создавая поверхность риска, которую традиционные контроли — шифрование в состоянии покоя, шифрование при передаче и фреймворки управления — не были разработаны для защиты.

Организации, такие как NIST, ENISA и OWASP, сделали критический прогресс в определении рисков ИИ, ответственности и злоупотребления. Но их руководство в основном рассматривает модели как артефакты времени проектирования и предполагает, что среды выполнения могут быть доверены. На практике параметры модели и чувствительные входные данные непрерывно доступны, повторно используются и часто обрабатываются в общих или внешне управляемых средах.

Закрытие этого разрыва требует переосмысления безопасности ИИ не как упражнения по соблюдению требований, а как проблемы защиты вычислений самих по себе — когда модели живы, данные используются, и раскрытие неизбежно. Шифрование во время использования предлагает жизнеспособный способ сохранить модели ИИ и чувствительные входные данные в безопасности на каждом этапе жизненного цикла ИИ.