Где стандарты безопасности ИИ перестают действовать — и где защита во время выполнения должна начинаться

С учетом всех разговоров о рисках безопасности ИИ, одна проблема, которая, кажется, упускается из виду, заключается в том, что системы ИИ функционируют только путем раскрытия своих наиболее ценных активов — моделей и данных.

В отличие от традиционного программного обеспечения, ИИ не просто выполняет предопределенную логику. Он непрерывно объединяет проприетарные модели с чувствительными входными данными для генерации выходных данных, часто на инфраструктуре, которая не была разработана для защиты вычислений.

Таким образом, традиционная безопасность оказывается недостаточной. Шифрование эффективно, когда данные хранятся или передаются через сеть, но не когда данные обрабатываются или манипулируются. Для ИИ в частности опасность возникает, когда модель развертывается. Ее параметры загружаются в память, инициализируются и выполняются в масштабе — в тот момент, когда шифрование перестает действовать, подвергая ее потенциальному несанкционированному доступу. Во время вывода чувствительные данные проходят через то же самое уязвимое пространство. Результатом является высоко уязвимая поверхность риска: системы ИИ, которые могут показаться безопасными, но на самом деле не защищены в наиболее критические моменты.

Организации, такие как Национальный институт стандартов и технологий (NIST), Агентство Европейского Союза по кибербезопасности (ранее известное как Европейское агентство по сетевой и информационной безопасности, или ENISA), и Открытый проект безопасности веб-приложений (OWASP) начали исследовать эту территорию. Они описывают риски, называют уязвимости и очерчивают принципы управления. Но они останавливаются в том, чтобы назначить, как защитить модели как интеллектуальную собственность и данные как конфиденциальные активы, когда начинается выполнение. Закрытие этого разрыва требует переосмысления безопасности ИИ — не как упражнения по соблюдению, а как проблемы вычислений самих по себе. Именно здесь играет роль шифрование во время использования или шифрование от конца до конца.

Слепое пятно в современной безопасности ИИ

Большинство разговоров о безопасности ИИ все еще обращаются к знакомой территории: управлению обучающими данными, контроля доступа, мониторингу API и ответственным политикам пользователей. Все это необходимо. Однако ни одна из них не решает того, что происходит после развертывания, когда модель покидает репозиторий и становится живой системой.

Как только модель развернута, ее параметры больше не являются абстрактными артефактами. Они являются живыми, память-резидентными активами, непрерывно доступными во время вывода и часто используемыми несколькими арендаторами или клиентами через общие сервисы ИИ. Это раскрытие происходит до любого запроса вывода, тем самым усугубляя риск введения чувствительных входных данных и внешне наблюдаемого поведения.

Отношение к защите модели как к предразвертывному вопросу и безопасности вывода как к вопросу времени выполнения упускает из виду суть. В реальных системах эти риски перекрываются. Модели и данные раскрыты на этапах инициализации, выполнения и вывода. Безопасность, которая начинается и заканчивается контролями хранения, не решает эти раскрытия.

Что NIST делает правильно — и где он останавливается

Фреймворк управления рисками ИИ NIST стал краеугольным камнем для организаций, пытающихся управлять рисками ИИ. Его структура — управлять, картографировать, измерять, управлять — предлагает дисциплинированный способ думать об ответственности, контексте, влиянии и смягчении на протяжении всего жизненного цикла ИИ.

Что NIST делает особенно хорошо, так это формулирует риск ИИ как системный, а не случайный. Сбои ИИ редко являются единичными событиями; они возникают из взаимодействия между моделями, данными, людьми и инфраструктурой. Эта формулировка является необходимой.

Где фреймворк терпит неудачу, так это в том, что он не указывает, как защитить высокоценные активы ИИ, когда системы находятся в живом состоянии. Параметры модели неявно рассматриваются как артефакты времени проектирования, а не активы времени выполнения. Среды выполнения предполагаются достаточно заслуживающими доверия.

На практике параметры модели часто являются наиболее ценной интеллектуальной собственностью, которой владеет организация. Они загружаются в память, копируются на узлы, кэшируются и повторно используются. Если управление рисками ИИ не учитывает конфиденциальность моделей во время развертывания и выполнения, критический актив остается вне границы риска, как сидящая утка.

ENISA и реальность угроз, специфичных для ИИ

Работа ENISA по кибербезопасности ИИ продвигает разговор дальше. Ее многослойный фреймворк различает традиционную безопасность инфраструктуры и риски, специфичные для ИИ, признавая, что системы ИИ ведут себя иначе — и терпят неудачу иначе — чем традиционное программное обеспечение.

Почему это важно? ИИ вводит угрозы, которые не вписываются аккуратно в существующие контроли: извлечение модели, утечка параметров, раскрытие ко-тенантности и изменение во время выполнения. Эти риски не требуют экзотических атакующих. Они возникают естественно, когда высокоценные модели запускаются в общих или внешне управляемых средах.

Фреймворк ENISA неявно признает, что безопасность ИИ означает безопасность поведения, а не только кода. Но как и большинство стандартов, он фокусируется на том, что должно быть рассмотрено, а не на том, как защиты технически обеспечиваются, когда модели запущены.

OWASP и стоимость наблюдаемого интеллекта

OWASP Top 10 для приложений крупномасштабных языковых моделей предлагает более конкретный взгляд на то, как системы ИИ ломаются в реальном мире. Ввод подсказки, раскрытие чувствительной информации, утечка встроений, чрезмерная прозрачность вывода — эти проблемы не являются теоретическими. Они являются побочными продуктами развертывания мощных моделей без ограничения того, что они раскрывают.

Хотя эти проблемы часто формулируются как проблемы приложения, их последствия глубже. Повторное раскрытие поведения модели может привести к эффективному клонированию; плохо изолированные встроения могут раскрыть структуру; и злоупотребление выводом становится путем к репликации модели.

Таксономия OWASP делает одно ясным: защита ИИ не только о том, чтобы остановить плохие входные данные. Это о том, чтобы ограничить, что модели раскрывают — внутри и снаружи — когда они работают.

Общий вывод, незаконченная работа

На протяжении NIST, ENISA и OWASP существует широкое согласие по основам:

• Риск ИИ охватывает жизненный цикл
• Системы ИИ вводят новые категории угроз
• Модели и данные являются высокоценными активами
• Раскрытие во время выполнения неизбежно

Что эти фреймворки не имеют, однако, это механизм для обеспечения конфиденциальности, когда модели развернуты и вычисления начинаются. Это упущение не является ошибкой, поскольку стандарты определяют намерение и объем. Реализация обычно оставляется разработчику системы.

Но они оставляют критический разрыв — тот, который становится шире, когда системы ИИ масштабируются.

Шифрование во время использования меняет уравнение

Шифрование во время использования меняет модель безопасности. Вместо того, чтобы предполагать, что данные и модели должны быть раскрыты, чтобы быть полезными, оно рассматривает вычисления как нечто, что можно защитить.

В практическом смысле это означает:

• Модели остаются зашифрованными во время развертывания, инициализации и выполнения
• Входные данные никогда не видны в открытом тексте среде выполнения
• Промежуточные состояния не могут быть осмотрены или изменены
• Инфраструктура больше не нуждается в неявном доверии

Это не заменяет фреймворки управления или контроли на уровне приложения — это операционализирует их. Это превращает принципы риска в обеспечиваемые гарантии именно тогда, когда системы ИИ наиболее уязвимы.

Иными словами, шифрование во время использования является отсутствующим слоем между политикой ИИ и реальностью ИИ.

Когда управление заканчивается и начинается выполнение: защита вычислений ИИ

Безопасность ИИ разрушается во время выполнения. Как только развернуты, модели ИИ и чувствительные данные должны быть раскрыты в памяти, чтобы функционировать, создавая поверхность риска, которую традиционные контроли — шифрование в состоянии покоя, шифрование при передаче и фреймворки управления — никогда не были разработаны для защиты.

Организации, такие как NIST, ENISA и OWASP, сделали критический прогресс в определении риска ИИ, ответственности и злоупотребления. Но их руководство в основном рассматривает модели как артефакты времени проектирования и предполагает, что среды выполнения могут быть доверены. На практике параметры модели и чувствительные входные данные непрерывно доступны, повторно используются и часто обрабатываются в общих или внешне управляемых средах.

Закрытие этого разрыва требует переосмысления безопасности ИИ не как упражнения по соблюдению, а как проблемы защиты вычислений самих по себе — когда модели живы, данные используются, и раскрытие неизбежно. Шифрование во время использования предлагает жизнеспособный способ сохранить модели ИИ и чувствительные входные данные в безопасности на каждом этапе жизненного цикла ИИ.