Исследование Eclypsium показывает, как взломанное оборудование может изменять модели ИИ во время работы

Eclypsium продемонстрировала, как взлом инфраструктуры вычислительных систем может менять поведение модели ИИ во время инференса, хотя исходные файлы остаются нетронутыми. Исследование, опубликованное 29 октября под заголовком Для надежного ИИ нужна надежная инфраструктура, показывает, почему проверка подписи модели или хеша файла не подтверждает целостность модели, выполняющейся в памяти.

В контролируемой демонстрации, проведенной при поддержке NVIDIA, исследователи использовали взломанный модуль обработки данных (DPU) и недостаточно строгую изоляцию памяти, чтобы изменить веса модели во время работы. Ответы модели изменились, хотя сохраненная модель и сервис инференса остались без изменений. Полученные результаты показывают, что оборудование, микропрограммы и настройки устройств входят в периметр безопасности ИИ.

Другой способ изменить модель ИИ

В обсуждениях безопасности ИИ часто сосредоточиваются на вредоносных запросах, отравленных обучающих данных и небезопасном использовании инструментов. В этом исследовании рассматривается более низкий уровень — инфраструктура, в которой хранятся и перемещаются параметры модели во время ее работы.

Веса — это числовые параметры, определяющие ответы модели. Корректный файл на диске можно загрузить в память, а затем изменить с помощью компонента, обладающего достаточными привилегиями. При последующей проверке исходного файла по-прежнему обнаруживаются ожидаемые байты, хотя ответ был сгенерирован с использованием измененного состояния модели во время работы.

В демонстрации Eclypsium аналитический вывод по геополитическому вопросу заметно изменился. Более широкая проблема заключается в том, что манипуляции во время работы могут повлиять и на другие чувствительные сферы применения, включая генерацию кода и автоматизированное принятие решений. Эти возможные последствия следует отличать от конкретного поведения, показанного в лабораторных условиях.

Утверждение о том, что изменения остались незамеченными, также имеет четкие границы: использованные в демонстрации проверки целостности сохраненной модели не выявили изменений в памяти. Однако это не доказывает, что их невозможно обнаружить с помощью любых средств мониторинга или криминалистического анализа.

Важны условия атаки

Испытания проводились в среде NVIDIA Grace Hopper. Путь прямого доступа к памяти зависел от взломанного компонента с привилегиями и настроек, допускавших доступ к чувствительным областям памяти. Исследователи отмечают, что важными условиями были обход IOMMU и недостаточно строгая изоляция PCIe, и отдельно указывают, что такие настройки не используются в Linux по умолчанию.

IOMMU помогает контролировать, к каким областям памяти может обращаться периферийное устройство. В испытанной исследователями конфигурации с более строгой изоляцией тот же путь прямого доступа был недоступен. Поэтому полученные результаты подчеркивают важность проверки фактических настроек развертывания, а не предположения, что установленное средство защиты действительно обеспечивает изоляцию.

DPU — это программируемый инфраструктурный процессор, используемый для сетевых функций, хранения данных и обеспечения безопасности. Его способность эффективно перемещать данные полезна, однако привилегии, необходимые для выполнения легитимных инфраструктурных задач, могут стать источником опасности, если злоумышленник получит контроль над этим компонентом.

Ответ NVIDIA: проверяйте границы доверия

В рассказе о сотрудничестве NVIDIA описывает проверенную загрузку BlueField, аппаратную основу доверия, изоляцию, защиту обновлений микропрограмм и аттестацию. Компания также подчеркивает, что операторы облачных платформ выбирают разные конфигурации безопасности в соответствии с разными моделями доверия.

Компании подчеркивают, что операторам нужны подтверждения того, какие именно решения были приняты. Контроль доступа к памяти, изоляцию устройств и интерфейсы управления необходимо оценивать с учетом модели угроз конкретного развертывания. Само по себе наличие функции не доказывает, что она настроена правильно.

NVIDIA и Eclypsium также отмечают, что проблема не ограничивается одним поставщиком. Работа систем ИИ зависит от привилегированного программного обеспечения хоста, микропрограмм ускорителей, контроллеров управления и механизмов передачи данных. Конкретные пути различаются в зависимости от архитектуры, но необходимость учитывать эти компоненты остается неизменной.

Почему безопасность агентов зависит и от безопасности инфраструктуры

Ставки повышаются, когда модель может вызывать инструменты, получать доступ к корпоративным данным или инициировать действия. Вмешательство в инфраструктуру может подорвать предположения, на которых основаны средства защиты на уровне приложений: в частности, предположения о том, какая именно модель работает.

Открытая платформа безопасности агентов NVIDIA показывает, как может быть устроена многоуровневая защита. OpenShell обеспечивает управление на этапе выполнения, а NVIDIA Sentry на BlueField работает в изолированном на аппаратном уровне домене безопасности, за пределами хоста и агента. Эта архитектура призвана отслеживать поведение и обеспечивать соблюдение политик из отдельной точки управления.

Такое независимое положение создает и дополнительную обязанность по обеспечению безопасности: управляющее оборудование и его программный стек сами должны оставаться надежными. Перенос средства контроля за пределы приложения уменьшает зависимость от него, но одновременно повышает важность проверки компонента, которому поручено осуществлять этот контроль.

От инвентаризации оборудования к непрерывному подтверждению безопасности

Eclypsium называет «пробелом в контроле целостности инфраструктуры ИИ» разрыв между проверкой надежности моделей и обеспечением целостности инфраструктуры. Ее платформа контроля целостности инфраструктуры ведет учет компонентов, оценивает прошивки и конфигурации, сопоставляет состояние устройств с утвержденными эталонными конфигурациями и отслеживает изменения. Компания рассматривает эти возможности как дополнение к существующим мерам защиты приложений и моделей.

На практике операторам прежде всего нужно учитывать DPU, GPU, контроллеры управления и их прошивки как отдельные активы, находящиеся под индивидуальным управлением. Для каждого из них необходимо определить ответственных, отслеживать версии, оценивать уязвимости и установить понятный порядок обновления. В эту же проверку следует включить доступ к плоскости управления и стороннее программное обеспечение на инфраструктурных процессорах.

Проверки должны сопровождать оборудование на всех этапах: при развертывании, обновлениях, восстановлении после инцидентов и передаче другим пользователям. Чистый образ операционной системы сам по себе не подтверждает, что все компоненты нижнего уровня находятся в утвержденном состоянии. Для общей инфраструктуры такой контроль на протяжении всего жизненного цикла особенно важен, поскольку оборудование может последовательно обслуживать разных клиентов.

Проверка работающей системы, а не только артефакта

Подписи моделей по-прежнему полезны: они позволяют ответить на важный вопрос об артефакте, который загружается. Безопасная загрузка, аттестация, изоляция во время выполнения и непрерывный мониторинг помогают ответить на другие вопросы о системе, которая исполняет модель. Ни один из этих механизмов не следует считать заменой всем остальным.

Важность исследования Eclypsium в том, что модель может пройти одну проверку целостности, даже если другая часть цепочки ее выполнения изменилась. Организациям, внедряющим ИИ в процессы, от которых зависят важные решения, необходимо проверять инфраструктуру наряду с оценкой моделей на протяжении всей эксплуатации.