Дослідження Eclypsium показало, як скомпрометоване обладнання може змінювати моделі ШІ під час виконання

Eclypsium продемонструвала, як скомпрометована обчислювальна інфраструктура може змінювати поведінку моделі ШІ під час інференсу, тоді як її початкові файли залишаються недоторканими. Дослідження, опубліковане 29 жовтня під назвою Надійний ШІ потребує надійної інфраструктури, показує, чому перевірка підпису моделі або хешу файлу не підтверджує цілісність моделі, що виконується в пам’яті.

У контрольованій демонстрації за підтримки NVIDIA дослідники використали скомпрометований блок обробки даних (DPU) разом із недостатньо суворою ізоляцією пам’яті, щоб змінити ваги моделі під час виконання. Відповіді моделі змінилися, хоча збережену модель або сервіс інференсу не модифікували. Цей результат свідчить, що обладнання, мікропрограми та конфігурація пристроїв належать до периметра безпеки ШІ.

Інший спосіб змінити модель ШІ

У дискусіях про безпеку ШІ часто зосереджуються на зловмисних запитах, отруєних навчальних даних і небезпечному використанні інструментів. У цьому дослідженні розглядається нижчий рівень — інфраструктура, яка зберігає та передає параметри моделі під час її роботи.

Ваги — це числові параметри, які визначають відповіді моделі. Дійсний файл на диску можна завантажити в пам’ять, а згодом змінити за допомогою компонента з достатніми привілеями. Під час подальшої перевірки початкового файлу в ньому й надалі виявляються очікувані байти, хоча відповідь було згенеровано на основі зміненого стану під час виконання.

Демонстрація Eclypsium наочно показала, як змінився результат аналізу геополітичного питання. Ширше занепокоєння полягає в тому, що маніпуляції під час виконання можуть впливати й на інші чутливі сфери застосування, зокрема на генерування коду та автоматизоване ухвалення рішень. Ці можливі наслідки слід відрізняти від конкретної поведінки, продемонстрованої в лабораторії.

Твердження про те, що зміни залишаються непоміченими, також має чітко визначені межі: перевірки цілісності збереженої моделі, використані під час демонстрації, не виявили змін у пам’яті. Це не доводить, що їх неможливо виявити за допомогою будь-яких інших засобів моніторингу чи судово-технічного аналізу.

Умови атаки мають значення

Випробування проводили в середовищі NVIDIA Grace Hopper. Канал прямого доступу до пам’яті залежав від скомпрометованого компонента з привілеями та параметрів конфігурації, які дозволяли доступ до чутливої пам’яті. Дослідники називають важливими умовами режим наскрізного доступу IOMMU та недостатньо сувору ізоляцію PCIe, окремо зазначаючи, що такі налаштування не є типовими в Linux.

IOMMU допомагає контролювати, до яких ділянок пам’яті може звертатися периферійний пристрій. У конфігурації з посиленою ізоляцією, яку випробували дослідники, той самий прямий канал був недоступний. Отже, цей результат підкреслює важливість перевірки фактичних параметрів розгортання, а не припущення, що встановлений засіб безпеки справді забезпечує ізоляцію.

DPU — це програмований інфраструктурний процесор, який використовують для мережевих сервісів, зберігання даних і безпеки. Здатність ефективно передавати дані є цінною, але привілеї, потрібні для законних інфраструктурних функцій, можуть становити небезпеку, якщо зловмисник отримає контроль над компонентом.

Відповідь NVIDIA: перевіряйте межі довіри

У описі співпраці NVIDIA розповідає про автентифіковане завантаження BlueField, довіру на апаратному рівні, ізоляцію, засоби захисту оновлень мікропрограм і атестацію. Компанія також наголошує, що оператори хмарних сервісів обирають різні конфігурації безпеки відповідно до різних моделей довіри.

Компанії наголошують, що операторам потрібні докази правильності зробленого вибору. Контроль доступу до пам’яті, ізоляцію пристроїв та інтерфейси керування необхідно оцінювати з огляду на модель загроз конкретного розгортання. Сама лише наявність функції не свідчить про те, що її налаштовано правильно.

NVIDIA та Eclypsium також зазначають, що ця проблема стосується не лише одного постачальника. Робота систем ШІ залежить від привілейованого програмного забезпечення хоста, мікропрограм прискорювачів, контролерів керування та засобів передавання даних. Конкретні шляхи взаємодії різняться залежно від архітектури, але потреба враховувати ці компоненти залишається.

Чому безпека агентів залежить також від безпеки інфраструктури

Ризики зростають, коли модель може викликати інструменти, отримувати доступ до корпоративних даних або ініціювати дії. Втручання в інфраструктуру може підірвати припущення, на яких ґрунтуються засоби захисту на рівні застосунку щодо того, яка саме модель працює.

Open Agent Safety Platform від NVIDIA демонструє багаторівневий підхід до захисту. OpenShell забезпечує контроль під час виконання, а NVIDIA Sentry на BlueField працює в ізольованому на апаратному рівні домені безпеки, поза межами хоста й агента. Архітектура має на меті відстежувати поведінку та забезпечувати дотримання політик із окремої точки керування.

Таке незалежне розташування створює ще один обов’язок у сфері безпеки: саме обладнання для забезпечення контролю та його програмний стек мають залишатися надійними. Перенесення засобу контролю за межі застосунку зменшує залежність від нього, водночас підвищуючи важливість перевірки компонента, якому доручено цей контроль.

Від обліку обладнання до безперервного підтвердження безпеки

Eclypsium називає розбіжність між забезпеченням надійності моделей і цілісністю інфраструктури «розривом у забезпеченні надійності інфраструктури ШІ». Її платформа для забезпечення надійності інфраструктури веде облік компонентів, оцінює мікропрограми та конфігурації, зіставляє стан пристроїв із затвердженими базовими конфігураціями й відстежує зміни. Компанія позиціонує ці можливості як доповнення до наявних засобів захисту застосунків і моделей.

Для операторів практична робота починається з того, що DPU, GPU, контролери керування та їхні мікропрограми розглядають як окремі активи, якими потрібно управляти. Для кожного з них необхідно визначити відповідальних, відстежувати версії, оцінювати вразливості та мати чітко визначений процес оновлення. Доступ до площини керування й стороннє програмне забезпечення на процесорах інфраструктури також мають бути охоплені цією перевіркою.

Перевірки мають супроводжувати обладнання також під час розгортання, оновлень, відновлення після інцидентів і повторного призначення. Чистий образ операційної системи сам по собі не підтверджує, що всі компоненти нижчого рівня перебувають у затвердженому стані. У спільній інфраструктурі цей життєвий цикл має особливе значення, оскільки обладнання може обслуговувати різних клієнтів одного за одним.

Перевірка системи під час роботи, а не лише артефакту

Підписи моделей залишаються корисними: вони дають відповідь на важливе запитання про артефакт, який завантажується. Безпечне завантаження, атестація, ізоляція під час виконання та безперервний моніторинг дають відповіді на інші запитання про систему, у якій ця модель виконується. Жоден із цих засобів не слід вважати заміною всіх інших.

Важливість дослідження Eclypsium полягає в тому, що модель може пройти одну перевірку цілісності, тоді як інша частина ланцюжка її виконання зазнала змін. Організаціям, які впроваджують ШІ у процеси з істотними наслідками, необхідно перевіряти інфраструктуру протягом усього періоду експлуатації, паралельно з оцінюванням моделей.