Де зупиняються стандарти безпеки ШІ — і де має починатися захист під час виконання

Серед усіх розмов про ризики безпеки ШІ одна проблема, здається, залишається поза увагою: той факт, що системи штучного інтелекту функціонують лише через розкриття своїх найцінніших активів — моделей та даних.

На відміну від традиційного програмного забезпечення, ШІ не просто виконує наперед визначену логіку. Він постійно поєднує власні моделі з чутливими вхідними даними для генерації результатів, часто на інфраструктурі, яка не була розроблена для захисту обчислень.

Таким чином, традиційна безпека не справляється. Шифрування ефективне, коли дані зберігаються або передаються мережею, але не коли дані обробляються або над ними виконуються операції. Особливо для ШІ небезпека виникає, коли модель розгортається. Її параметри завантажуються в пам’ять, ініціалізуються та використовуються в масштабі – саме в той момент, коли шифрування припиняється, – що робить її вразливою до потенційного несанкціонованого доступу. Під час інференції чутливі дані проходять через той самий незахищений простір. Результатом є високо вразлива поверхня ризику: системи ШІ, які можуть здаватися захищеними, але насправді є незахищеними в найкритичніші моменти.

Організації зі стандартизації, такі як Національний інститут стандартів і технологій (NIST), Агентство Європейського Союзу з кібербезпеки (ENISA) та Open Web Application Security Project (OWASP), почали досліджувати цю територію. Вони описують ризики, називають вразливості та окреслюють принципи управління. Але вони не пропонують, як захищати моделі як інтелектуальну власність і дані як конфіденційні активи після початку виконання. Для заповнення цієї прогалини потрібно переосмислити безпеку ШІ – не як вправу з дотримання вимог, а як проблему самих обчислень. Саме тут свою роль відіграє шифрування під час використання або сквозне шифрування.

Сліпа пляма в сучасній безпеці ШІ

Більшість розмов про безпеку ШІ все ще обертаються навколо знайомих тем: управління навчальними даними, контроль доступу, моніторинг API та політики відповідального користування. Це необхідно. Однак жодна з них не стосується того, що відбувається після розгортання, коли модель залишає сховище та стає живою системою.

Після розгортання параметри моделі вже не є абстрактними артефактами. Вони є живими активами в пам’яті, до яких постійно звертаються під час інференції, і які часто використовуються кількома клієнтами через спільні сервіси ШІ. Це розкриття відбувається ще до будь-якого запиту на інференцію, посилюючи ризик через введення чутливих вхідних даних та зовнішньо спостережуваної поведінки.

Розглядати захист моделі як проблему до розгортання, а безпеку інференції як проблему часу виконання – це неправильний підхід. У реальних системах ці ризики перекриваються. Моделі та дані розкриваються під час ініціалізації, виконання та виведення результатів. Безпека, яка починається і закінчується контролем сховища, не вирішує цих проблем.

Що NIST робить правильно — і де він зупиняється

Рамки управління ризиками ШІ NIST стали наріжним каменем для організацій, які намагаються керувати ризиками ШІ. Її структура – керування, картографування, вимірювання, управління – пропонує системний спосіб мислення про підзвітність, контекст, вплив та пом’якшення протягом усього життєвого циклу ШІ.

Що NIST робить особливо добре – це формулює ризики ШІ як системні, а не випадкові. Збої ШІ рідко є одноточковими подіями; вони виникають із взаємодії між моделями, даними, людьми та інфраструктурою. Таке формулювання є важливим.

Де рамки не справляються – це нездатність вказати, як захищати високоцінні активи ШІ після запуску систем. Параметри моделі неявно розглядаються як артефакти етапу проектування, а не як активи часу виконання. Передбачається, що середовища виконання є достатньо довіреними.

На практиці параметри моделі часто є найціннішою інтелектуальною власністю, якою володіє організація. Вони завантажуються в пам’ять, копіюються між вузлами, кешуються та повторно використовуються. Якщо управління ризиками ШІ не враховує конфіденційність моделей під час розгортання та виконання, критичний актив залишається поза межами зони ризику, ніби мішень.

ENISA та реальність специфічних загроз для ШІ

Робота ENISA з кібербезпеки ШІ просуває розмову далі. Її багаторівнева структура розрізняє традиційну безпеку інфраструктури та специфічні ризики ШІ, визнаючи, що системи ШІ поводяться інакше – і ламаються інакше – ніж звичайне програмне забезпечення.

Чому це важливо? ШІ вводить загрози, які не вписуються акуратно в існуючі механізми контролю: вилучення моделі, витік параметрів, ризики спільного розміщення та підробка під час виконання. Для цих ризиків не потрібні екзотичні атакувальники. Вони виникають природним чином, коли високоцінні моделі працюють у спільних або зовнішньо керованих середовищах.

Структура ENISA неявно визнає, що забезпечення безпеки ШІ означає захист поведінки, а не лише коду. Але, як і більшість стандартів, вона зосереджена на тому, що слід враховувати, а не на тому, як технічно забезпечуються заходи захисту після запуску моделей.

OWASP та ціна спостережуваного інтелекту

Топ-10 OWASP для додатків з великими мовними моделями пропонує більш конкретний погляд на те, як системи ШІ ламаються в реальному світі. Ін’єкція запитів, розкриття конфіденційної інформації, витік ембеддингів, надмірна прозорість виводу – це не теоретичні проблеми. Це побічні продукти розгортання потужних моделей без обмеження того, що вони розкривають.

Хоча ці проблеми часто розглядаються як проблеми рівня додатків, їх наслідки глибші. Повторне розкриття поведінки моделі може призвести до ефективного клонування; погано ізольовані ембеддинги можуть розкрити структуру; а зловживання інференцією стає шляхом до реплікації моделі.

Таксономія OWASP робить одне ясним: захист ШІ – це не просто блокування поганих вхідних даних. Це обмеження того, що моделі розкривають – внутрішньо та зовнішньо – після того, як вони починають працювати.

Спільний висновок, незавершена робота

Серед NIST, ENISA та OWASP існує широка згода щодо основ:

• Ризики ШІ охоплюють весь життєвий цикл
• Системи ШІ вводять нові категорій загроз
• Моделі та дані є високоцінними активами
• Розкриття під час виконання неминуче

Однак чого не вистачає цим структурам, так це механізму для забезпечення конфіденційності після розгортання моделей та початку обчислень. Це недолік, оскільки стандарти визначають наміри та сферу застосування. Реалізація зазвичай залишається на розсуд розробника системи.

Але вони залишають критичну прогалину – яка розширюється в міру масштабування систем ШІ.

Шифрування під час використання змінює рівняння

Шифрування під час використання змінює модель безпеки. Замість припущення, що дані та моделі мають бути розкриті, щоб бути корисними, воно розглядає обчислення як щось, що можна захистити.

Практично це означає:

• Моделі залишаються зашифрованими під час розгортання, ініціалізації та виконання
• Вхідні дані ніколи не є видимими у відкритому вигляді для середовища виконання
• Проміжні стани не можуть бути перевірені або змінені
• Інфраструктура більше не потребує неявної довіри

Це не замінює рамки управління або засоби контролю на рівні додатків – це впроваджує їх у життя. Це перетворює принципи ризику на гарантії, що можна забезпечити, саме коли системи ШІ є найбільш вразливими.

Іншими словами, шифрування під час використання – це відсутній шар між політикою ШІ та реальністю ШІ.

Коли управління закінчується і починається виконання: Захист обчислень ШІ

Безпека ШІ ламається під час виконання. Після розгортання моделі ШІ та чутливі дані мають бути розкриті в пам’яті для функціонування, створюючи поверхню ризику, яку традиційні засоби контролю – шифрування даних у спокої, шифрування даних під час передачі та рамки управління – ніколи не були розроблені для захисту.

Організації зі стандартизації, такі як NIST, ENISA та OWASP, зробили критичний прогрес у визначенні ризиків ШІ, підзвітності та зловживань. Але їхні рекомендації в основному розглядають моделі як артефакти етапу проектування та припускають, що середовищам виконання можна довіряти. На практиці параметри моделей та чутливі вхідні дані постійно доступні, повторно використовуються та часто обробляються в спільних або зовнішньо керованих середовищах.

Для заповнення цієї прогалини потрібно переосмислити безпеку ШІ не як вправу з дотримання вимог, а як проблему захисту самих обчислень – коли моделі активні, дані використовуються, а розкриття є неминучим. Шифрування під час використання пропонує життєздатний спосіб забезпечити безпеку моделей ШІ та чутливих вхідних даних на кожному етапі життєвого циклу ШІ.