Де зупиняються стандарти безпеки штучного інтелекту — і де починається захист у режимі виконання

З усіх розмов про ризики безпеки штучного інтелекту, одна проблема видається невидимою: те, що системи штучного інтелекту функціонують лише шляхом відкриття своїх найцінніших активів — моделей і даних.

На відміну від традиційного програмного забезпечення, штучний інтелект не просто виконує попередньо визначену логіку. Він безперервно поєднує власні моделі з чутливими входами для генерації виходів, часто на інфраструктурі, яка не була спроєктована для захисту обчислень.

У цьому сенсі традиційна безпека виявляється недостатньою. Шифрування ефективне, коли дані зберігаються або передаються через мережу, але не коли дані обробляються або використовуються. Для штучного інтелекту зокрема небезпека виникає, коли модель розгортається. Її параметри завантажуються в пам’ять, ініціалізуються та використовуються в масштабі – момент, коли шифрування зупиняється – відкриваючи її потенційному несанкціонованому доступу. Під час висновку чутливі дані протікають через той самий відкритий простір. Результатом є високоуразлива поверхня ризику: системи штучного інтелекту, які можуть видаватися безпечними – але насправді залишаються незахищеними в найбільш критичних моментах.

Організації зі стандартизації, такі як Національний інститут стандартів і технологій (NIST), Агентство Європейського Союзу з питань кібербезпеки (ENISA) та Відкритий проєкт безпеки веб-додатків (OWASP), почали вивчати цю територію. Вони описують ризики, називають уразливості та викладають принципи управління. Але вони зупиняються перед тим, щоб описати, як захистити моделі як інтелектуальну власність та дані як конфіденційні активи після початку виконання. Замикання цього розриву вимагає переосмислення безпеки штучного інтелекту – не як виконання вимог, а як проблему захисту обчислень самих по собі. Саме тут грає роль шифрування у використанні, або шифрування від початку до кінця.

Сліпа пляма сучасної безпеки штучного інтелекту

Більшість розмов про безпеку штучного інтелекту все ще обертаються навколо знайомої території: управління навчальними даними, контролю доступу, мониторингу API та відповідальних політик користування. Все це необхідно. Однак жодне з них не адресує те, що відбувається після розгортання, коли модель залишає репозиторій і стає живою системою.

Як тільки модель розгорнута, її параметри вже не є абстрактними артефактами. Вони є живими, пам’яттю-резидентними активами, безперервно доступними під час висновку та часто використовуваними кількома орендарями або клієнтами через спільні служби штучного інтелекту. Це відкриття відбувається до того, як буде зроблений будь-який висновковий запит, тим самим посилюючи ризик шляхом введення чутливих входів та зовнішньо спостережуваної поведінки.

Розгляд захисту моделі як передрозгортання та безпеки висновку як проблеми виконання промахується. У реальних системах ці ризики перекриваються. Моделі та дані відкриті протягом ініціалізації, виконання та виходу. Безпека, яка починається та закінчується контролем зберігання, не адресує ці відкриття.

Що правильно робить NIST — і де зупиняється

Фреймворк управління ризиками штучного інтелекту NIST став каменем спотикання для організацій, які намагаються керувати ризиками штучного інтелекту. Його структура – керування, мапування, вимірювання, управління – пропонує дисциплінований спосіб думати про відповідальність, контекст, вплив та пом’якшення ризиків протягом всього життєвого циклу штучного інтелекту.

Що робить NIST особливо добре, так це визначення ризиків штучного інтелекту як системних, а не випадкових. Невдачі штучного інтелекту рідко бувають окремими подіями; вони виникають з взаємодій між моделями, даними, людьми та інфраструктурою. Таке визначення є суттєвим.

Де фреймворк зупиняється, так це у відмові диктувати, як високоцінні активи штучного інтелекту захищаються після того, як системи стають живими. Параметри моделей явно розглядаються як артефакти часу проєктування, а не активи часу виконання. Середовища виконання вважаються довіреними.

На практиці параметри моделей часто є найбільш цінною інтелектуальною власністю, якою володіє організація. Вони завантажуються в пам’ять, копіюються між вузлами, кешуються та повторно використовуються. Якщо управління ризиками штучного інтелекту не розглядає конфіденційність моделей під час розгортання та виконання, критичний актив залишається поза межами ризику, як сидячий качан.

ENISA та реальність загроз, специфічних для штучного інтелекту

Робота ENISA з кібербезпекою штучного інтелекту просунула розмову далі. Її багаторівнева структура розрізняє традиційну інфраструктурну безпеку та ризики, специфічні для штучного інтелекту, визнаючи, що системи штучного інтелекту поводяться інакше – і ламаються інакше – ніж традиційне програмне забезпечення.

Чому це важливо? Штучний інтелект вводить загрози, які не вкладаються в існуючі контролі: витягування моделей, витік параметрів, відкриття співвикористання та порушення під час виконання. Ці ризики не потребують екзотичних нападників. Вони виникають природно, коли високоцінні моделі працюють у спільних або зовнішньо керованих середовищах.

Фреймворк ENISA неявно визнає, що забезпечення безпеки штучного інтелекту означає забезпечення поведінки, а не лише коду. Однак, як і більшість стандартів, він фокусується на тому, що повинно бути розглянуто, а не на тому, як технічні засоби захисту реалізуються після початку виконання моделей.

OWASP та вартість спостережуваної інтелектуальності

Топ-10 OWASP для застосунків великих мовних моделей пропонує більш конкретний погляд на те, як системи штучного інтелекту ламаються в реальному світі. Введення запиту, розкриття чутливої інформації, витік вкладення та надмірна прозорість виходу – це не теоретичні проблеми. Вони є побічними продуктами розгортання потужних моделей без обмеження того, що вони розкривають.

Хоча ці питання часто формулюються як проблеми рівня застосунку, їхні наслідки глибші. Повторне відкриття поведінки моделі може привести до ефективного клонування; погано ізольовані вкладення можуть розкрити структуру; а зловживання висновком стає шляхом до реплікації моделі.

Таксономія OWASP робить одне ясним: захист штучного інтелекту не полягає лише в зупиненні поганих входів. Це обмеження того, що моделі розкривають – внутрішньо та зовнішньо – після того, як вони стають оперативними.

Спільний висновок, незакінчена робота

По всьому NIST, ENISA та OWASP існує широкий консенсус щодо основ:

• Ризик штучного інтелекту охоплює весь життєвий цикл
• Системи штучного інтелекту вводять нові категорії загроз
• Моделі та дані є високоцінними активами
• Відкриття в час виконання є неминучим

Що цих фреймворків бракує, однак, це механізм для забезпечення конфіденційності після розгортання моделей та початку виконання. Це省 є не недоліком, оскільки стандарти визначають намір та сферу застосування. Реалізація зазвичай залишається за розробником системи.

Але вони залишають критичний розрив – той, який розширюється з ростом систем штучного інтелекту.

Шифрування у використанні змінює рівняння

Шифрування у використанні зсуває модель безпеки. Замість припущення, що дані та моделі повинні бути відкритими, щоб бути корисними, воно розглядає обчислення як щось, що можна захистити.

У практичному сенсі це означає:

• Моделі залишаються зашифрованими під час розгортання, ініціалізації та виконання
• Входи ніколи не є видимими в відкритому вигляді для середовища виконання
• Проміжні стани не можуть бути інспектовані або змінені
• Інфраструктура вже не потребує бути неявно довіреною

Це не замінює фреймворки управління чи контролі рівня застосунку – воно оперціоналізує їх. Воно перетворює принципи ризику на виконувані гарантії саме тоді, коли системи штучного інтелекту є найбільш уразливими.

Іншими словами, шифрування у використанні є відсутнім шаром між політикою штучного інтелекту та реальністю штучного інтелекту.

Коли управління закінчується, а виконання починається: Захист обчислень штучного інтелекту

Безпека штучного інтелекту розбивається в час виконання. Як тільки системи штучного інтелекту розгорнуті, моделі та чутливі дані повинні бути відкритими в пам’яті, щоб функціонувати, створюючи поверхню ризику, яку традиційні контролі – шифрування у спочинку, шифрування у передачі та фреймворки управління – не були спроєктовані для захисту.

Організації зі стандартизації, такі як NIST, ENISA та OWASP, зробили критичний прогрес у визначенні ризиків штучного інтелекту, відповідальності та зловживання. Однак їхнє керівництво в основному розглядає моделі як артефакти часу проєктування та припускає, що середовища виконання можуть бути довіреними. На практиці параметри моделей та чутливі входи безперервно доступні, повторно використовуються та часто обробляються в спільних або зовнішньо керованих середовищах.

Замикання цього розриву вимагає переосмислення безпеки штучного інтелекту не як виконання вимог, а як проблему захисту обчислень самих по собі – коли моделі живі, дані використовуються, і відкриття є неминучим. Шифрування у використанні пропонує життєздатний спосіб утримувати моделі та чутливі входи в безпеці протягом кожного етапу життєвого циклу штучного інтелекту.