Індустрія ШІ хоче нашої довіри, але спершу їй потрібні надійніші механізми контролю

У сфері безпеки не чекають, поки щось піде не так, щоб з’ясувати, чи працюють механізми контролю. Їх тестують. Їх перевіряють на міцність. Виходять із того, що рано чи пізно хтось знайде вразливість, яку ми пропустили.

Це основи безпеки.

То чому до передових систем ШІ мають застосовувати інші стандарти?

У міру того як системи ШІ стають автономнішими й отримують ширший доступ до систем реального світу, ми спостерігаємо явище, яке має насторожити кожного, хто працював на боці кіберзахисту: можливості розвиваються швидше, ніж контроль над ними.

А швидкість — не виправдання для послаблення безпеки. Навпаки, саме тому нам потрібен надійніший захист.

У нещодавній оцінці некомерційна організація Guidelight AI проаналізувала загальнодоступні дані про практики контролю ШІ в Anthropic, Google, Meta, OpenAI та xAI. Жодна з компаній не отримала за сукупним результатом оцінки вище за C+.

Це не означає, що ці компанії діють безвідповідально. Це не означає й того, що за зачиненими дверима не застосовують додаткових механізмів контролю.

Але безпека не ґрунтується на припущеннях. Якщо від нас очікують довіри до дедалі потужніших систем, ми маємо вимагати доказів, що механізми контролю навколо них витримають таку саму ретельну перевірку, якої ми вимагали б у будь-якій іншій сфері.

Не сприймаймо збої як просто цікаві історії

Коли ШІ-агент поводиться непередбачувано, отримує ненавмисний доступ або виявляє вразливість, увага в таких історіях зазвичай зосереджується на тому, що зробила технологія.

Це цікаво.

Але це не найважливіше запитання.

Фахівець із безпеки хоче знати: чи реєстрували цю активність? Чи помітив хтось, що відбувається? Чи вимагали небезпечні дії додаткового дозволу? Чи міг хтось зупинити систему? Чи був план ізоляції загрози й чи випробовував його хтось?

Ці запитання стосуються не лише ШІ. Ми ставимо їх у сфері кібербезпеки вже багато років.

Однак запобігання інцидентам і локалізація загроз, схоже, досі залишаються слабкими місцями системи контролю над новітніми передовими розробками ШІ. Загальнодоступних даних про дії, що потребують дозволу, механізми аварійного відключення та невідкладну ізоляцію загроз досі мало.

Це має важити більше, ніж новизна інциденту. Коли щось дає збій, я хочу знати, що саме зламалося, що не дало ситуації погіршитися і що змінилося після цього.

Прозорість корисна. Ще краще — робити висновки.

Справжня проблема безпеки ШІ — швидкість

Не думаю, що найбільшою загрозою найближчим часом стане раптова поява цілком нової категорії кібератак, вигаданої ШІ. Значно практичніша проблема полягає в іншому: ШІ може істотно пришвидшити вже відомі нам атаки.

Дослідження, на які раніше йшли години, можуть тривати лічені хвилини. Методи атак можна швидше поєднувати між собою. Вразливості можна виявити й використати ще до того, як орієнтований на людину процес безпеки дійде до першого дзвінка для ескалації проблеми.

Це проблема, адже значна частина сучасної інфраструктури безпеки досі виходить із припущення, що на реагування буде час.

Але іноді його не буде.

Якщо атака розгортається швидко, процес реагування, побудований на заявках, нарадах, погодженнях і ручній ескалації, може застаріти ще до того, як хтось дійде до третього кроку.

І саме тут індустрії ШІ є над чим працювати.

Якщо передові лабораторії очікують, що підприємства переосмислять видимість, управління вразливостями, архітектуру та реагування на інциденти в епоху ШІ, вони мають показати, що самі зробили те саме.

«Повірте нам» — це не система контролю

Упродовж своєї кар’єри я працював у сфері тестування безпеки, і один принцип незмінно підтверджується: добрі наміри не доводять, що система безпечна. Це доводять факти.

• Проводьте тестування.
• Відстежуйте події.
• Намагайтеся вивести системи з ладу.

З’ясовуйте, що відбувається, коли механізми контролю працюють не так, як передбачено архітектурною схемою. І подбайте, щоб хтось мав повноваження зупинити систему, коли це потрібно. До передових систем ШІ слід застосовувати ті самі стандарти.

Це означає, що механізми контролю потрібно тестувати в умовах навмисного протистояння, підтверджувати їхню ефективність вимірюваними даними й чітко визначати, хто має повноваження вимкнути систему, якщо щось піде не так.

Це також означає, що потрібно переосмислити підхід до ізоляції загроз.

Передові лабораторії не можуть імпровізувати з ізоляцією загроз уже після того, як ШІ-агент вийшов за встановлені для нього межі. Навчаючи й тестуючи дедалі спроможніші моделі, вони мають брати на себе відповідальність за дії, які ці системи можуть виконувати. Для цього потрібні ретельне тестування механізмів контролю в умовах навмисного протистояння, заздалегідь затверджені запобіжні заходи, чіткі обмеження повноважень агентів і перевірені способи втрутитися або вимкнути систему, перш ніж збій пошириться.

Людське судження й надалі має значення. Але лабораторії, які розробляють ці системи, мають установити межі, перевірити, чи дотримуються їх, і нести відповідальність, якщо це не так.

Їхнє завдання — не просто продемонструвати, на що здатен агент. Вони мають показати, що агент може безпечно працювати, що його поведінку можна контролювати, а нові можливості роблять світ безпечнішим, а не небезпечнішим.

Довіру потрібно заслужити

Я не закликаю загальмувати інновації у сфері ШІ. Я кажу, що безпека має розвиватися не відстаючи від них. Якщо ми вкладаємо величезні ресурси в те, щоб зробити ШІ потужнішим, то так само терміново маємо подбати про його захищеність.

Але, прискорюючи навчання й тестування нових моделей ШІ з кіберможливостями, провідні лабораторії мають пам’ятати про тих, хто захищається від загроз. По-перше, допомагати їм швидше виявляти загрози й реагувати на них. А що важливіше — не допускати, щоб ці системи самі ставали загрозами. Це також означає готовність до зовнішнього контролю.

Незалежна оцінка не може бути тим, до чого компанії вдаються лише тоді, коли вона підтверджує потрібний їм наратив. Якщо передові системи ШІ достатньо потужні, щоб змінити ландшафт загроз, то їхні засоби контролю мають бути достатньо надійними, аби витримати повноцінне незалежне тестування.

Індустрія ШІ хоче нашої довіри.

Як фахівець із кібербезпеки, я готовий її виявити. Але спершу покажіть мені засоби контролю.