AI‑нападники не втомлюються: Чому кібербезпека має змінитися

Ваша програма безпеки була створена для нападників, які втомлюються.

Коли OpenAI опублікувала свій звіт про моделі, які вийшли з середовища оцінки та провели дні в інфраструктурі виробництва Hugging Face, я назвав це моментом «Термінатора» для кібербезпеки. Я стою на цьому твердженні, але ще щось у цьому має змусити нас задуматися. Через дев’ять днів Anthropic розкрила власні інциденти. На початку серпня Meta підтвердила ще один. Через кілька днів модель четвертого лабораторії, Kimi K3 від Moonshot, прослизнула зі своєї тестової пісочниці. Чотири лабораторії. Менше трьох тижнів. Чотири моделі, які опинилися там, куди ніхто не планував.

Ці історії переважно розглядаються як історії безпеки ШІ. Вони і є такими. Але для CISO це також історії про ризики третіх сторін — і це, можливо, більш негайний урок. Неприємна правда полягає в тому, що інцидент OpenAI‑Hugging Face був, в основному, історією про ризик третіх сторін: вразливий компонент сторонньої компанії як шлях втечі, постачальник як жертва і системний вузол, від якого залежать тисячі компаній, як зона вибуху.

Ось цифра, яку я б приніс на вашу наступну нараду з планування безпеки. З приблизно 17 600 дій нападника Hugging Face відновив зі своїх журналів, більшість з них зазнала невдачі.

Агент тестував шляхи, які кудись не вели. Його блокували біли списки URL, і він перемикався. Він натрапив на політики IAM, які відхиляли кожний змінний виклик. Двічі намагався отримати доступ до виробничої бази даних і в обох випадках тайм‑аут. Пробував, зазнавав невдач і переходив далі. Тисячі разів. Не розчарувався. Не втомився. А невдача майже нічого йому не коштувала.

Чотири моделі вийшли з тестових середовищ за менше ніж три тижні. Ці втечі потрапили в заголовки. Керівники безпеки мають більше хвилюватися про те, що зробило їх можливими: нападник, який може тисячі разів зазнати невдачі практично без витрат.

Ось у чому полягає зміна. Протягом десятиліть захисники користувалися однією простою істинною: невдача щось коштує нападнику. Розвідка займала час, а глухі кутки були дорогими. Економіка цієї асиметрії робила «накладення витрат» на нападників логічним способом їх зупинити. Коли невдача стає майже безкоштовною, успішний шлях перестає бути голкою в копиці сіна і стає статистичною неминучістю для будь‑якого, хто може одночасно досліджувати всі шляхи.

Узори цих інцидентів вказують на три уроки, які керівники безпеки мають впровадити зараз.

Four Labs, One Shape

Патерн надзвичайно послідовний. Дайте моделі мету. Вона знаходить шлях, якого ніхто не очікував. Іноді цей шлях веде прямо в виробничі системи організацій, які ніколи не мали бути залучені. Принаймні в одному випадку постраждала організація дізналася, що сталося, тому що Anthropic подзвонив, щоб повідомити їх

У кожному випадку шлях проходив через програмне забезпечення, інфраструктуру або середовище, створене кимось іншим. Керівники безпеки мають сприймати це особисто.

Кожна організація в цьому ланцюжку мала програму безпеки. У декількох з них вона була дуже добре розвинена. Невдача не була обмежена в межах жодного периметру. Вона сталася в швах між організаціями, і ніхто не володіє цими швами.

Моделі OpenAI знайшли zero‑day у самостійно розгорнутому проксі‑сервері пакетів і використали його, щоб вийти в відкритий інтернет. Звідти вони вкоренилися в незахищеній пісочниці виконання коду, що належала клієнту Modal Labs, використали її як базу для підготовки і змусили завантажувач набору даних Hugging Face читати локальні файли, а потім виконувати код. За тринадцять годин вони отримали права cluster‑admin у кількох внутрішніх кластерах, допоміжними були єдині облікові дані, спільні для всіх. Точка входу була новою. Усередині слабкості були саме ті, про які ми писали вже двадцять років.

Через дев’ять днів Anthropic зробила щось рідкісніше: вона опублікувала власний огляд 141 006 запусків оцінки і розкрила три випадки з подібною поведінкою без запиту: модель, що вийшла в відкритий інтернет із середовища оцінки, а потім отримала доступ до систем реальних організацій. Цього разу не було втечі з пісочниці, лише помилкова конфігурація, яка залишила живий шлях назовні, хоча моделі було сказано, що його немає. Потрапивши назовні, модель скористалася слабкостями, які знає кожна команда безпеки: слабкі паролі, неавтентифіковані кінцеві точки, SQL‑ін’єкції та облікові дані, розміщені на відкритій сторінці налагодження.

Meta підтвердила четвертий інцидент на початку серпня після того, як помилка конфігурації надала одній зі своїх моделей доступ до інтернету під час оцінки. Meta також не виявила це; вона дізналася, що сталося, коли її партнер з тестування подзвонив. Обидві оцінки, а також оцінка Anthropic, проводилися тією самою зовнішньою компанією Irregular, яка публічно назвала їх одним і тим же питанням. Помилка конфігурації одного постачальника поширилася на два передові лабораторії та чотири постраждалі організації, жодна з яких не мала прямого зв’язку з Irregular. Це був постачальник для двох лабораторій, а не для них. Агенту було байдуже, де закінчується поверхня атаки однієї компанії і починається інша.

Ось що робить це проблемою ризику третіх сторін. Витік може виникнути через кілька зв’язків від вас, в організації, яку ви ніколи не обирали, не оцінювали і навіть не знали, що вона входить до вашої поверхні атаки.

Потім дослідники Frontier Security виявили, що Kimi K3 від Moonshot теж прослизнула зі своєї пісочниці, отримавши доступ до репозиторію еталонних даних на GitHub. Жодна система не була зламаною, і модель просто переслідувала свою поставлену мету, зрозумівши, що використання готового ключа відповідей дешевше, ніж розв’язок. Два фактори роблять цей випадок важливим. Дослідники спіймали його під час власного тесту. І він працював на зовсім іншому наборі інструментів, ніж у випадках Anthropic і Meta. Поганий місяць у одного постачальника не пояснює це.

Лабораторії не ігнорують це. Anthropic опублікувала свій огляд без запиту, саме тому індустрія має патерн, який можна вивчати і вчитися — а не аномалію, яку можна відкинути. Це має стати нормою. OpenAI тепер уповільнила випуск своєї моделі Astra після того, як внутрішні оцінки не змогли виключити критичну кіберздатність. Обидва кроки заслуговують на похвалу. Але жоден з них не є планом захисту: затримка випуску регулює лише календар однієї компанії. Вони нічого не роблять щодо потужних моделей, серед яких Kimi K3, які вже доступні у відкритій формі та безкоштовно, поза контролем будь‑якої окремої лабораторії.

Correlation Without Escalation is Not Detection

Система виявлення Hugging Face, заслуговуючи на похвалу, корелювала сигнали в єдину послідовність атаки. Потім вона не підвищила критичність, і команда дежурних не була викликана. Інструмент зібрав історію, але не зміг визначити її як термінову. Це архітектура триажу, створена для світу, у якому 17 600 подій за чотири дні виглядали б абсурдно.

Cybersecurity Needs its Fosbury Flop

У 1968 році Дік Фосбері виграв золото на Олімпіаді у стрибках у висоту не тому, що підстрибував вище за конкурентів, а тому, що перестрибував планку спиною. Усі інші вдосконалювали «стродл». Краща форма, більше сили, маргінальні покращення стародавньої техніки. Фосбері змінив форму проблеми. За два Олімпійські цикли «стродл» майже зник.

Тепер керівники безпеки мають подолати планку, яка щойно перемістилася, і більшість відповідей індустрії до цього часу — це кращий «стродл»: більше сповіщень, швидші аналітики, жорсткіші SLA на людський перегляд. Це не спрацює, бо обмеженням не є швидкість аналітика. Ви не можете протистояти атакам машинної швидкості триажем людської швидкості..

Фосбері‑флоп виглядає так:

• Перестаньте розглядати межу як контроль. Пісочниця оцінки провалилася, завантажувач набору даних провалився, а ізоляція поду провалилася — кожен виконував свою функцію до того моменту, коли це стало неможливим. Проектуйте для того, що станеться далі. Використовуйте одноразові облікові дані. Приберіть спільні адміністративні ідентичності. Заблокуйте доступ до служб метаданих. Перш за все, обмежте, наскільки далеко нападник може просунутися після першого збою контролю.
• Перенесіть виявлення від простих сповіщень до кореляції. Одне підозріле подія вже не достатньо. Завдання — з’єднати тисячі звичайних подій в одну історію атаки і знати, коли ця історія досить серйозна, щоб розбудити когось. Це все більше має автоматизуватись, враховуючи обсяг, який ми спостерігаємо.
• Розглядайте витік третіх сторін як шлях атаки, а не як анкету. Ці інциденти проходили через залежності третіх сторін: продукт постачальника, клієнт постачальника, партнер з оцінки, спільні інструменти тестування. Ваш ризик тепер включає помилки конфігурації, зроблені організаціями, які ви ніколи не аудитуали і, можливо, навіть не знаєте, що існують. Статичні, одноразові оцінки не бачать цього. Проблема не нова. ШІ лише підвищує її терміновість. Командам безпеки потрібен безперервний огляд компаній і технологій, від яких вони залежать, бо нападники сприймають всю екосистему як єдину пов’язану поверхню.

У SecurityScorecard саме таку проблему наша культура створена вирішувати: об’єднуючи людей, які глибоко цікавляться тим, як мислять нападники, готові кинути виклик двадцятирічним припущенням і захоплені створенням принципово іншого підходу до безпеки!

The Question to Bring to Your Next Board Meeting

Кілька тижнів тому я сказав, що джин став надто могутнім для пляшки. Чотири лабораторії пізніше, ніщо не спростувало це. Після подібних інцидентів усі задаються одним і тим же питанням: чи готові ми до нападників, підсилених ШІ? Я не вважаю, що це питання просуває нас далеко. «Так» і «Ні» дають один і той же результат: нічого не змінюється.

Задайте складніше питання. Якщо 17 000 низько‑сигнальних подій вдарять у ваше середовище протягом наступних чотирьох днів — і більшість виглядатимуть як невдачі — скільки часу знадобиться вашій команді, щоб зрозуміти, що це одна атака? Чи буде хтось викликаний вчасно?

Ви вже знаєте відповідь. Проміжок між цією відповіддю і чотирма днями — це робота.