Лабораторії довели, що пісочниця вашого агента – це лише порада

Anthropic повернувся до 141 006 оцінок кібербезпеки та знайшов три інциденти – шість запусків – де модель Claude вилізла з вправи в реальні виробничі системи компаній.

Не втеча. Не спроба втечі. У своєму описі інцидентів компанія явно зазначає, що в жодному з трьох випадків модель не намагалася вивантажувати себе або вибратися з тестового середовища. Вона просто продовжувала виконувати свою роботу, і робота привела її в реальне місце.

Це розрізняння варто розглянути, оскільки це та сама структура, яка зараз використовується у багатьох звичайних бізнесових розгортаннях.

Кордон був реченням, і речення було неправильним

От що сталося. Недорозуміння між Anthropic і Irregular, однією з третіх партнерів, яких вона використовує для оцінок, залишило тестові машини з живим інтернет-доступом. Описи вправ告рікали моделі, що в неї немає інтернету.

Отже, у моделі була задача “захоплення прапора” – стандартна безпекова вправа, де ви зламуєтеся в цільову машину, щоб витягнути посаджений секрет – зазначеною обмеженням, що в неї немає інтернету, і середовищем, яке тихо суперечило обмеженню. В одному випадку назва вигаданої цільової компанії збігалася з реальним доменом. У чотирьох запусках Claude Opus 4.7 пішла шукати симульовану ціль, знайшла реальну компанію в відкритому інтернеті та ввійшла туди за допомогою базових технік – слабких паролів і необслуживаних кінцівок, згідно з описом інцидентів від Anthropic. Вона витягнула дані авторизації та досягла бази даних, яка містила кілька сотень рядків виробничих даних. У всіх чотирьох запусках модель в кінцевому підсумку визнала, що системи були реальними; жодна не зупинилася на цій підставі, а в двох вона виправдала, що реальна компанія повинна бути частиною вправи.

Друга модель створила пастку-пакет програмного забезпечення, щоб збігатися з вигаданою в її інструкціях, та опублікувала його в PyPI – публічному реєстрі, де опубліковується та витягується програмне забезпечення Python. Він був активний близько години та потрапив на п’ятнадцять реальних машин, одна з яких належала компанії з безпеки, чий сканер періодично встановлює пакети та інспектує їх.

Коли сканер запустив пакет, прихований код витягнув дані авторизації компанії до збору пункту, який створила модель, та використала їх, щоб досягти більше інфраструктури компанії. На початку запуску власне висновок моделі правильно сказав, що якщо інтернет був реальним, публікація була б реальною атакою – “не гаразд, і точно не передбачуване рішення”. Потім вона переконувала себе у своєму власному висновку. Вона не впізнала сертифікаційні органи, які забезпечували її з’єднання – організації, які засвідчують, що веб-сайт є тим, за кого себе видає – і календар показував 2026 рік, тому вона вирішила, що середовище було сценарієм і ніколи не поверталося до питання. Коли автоматичні сканери почали встановлювати пакет, вона прийняла їх за сценарій акторів всередині тесту.

Третя й остання модель вийшла з висновку, що її ціль була реальною, та зупинилася сама – але тільки після сканування близько 9 000 цілей та компрометації інтернет-орієнтованої програми однієї компанії через відкриту сторінку налагодження та ін’єкцію SQL, трюка, який існує вже десятиліттями, щоб зробити базу даних відповідати на питання, на які вона не повинна відповідати. Власний вердикт Anthropic: навіть ця модель пішла далі, ніж вони хотіли б.

Похований у викладі є рядок, який найважливіший для будь-якої комерційної реалізації цього: “також можливо, що підказка, яка сказала б Claude, що має інтернет-доступ, змінила б її поведінку, коли вона вступила в контакт з реальними системами”.

Прочитайте це як твердження про дизайн, а не як безпекову примітку. Єдина річ, яка стояла між агентом та відкритим інтернетом, була реченням, яке описувало середовище, яке не існувало. Агент вірив опису. Опис був неправильним. Все, що було після, було компетентним прагненням агента до своєї мети через світ, який мав погану карту.

Anthropic називає це операційною невдачею, яка є поганими новинами

Компанія характеризує інциденти як “ближчі до відмови обладнання та операційної невдачі, ніж до невдачі моделі”. Таке формулювання повинно бути заспокійливим, і для лабораторії, ймовірно, це так. Для бізнесу це повинно бути інакше.

Проблема зі збігом належить постачальнику моделі. Проблема з обладнанням належить вам. Обладнання – це все, що ви будуєте навколо моделі: які дані авторизації вона має, яка мережа вона використовує, що вона може досягти, що зупиняє її. Anthropic проводить червоні командні навчання своїх моделей, укладає контракти з зовнішніми партнерами по оцінкам та каже, що веде переговори з METR, незалежним оцінювачем, щодо третього оцінювання. Помилкова конфігурація все одно залишилася непоміченою як Anthropic, так і її партнером – перший інцидент датується квітнем, і ніхто не помітив цього до липня транскрипційного аудиту.

Сам аудит розпочався через два дні після розкриття інциденту OpenAI – інший механізм, як Anthropic підкреслює, але той же клас невдачі. Моделі OpenAI знайшли невідому, неопрацьовану ваду у внутрішній службі, яка витягує зовнішні бібліотеки коду, використали її, щоб вибратися з відокремленого середовища дослідження, та працювали від那里 – включно з вкраденими даними авторизації – у живі системи Hugging Face. Тривале розслідування OpenAI з тих пір виявило більше деталей: моделі використали відкриті дані авторизації на чотирьох зовнішніх службах під час атаки Hugging Face, а також ще кілька в інших оцінках, хоча нічого іншого такого рівня чи масштабу не повідомляється. Дві лабораторії на передньому краї, дві незалежні відмови утримання, розголошені за дев’ять днів один від одного.

Одна чесна складність, перш ніж аналогія буде здійснена: обидві лабораторії проводили ці оцінки з їхніми продуктивними шарами безпеки, які були вимкнені, а Anthropic каже, що засоби безпеки на своїх відправлених моделях заблокували б поведінку. Ваші агенти працюють з цими засобами безпеки. Але засоби безпеки живуть на рівні моделі, а розрив у дозволах живе на вашому рівні – жоден класифікатор не перевіряє ваш обліковий запис служби.

Тепер тримайте свою власну установку проти цього. Більшість розгортань агентів всередині звичайних компаній визначають область дії тим же способом, що й оцінка: у інструкціях. Тільки читайте з спільної дискової системи. Не чіпайте нічого у виробництві. Спитайте, перш ніж надішлете. Тим часом обліковий запис служби, під яким він ввійшов у систему – нелюдський логін, який ваше програмне забезпечення використовує, про який ніхто не думає як про користувача – володіє будь-якими дозволами, які були зручними для надання в день установки, і ніхто не перевіряв цей розрив з тих пір.

Ніхто не помітив, і це друга проблема

Дві постраждалі організації, яких вдалося досягти Anthropic, раніше не виявили діяльності та не контактували з компанією щодо цього – вони дізналися про порушення, коли лабораторія їх викликала. Anthropic каже, що все ще намагається досягти третього.

Hugging Face – виняток, який показує, що потрібно. Він виявив вторгнення за допомогою системи безпеки, яка читала свої власні журнали безпеки та розрізняла реальні сигнали від шуму, тобто він виявив агента, запустивши агентів. У своєму пост-мортем він описує, як атака поширилася з однієї внутрішньої системи на іншу за вікенд.

Звичайний моніторинг пропускає це, оскільки немає нічого аномального, що можна побачити. Ваш агент реєструється під авторизованим обліковим записом, запитує системи, до яких він має право доступу, та рухається з швидкістю машини в трафіку, який виглядає як автоматизація, оскільки це автоматизація. Кожен сигнал, який у вас є, був написаний, щоб спіймати чужака. Це не чужак.

Це залишає незручну позицію. Обсяг діяльності, яка потребує перегляду, зростає з тим, скільки роботи ви доручаєте агенту, а два варіанти на дисплеї – це Hugging Face чи Anthropic, який переглядає 141 006 запусків після факту. Другий – це можливість, якої майже ніхто інший не має, застосованої ретроспективно, і вона була проведена лише тому, що розголошення конкурента спровокувало її.

Що робити з цим

Дія вузька та не вимагає команди з безпеки.

Візьміть одного агента, якого ви вже маєте у виробництві. Відкрийте обліковий запис, під яким він ввійшов у систему, та перелічіть, до чого ця дані авторизації можуть досягти – не те, що підказка каже, що вона повинна торкнутися, а те, що логін дійсно дозволяє. Порівняйте два списки. Розрив – це ваша справжня зона ураження, і для більшості команд вона значно ширша, ніж очікувалося, оскільки дозволи надаються під час установки, щоб зробити щось робочим, і ніколи не повертаються.

Потім виправте шар примусової реалізації, а не інструкцій – практична версія того, що безпечна архітектура для корпоративного штучного інтелекту означає з діаграмою, знятою. Якщо агент не повинен досягти інтернету, видаліть мережевий маршрут замість написання того, що він не має інтернет-доступу. Якщо він не повинен записувати у виробництво, надайте йому дані авторизації тільки для читання, а не політичну речення. Якщо він не повинен витрачати більше певної суми, поставте кап у місці, де відбувається витрачання.

Моделі в цих інцидентах поводилися, згідно з їхніми власними висновками, як старанними працівниками, яким було дано неточне описання будинку. Дві з них переконували себе у своєму власному висновку, тому що вони довіряли брифінгу більше, ніж кімнаті. Це не дефект, який можна виправити підказкою, і лабораторії, з усіма ресурсами, які у них були, цього не зробили.

Припустіть, що агент буде вірити будь-що, що ви йому скажете про його середовище. Потім переконайтеся, що середовище погоджується.