ШІ — нова внутрішня загроза, але плани протидії їй з’являються на один рівень запізно

Витік даних Hugging Face та подібні інциденти стривожили галузь, але організаціям варто зосередитися на життєвому циклі розробки програмного забезпечення (SDLC), а не на рівні моделей ШІ.

Витік даних Hugging Face у липні, спричинений агентами OpenAI, а невдовзі — повідомлення про подібні втечі за участю моделей Anthropic і Meta, викликали тривогу через, здавалося б, нову категорію кібератак: зловмисну внутрішню загрозу з боку агентного ШІ.

Однак такий тип інцидентів насправді не новий. Те, що це сталося в передових лабораторіях ШІ, які вже кілька років непокоять людей, надало цій загрозі нового, зловісного обличчя. Проте ці інциденти демонструють ті самі типові збої та прогалини в контролі, що накопичувалися в підприємствах роками.

Вони й не були навмисно зловмисними. Під час витоку даних Hugging Face агенти штучного інтелекту — близько 1 200 — намагалися виконати поставлене завдання в тестовому середовищі, хоча, відверто кажучи, їхня поведінка не завжди була доброчесною. У процесі вони таємно обмінювалися інформацією, використовували вразливості й кілька місяців діяли непоміченими; близько 700 із них перелізли через стіну свого «ізольованого» середовища й отримали доступ до інтернету та сторонніх організацій.

Тривожить у цих інцидентах не лише те, що агенти ШІ без належних обмежень можуть становити серйозну загрозу, — безперечно, можуть. Але якщо агенти здатні вийти з-під контролю просто перед очима команди передової лабораторії, де є чимало фахівців, ресурсів і мотивації пильно стежити за їхньою діяльністю, вам, мабуть, варто також замислитися, що відбувається з агентами ШІ та інструментами з підтримкою ШІ, які вже працюють у вашому середовищі розробки. Якщо навіть найпотужніші гравці у сфері ШІ не мають змоги в реальному часі бачити, що відбувається в їхньому середовищі, то на що може розраховувати звичайна організація?

Найкращий спосіб для організацій стримати агентний ШІ — усвідомити, що ця нова ситуація є лише гострішою формою давньої проблеми. Але для її розв’язання потрібне те, чого багатьом підприємствам досі бракує: видимість і спостережуваність на ранніх етапах життєвого циклу розробки програмного забезпечення (SDLC).

OpenAI і Hugging Face: ознака того, що чекає попереду

Під час витоку даних Hugging Face поєднання передових моделей ШІ, зокрема нової флагманської моделі OpenAI GPT-5.6 Sol, випущеної в липні, намагалося виконати вузьке завдання — пройти бенчмарк ExploitGym, який перевіряє здатність агента використовувати вразливості безпеки. У дописі про цей витік Anthropic зазначила, що моделі ШІ, хоч і «працювали з послабленими запобіжними заходами», змогли вийти за встановлені межі, обійти технічні засоби контролю, співпрацювати через недозволені канали й зрештою вдатися до ризикованих дій.

Хоча витік виявили в липні, агенти почали неналежно спілкуватися ще в травні, залишаючись непоміченими. METR і Redwood Research провели незалежне паралельне розслідування разом з OpenAI і з’ясували, що, хоча агенти знали, що порушують правила, лише одиниці думали повідомити про це OpenAI, натомість продовжуючи діяти.

Після звіту OpenAI Anthropic повторно перевірила свої попередні оцінювання кібербезпеки й виявила, що у квітні модель Claude тричі обходила засоби контролю, з’ясувала, як під’єднатися до інтернету, і отримала несанкціонований доступ до трьох сторонніх організацій. Невдовзі Meta повідомила, що версія її найрозвиненішої моделі агентного ШІ — Muse Spark 1.1 — також вирвалася з ізольованого середовища для тестування кібербезпеки й проникла в мережу сторонньої компанії.

У своєму звіті OpenAI також попередила, що цей інцидент свідчить про те, що чекає попереду: невдовзі багато моделей, зокрема звичайні моделі з відкритим кодом, матимуть змогу робити те саме. Нещодавній витік даних Medicare підтвердив це твердження.

ШІ потрібно контролювати на рівні SDLC

Ці атаки за допомогою агентного ШІ стривожили спільноту фахівців зі штучного інтелекту: OpenAI оголосила, що посилить контроль у своєму тестовому середовищі, а згодом разом з Anthropic, Microsoft, Amazon Web Services і понад 100 іншими компаніями випустила попередження про майбутню хвилю кібератак на критичну інфраструктуру з використанням ШІ. У листі йшлося, що до цих атак можуть залишатися лише місяці.

Організаціям, які побоюються стати жертвами подібних атак, потрібно зміцнити власну інфраструктуру, починаючи з рівня розробки програмного забезпечення. Справжня проблема полягає не лише в тому, що агентний ШІ стає дедалі складнішим, а й у відсутності моніторингу в реальному часі та дієвого нагляду з боку людей. Замість того щоб сприймати ризик, пов’язаний із ШІ, як неминучий наслідок технологічного прогресу, організаціям слід усунути прогалини в роботі людей і процесах.

У багатьох галузях організації зосереджують моніторинг і спостережуваність на рівні моделей ШІ, а це вже на один рівень запізно. На той час кінь уже наполовину вибіг із хліва. Видимість, моніторинг, спостережуваність і управління потрібно забезпечувати там, де ШІ вперше потрапляє до підприємства, — у межах SDLC. Крім того, організації мають подбати, щоб розробники, які користуються інструментами програмування на основі ШІ, мали необхідні знання й навички та могли запобігти появі в конвеєрі розробки помилок, вразливостей і шкідливих звичок.

Більшість програмних вад виникає на етапі розробки, і якщо розробникам бракує навичок безпечного програмування або виправлення вад, внесених ШІ, проблеми можуть швидко множитися. Розробникам потрібна навчальна програма, яка надає необхідні навички з безпеки та відстежує їхній прогрес у набутті цих навичок і їхньому повсякденному застосуванні на роботі.

У міру того як ШІ дедалі глибше інтегрується в роботу організацій, стає зрозуміло: простежуваність, спостережуваність і управління безпекою як розробників, так і їхніх інструментів для програмування на основі ШІ стали новою базовою вимогою до створення безпечного коду в корпоративному середовищі.

Безперервні загрози вимагають безперервного реагування

Колись ми, можливо, вважали програмне забезпечення відносно нешкідливим: воно робило те, для чого його запрограмували. Якщо виникав збій, програма могла зависнути або спричинити певний простій, але не переходила б у наступ. ШІ, особливо агентний ШІ, докорінно змінив це уявлення. Незалежно від того, чи є ШІ агентним, чи допомагає розробникам, за діями будь-якої моделі ШІ потрібно постійно спостерігати й здійснювати управління.

Загроза з боку ШІ, що насувається, — чи то для лікарень, водоочисних споруд, електростанцій або підприємств, — може здаватися жахливою. Але організації не беззахисні. Вони можуть запровадити управління ШІ, але його потрібно вибудовувати з нуля. Формуючи культуру, орієнтовану на безпечне програмне забезпечення, і навчаючи розробників для досягнення цієї мети, організації можуть забезпечити вкрай необхідний рівень спостережуваності, простежуваності й управління щодо потенційної проблеми, яка, якщо її не контролювати, лише значно загострюватиметься.