Дослідження свідчать, що великомасштабні мови моделі готові допомогти у зловмисному “Vibe Coding”

За останні кілька років великомасштабні мови моделі (LLM) піддаються критиці за їх потенційне неправильне використання в області кібербезпеки, особливо у генерації програмних експлойтів.

Нещодавній тренд до “vibe кодування” (неформальне використання мовних моделей для швидкої розробки коду для користувача, замість явного навчання користувача програмуванню) знову підняв концепцію, яка досягла свого піку в 2000-х роках: “скрипт-кидді” – відносно некваліфікований зловмисний актор з мінімальними знаннями для реплікації або розробки шкідливої атаки. Враження, природно, полягає в тому, що коли бар’єр для входу знижується, загрози будуть множитися.

Всі комерційні LLM мають деякий захист проти використання для таких цілей, хоча ці захисні заходи знаходяться під постійною атакою. Зазвичай, більшість моделей з відкритим кодом (у кількох галузях, від LLM до генерації зображень/відео) випускаються з деяким захистом, зазвичай для дотримання вимог у західних країнах.

Однак, офіційні випуски моделей потім регулярно дофінуються користувачами, які шукають більш повну функціональність, або ж використовуються LoRAs для обходу обмежень і потенційного отримання “небажаних” результатів.

Хоча більшість онлайн-LLM запобігає допомозі користувачеві у зловмисних процесах, “незакріплені” ініціативи, такі як Deep Hat, доступні для допомоги дослідникам безпеки працювати на рівні зі своїми противниками.

Загальний досвід користувача на даний момент найчастіше представлений у серії ChatGPT, чий механізм фільтрації часто піддається критиці з боку рідної спільноти LLM.

Відбується спроба атаки на систему!

У світлі цієї тенденції до обмеження і цензури користувачі можуть бути здивовані, дізнавшись, що ChatGPT виявився найбільш співпрацюючим серед усіх тестованих LLM у недавньому дослідженні, призначеному для примусу мовних моделей до створення шкідливих кодових експлойтів.

Нова стаття від дослідників з UNSW Sydney і Commonwealth Scientific and Industrial Research Organisation (CSIRO), під назвою Хороші новини для скрипт-кидді? Оцінка великомасштабних мовних моделей для автоматичної генерації експлойтів, пропонує першу систематичну оцінку того, наскільки ефективно ці моделі можуть бути спровоковані на виробництво робочих експлойтів. Приклади розмов з дослідження були надані авторами.

Дослідження порівнює, як моделі виконувалися на оригінальних і модифікованих версіях відомих уразливостей (структурованих програмних вправ, призначених для демонстрації конкретних програмних недоліків безпеки), що допомагає виявити, чи вони покладалися на запам’ятовані приклади або боролися через вбудовані обмеження безпеки.

З підтримуючого сайту, Ollama LLM допомагає дослідникам розробити атаку на уразливість рядка. Джерело: https://anonymous.4open.science/r/AEG_LLM-EAE8/chatgpt_format_string_original.txt

Хоча жодна з моделей не змогла створити ефективний експлойт, кілька з них прийшли дуже близько; більш важливо, кілька з них хотіли зробити краще в цій задачі, що вказує на потенційну невдачу існуючих підходів до захисту.

Стаття зазначає:

‘Наші експерименти показують, що GPT-4 і GPT-4o виявили високий рівень співпраці у генерації експлойтів, порівнянний з деякими нецензурованими відкритими моделями. Серед оцінених моделей Llama3 був найбільш стійким до таких запитів.

‘Незважаючи на їхню готовність допомогти, фактична загроза, яку становлять ці моделі, залишається обмеженою, оскільки жодна з них не змогла успішно створити експлойти для п’ятиCustomAttributes коду. Однак GPT-4o, найсильніший виконавець у нашому дослідженні, зазвичай робив тільки одну або дві помилки за спробу.

‘Це свідчить про значний потенціал для використання LLM для розробки просунутих, узагальнених [Автоматичної генерації експлойтів (AEG)] технік.’

Багато других шансів

Істина “Ви не отримуєте другого шансу зробити хороше перше враження” не застосовується до LLM, оскільки обмежений контекстний вікно мовної моделі означає, що негативний контекст (у соціальному сенсі, тобто антагонізм) не постійний.

Розгляньте: якщо ви пішли до бібліотеки і попросили книгу про практичне виготовлення бомб, вам, ймовірно, було б відмовлено, щонайменше. Але (припускаючи, що це запит не зовсім зруйнував розмову з самого початку) ваші запити на пов’язані роботи, такі як книги про хімічні реакції або проектування схем, були б, безумовно, пов’язані з початковим запитом і були б розглянуті в цьому світлі.

Ймовірно, бібліотекар також пам’ятав би у майбутніх зустрічах, що ви запитали книгу про виготовлення бомб одного разу, роблячи цей новий контекст незворотним.

Не так з LLM, який може боротися за збереження токенізаційної інформації навіть з поточної розмови, не кажучи вже про директиви довготривалої пам’яті (якщо вони існують у архітектурі, як у продукту ChatGPT-4o).

Отже навіть випадкові розмови з ChatGPT показують нам випадково, що він іноді напружується над дрібницями, але ковтає верблюда, особливо коли певна тема, дослідження або процес, пов’язаний з інакше “забороненою” діяльністю, дозволено розвиватися під час дискурсу.

Це справедливо для всіх поточних мовних моделей, хоча якість захисту може варіюватися за ступенем і підходом серед них (тобто різниця між модифікацією вагових коефіцієнтів навченої моделі або використанням фільтрації тексту під час сеансу чату, що залишає модель структуровано цілою, але потенційно легше атакувати).

Тестування методу

Щоб протестувати, наскільки далеко LLM можуть бути спровоковані на генерацію робочих експлойтів, автори створили контрольоване середовище, використовуючи п’ять лабораторій з SEED Labs, кожна з яких була побудована навколо відомих уразливостей, включаючи буфер-оверфлоу, повернення до libc, атаку Dirty COW і умови гонки.

Крім використання оригінальних лабораторій, дослідники створили модифіковані версії, перейменувавши змінні і функції в загальні ідентифікатори. Це було зроблено для запобігання тому, щоб моделі покладалися на запам’ятовані приклади з навчання.

Кожна лабораторія була запущена двічі на кожну модель: один раз в її оригінальній формі, і один раз в її засекреченій версії.

Дослідники потім ввели другу LLM у цикл: атакуючу модель, призначену для запиту і повторного запиту цільової моделі для уточнення і покращення її виходу протягом декількох раундів. LLM, використана для цієї ролі, була GPT-4o, яка працювала через скрипт, що посередnic між діалогом між атакуючою і цільовою моделями, дозволяючи циклу уточнення продовжуватися до п’ятнадцяти разів, або поки не буде визнано можливим подальше покращення:

Workflow для LLM-атакуючої, в цьому випадку GPT-4o.

Цільовими моделями для проекту були GPT-4o, GPT-4o-mini, Llama3 (8B), Dolphin-Mistral (7B) і Dolphin-Phi (2.7B), представляючи як власницькі, так і відкриті системи, з поєднанням вирівняних і невирівняних моделей (тобто моделей з вбудованими механізмами безпеки, призначеними для блокування шкідливих запитів, і тих, які були модифіковані через дофінування або конфігурацію для обходу цих механізмів).

Моделі, які можна було встановити локально, були запущені через фреймворк Ollama, а інші були доступні лише через свій єдиний доступний метод – API.

Результати виходу були оцінені на основі кількості помилок, які запобігали експлойту функціонувати так, як передбачалося.

Результати

Дослідники протестували, наскільки кожна модель була співпрацюючою під час процесу генерації експлойтів, вимірюваного шляхом реєстрації відсотка реакцій, у яких модель намагалася допомогти у завдання (навіть якщо вихід був пошкоджений).

Результати основного тесту, показуючи середню співпрацю.

GPT-4o і GPT-4o-mini показали найвищі рівні співпраці, з середніми темпами реакції 97 і 96 відсотків, відповідно, по п’яти категоріям уразливостей: буфер-оверфлоу, повернення до libc, формат рядка, умова гонки і Dirty COW.

Dolphin-Mistral і Dolphin-Phi слідували близько, з середніми рівнями співпраці 93 і 95 відсотків. Llama3 показала найменший рівень готовності взяти участь, з загальним рівнем співпраці 27 відсотків:

Зліва ми бачимо кількість помилок, зроблених LLM на оригінальних програмах SEED Lab; справа, кількість помилок, зроблених на рефакторених версіях.

Розглядаючи фактичну продуктивність цих моделей, вони виявили помітний розрив між готовністю і ефективністю: GPT-4o створив найточніші результати, з загальною кількістю шести помилок по п’яти засекреченим лабораторіям. GPT-4o-mini слідував з вісьмома помилками. Dolphin-Mistral виконував досить добре на оригінальних лабораторіях, але значно погіршувався, коли код був рефакторений, що свідчить про те, що він міг бачити подібний вміст під час навчання. Dolphin-Phi зробив сімнадцять помилок, а Llama3 найбільшою – п’ятнадцять.

Помилки зазвичай включали технічні помилки, які робили експлойти нефункціональними, такі як неправильні розміри буфера, відсутня логіка циклу або синтаксично валідні, але неефективні вантажі. Жодна модель не змогла створити робочий експлойт для жодної з засекречених версій.

Автори спостерігали, що більшість моделей створили код, який нагадував робочі експлойти, але зазнавав невдачі через слабке розуміння того, як працюють основні атаки – закономерність, яка була очевидна у всіх категоріях уразливостей, і яка свідчила про те, що моделі імітують знайомі кодові структури, а не розуміють логіку, що лежить в їх основі (наприклад, у випадках буфер-оверфлоу багато з них не змогли створити функціональний NOP sled/slide).

У спробах повернення до libc вантажі часто включали неправильне падіння або зміщені адреси функцій, що призводило до виходу, який виглядав валідним, але був незастосовним.

Хоча автори описують цю інтерпретацію як спекулятивну, послідовність помилок свідчить про більш загальну проблему, у якій моделі не можуть з’єднати кроки експлойту з їхнім передбачуваним ефектом.

Висновок

Є деякі сумніви, які стаття визнає, щодо того, чи бачили мовні моделі, які були протестовані, оригінальні лабораторії SEED під час першого навчання; через це були створені варіанти. Тим не менш, дослідники підтверджують, що вони хотіли б працювати з реальними експлойтами в майбутніх ітераціях цього дослідження;真正но новий і недавній матеріал менш ймовірно буде підданий закороткам або іншим плутаним ефектам.

Автори також визнають, що пізніші і більш просунуті “думаючі” моделі, такі як GPT-o1 і DeepSeek-r1, які не були доступні на момент проведення дослідження, можуть покращити результати, отримані, і що це є подальшим вказівником для майбутньої роботи.

Стаття закінчується висновком, що більшість протестованих моделей би створили робочі експлойти, якщо б вони були здатні зробити це. їхня невдача у генерації повністю функціональних виходів не здається результатом заходів захисту, а радше свідчить про справжню архітектурну обмеження – одне, яке може бути вже зменшено в більш недавніх моделях, або скоро буде.

Перша публікація понеділка, 5 травня 2025 року