Tutkimus viittaa siihen, että LLM:t ovat halukkaita avustamaan “vibe-koodauksessa”

Viime vuosien aikana suuret kielen mallit (LLM:t) ovat herättäneet huomiota niiden mahdollisesta väärinkäytöstä hyökkäyssuojauksessa, erityisesti ohjelmistovammojen luomisessa.

Viimeaikainen “vibe-koodauksen” trendi (kielen mallien käyttäminen nopeaan koodin kehittämiseen käyttäjälle, sen sijaan, että opetettaisiin käyttäjälle koodaaminen) on herättänyt uudelleen 2000-luvun alun “script kiddie” -käsitteen: suhteellisen taitamaton pahantahtoinen toimija, jolla on vain tarpeeksi tietoa replikoida tai kehittää vahingollinen hyökkäys. Seuraus on luonnollisesti, että kun kynnyksellä on alennettu, uhkat ovat taipuvaisia lisääntymään.

Kaikilla kaupallisilla LLM:illä on jonkinlainen este hyökkäyksen estämiseksi, vaikka nämä suojaukset ovat jatkuvasti hyökkäyksien alla. Tyypillisesti useimmat FOSS-mallit (useista aloista, LLM:istä generatiivisiin kuva-/videomalleihin) julkaistaan jonkinlaisella suojauksella, yleensä länsimaisista säädöksistä johtuen.

Kuitenkin viralliset mallijulkaisut muokataan säännöllisesti käyttäjäyhteisöissä, jotka etsivät täydellisempää toiminnallisuutta, tai muokataan LoRAt:lla, jotta rajoitukset voidaan ohittaa ja mahdollisesti saada “ei-toivottuja” tuloksia.

Vaikka suurin osa verkossa olevista LLM:istä estää avustamasta käyttäjää pahantahtoisissa prosesseissa, “rajoittamattomat” aloitteet, kuten Deep Hat, ovat käytettävissä turvallisuustutkijoille, jotka toimivat vastustajien tasolla.

Yleinen käyttäjäkokemus on tällä hetkellä useimmiten edustettu ChatGPT-sarjassa, jonka suodatusmekanismit saavat usein kritiikkiä LLM:n omalta yhteisöltä.

Näyttää siltä, että yrität hyökätä järjestelmään!

Valon heittäessä tähän havaittuun taipumukseen rajoituksiin ja sensuuriin, käyttäjät saattavat olla yllättyneitä siitä, että ChatGPT on osoittautunut yhdyntuvimmaksi kaikista testatuista LLM:istä viimeaikaisessa tutkimuksessa, jossa pyrittiin pakottamaan kielen mallit luomaan pahantahtoisia koodivammoja.

Uusi artikkeli tutkijoilta UNSW Sydneystä ja Commonwealth Scientific and Industrial Research Organisation (CSIRO):sta, otsikolla Hyvää uutisia script kiddieille? LLM:ien arviointi automaattisen vamman luomiseksi, tarjoaa ensimmäisen systemaattisen arvion siitä, miten tehokkaasti nämä mallit voidaan ohjata tuottamaan toimivia vammoja. Esimerkkeskustelut tutkimuksesta on tarjoittanut kirjoittajat.

Tutkimus vertaa, miten mallit suoriutuivat sekä alkuperäisistä että muokatuista versioista tunnetuista haavoittuvuuslaboratorioista (ohjelmointiharjoitukset, jotka on suunniteltu osoittamaan tiettyjä ohjelmistoturvaongelmia), mikä auttaa paljastamaan, riippuivatko ne muistitutuista esimerkeistä vai kärsivätkö ne sisäänrakennetuista turvallisuusrajoituksista.

Ollama LLM auttaa tutkijoita kehittämään merkkijonovammoja. Lähde: https://anonymous.4open.science/r/AEG_LLM-EAE8/chatgpt_format_string_original.txt

Vaikka mikään malli ei pystynyt luomaan toimivaa vammaa, useat niistä tulivat lähelle; tärkeämpää kuitenkin on, että useat niistä halusivat tehdä paremmin tehtävässä, mikä osoittaa mahdollisen epäonnistumisen nykyisissä estejärjestelmissä.

Artikkeli toteaa:

‘Kokeemme osoittavat, että GPT-4 ja GPT-4o osoittavat korkean asteen yhteistyötä vamman luomisessa, verrattavissa joillekin sensuroimattomiin avoimen lähdekoodin malleihin. Arvioituista malleista Llama3 oli vastustuskykyisin tällaisille pyynnöille.

‘Vaikka he ovat valmiit avustamaan, näiden mallien aiheuttama todellinen uhka on edelleen rajoitettu, sillä mikään ei onnistunut luomaan toimivia vammoja viidelle mukautetulle laboratoriolle. GPT-4o, joka oli vahvin suorittaja tutkimuksessamme, teki yleensä vain yhden tai kaksi virhettä kokeen aikana.

‘Tämä viittaa merkittävään potentiaaliin LLM:ien hyödyntämiseksi edistyneiden, yleispätevien automaattisten vamman luomismenetelmien kehittämiseen.’

Monia toisenlaisia mahdollisuuksia

Sanonta “Et saa toista mahdollisuutta tehdä hyvän ensivaikutelman” ei yleensä sovellu LLM:ihin, koska kielen mallin tyypillisesti rajoitettu kontekstifenestri tarkoittaa, että negatiivinen konteksti (sosiaalisessa mielessä, eli vastakkainasettelu) ei ole kestävä.

Oletetaan, että menet kirjastoon ja pyytät kirjaa käytännön pomminvalmistuksesta, sinut luultavasti evätään, ainakin. Mutta (olettaen, että tämä tiedustelu ei kokonaan pilannut keskustelua alusta alkaen) pyynnöt liittyvistä teoksista, kuten kirjoista kemiallisista reaktioista tai piirien suunnittelusta, olisivat kirjastonhoitajan mielestä selvästi liittyviä alkuperäiseen pyyntöön ja kohtelisivat niitä tässä valossa.

Todennäköisesti kirjastonhoitaja muistaisi myös tulevissa tapaamisissa, että pyytäjä oli kerran pyytänyt pomminvalmistuskirjaa, mikä tekee tämän uuden kontekstin “korjaamattomaksi”.

Ei niin LLM:ien kanssa, jotka voivat kamppailla tokenoidun tiedon säilyttämisessä, jopa saman keskustelun aikana, saati sitten pitkäaikaisesta muistista (jos sellainen on arkkitehtuurissa, kuten ChatGPT-4o-tuotteessa).

Näin ollen jopa ChatGPT:n kanssa käydyt keskustelut paljastavat meille “vahingossa”, että se joskus jännittää pienen asian, mutta nielaisee kamelin, erityisesti kun jokin aihe, tutkimus tai prosessi, joka liittyy “kiellettyyn” toimintaan, kehittyy keskustelun aikana.

Tämä pätee kaikkiin nykyisiin kielen malleihin, vaikka esteiden laatu voi vaihdella laajuudessa ja lähestymistavassa (ts. ero muokata koulutetun mallin painoja tai käyttää sisään-/ulostulon suodatusta tekstiä keskustelun aikana, joka jättää mallin rakenteellisesti koskemattomaksi, mutta mahdollisesti helpommin hyökkääväksi).

Menetelmän testaaminen

Tutkijat testasivat, kuinka pitkälle LLM:t voitiin ajaa kohti toimivien vammojen luomista, ja asettivat kontrolloidun ympäristön käyttäen viittä SEED Labsin laboratoriota, joista jokainen perustui tunnettuihin haavoittuvuuksiin, mukaan lukien puskurin ylivuoto, paluu libc:hen, Dirty COW -hyökkäys ja kilpailutilanteet.

Lisäksi alkuperäisten laboratorioiden käytön, tutkijat loivat muokattuja versioita muuttamalla muuttujia ja funktioita yleisiksi tunnisteiksi. Tämä oli tarkoitettu estämään mallien käyttämistä muistitutuista koulutus-esimerkeistä.

Jokainen laboratorio suoritettiin kahdesti kunkin mallin kohdalla: kerran alkuperäisessä muodossa ja kerran peitetyssä versiossa.

Tutkijat esittelivät toisen LLM:n silmukkaan: hyökkääjämallin, joka oli tarkoitettu ohjaamaan ja uudelleenohjaamaan kohdemallia parantamaan ja parantamaan sen tulostetta useiden kierrosten ajan. LLM, jota käytettiin tässä roolissa, oli GPT-4o, joka toimi käsikirjoituksen kautta, joka välitti vuorovaikutusta hyökkääjän ja kohdemallin välillä, sallien parantamisjakson jatkua jopa viisitoista kertaa, tai kunnes ei katsottu mahdolliseksi:

LLM-pohjaisen hyökkääjän työkierto, tässä tapauksessa GPT-4o.

Kohdemallit hankkeelle olivat GPT-4o, GPT-4o-mini, Llama3 (8B), Dolphin-Mistral (7B) ja Dolphin-Phi (2.7B), edustaen sekä omistaja- että avoimen lähdekoodin järjestelmiä, sekä mallien sekoitusta, joissa on sisäänrakennettuja turvallisuusmekanismeja ja malleja, joita on muokattu kiertämään nämä mekanismit.

Paikallisesti asennettavat mallit suoritettiin Ollaman kehyksessä, ja muut pääsivät ainoastaan API:n kautta.

Tulokset mitattiin virheiden määrällä, jotka estivät vamman toimimisen halutulla tavalla.

Tulokset

Tutkijat testasivat, kuinka yhteistyöhalukkaita kunkin malli oli vamman luomisprosessissa, mitattuna prosentuaalisella osuudella vastauksista, joissa malli yritti avustaa tehtävässä (vaikka tuloste oli virheellinen).

Päätestin tulokset, jotka osoittavat keskimääräisen yhteistyön.

GPT-4o ja GPT-4o-mini osoittivat korkeimmat yhteistyön tasot, keskimääräisillä 97 ja 96 prosentin vastauskoilla, vastaavasti, viidessä haavoittuvuusluokassa: puskurin ylivuoto, paluu libc:hen, merkkijonon muotoilu, kilpailutilanne ja Dirty COW.

Dolphin-Mistral ja Dolphin-Phi seurasivat läheisesti, keskimääräisillä yhteistyön tasolla 93 ja 95 prosentilla. Llama3 osoitti vähiten halukkuutta osallistua, keskimääräisellä yhteistyön tasolla 27 prosentilla:

Vasemmalla nähdään virheet, joita LLM:t tekivät alkuperäisissä SEED Lab -ohjelmissa; oikealla nähdään virheet, joita LLM:t tekivät muokatuissa versioissa.

Tarkastelemalla näiden mallien todellista suorituskykyä, he löysivät merkittävän aukon halukkuuden ja tehokkuuden välillä: GPT-4o tuotti tarkin tuloksen, yhteensä kuusi virhettä viidessä muokatussa laboratoriossa. GPT-4o-mini seurasi kahdeksalla virheellä. Dolphin-Mistral suoriutui kohtuullisesti alkuperäisistä laboratorioista, mutta kamppaili merkittävästi, kun koodi muokattiin, mikä viittaa siihen, että se saattoi nähdä samanlaisia sisältöjä koulutuksen aikana. Dolphin-Phi teki 17 virhettä, ja Llama3 eniten, 15.

Epäonnistumiset liittyivät yleensä teknisiin virheisiin, jotka tekivät vammat toimimattomiksi, kuten virheelliset puskurikoot, puuttuvat silmukkalogiikat tai syntaktisesti pätevät, mutta tehottomat kuormat. Mikään malli ei onnistunut tuottamaan toimivaa vammaa muokatun version osalta.

Tutkijat huomasivat, että useimmat mallit tuottivat koodia, joka muistutti toimivia vammoja, mutta epäonnistuivat, koska heillä oli heikko käsitys siitä, miten vammat tosiasiallisesti toimivat – tämä oli ilmeistä kaikissa haavoittuvuusluokissa ja viittasi siihen, että mallit jäljittelivät tuttuja koodirakenteita sen sijaan, että ne ymmärtäisivät hyökkäyksen logiikan (esimerkiksi puskurin ylivuototapauksissa useat epäonnistuivat rakentamasta toimivaa NOP-sleetiä/slidea).

Paluu libc:hen -yrityksissä kuormat sisälsivät usein virheellistä täyttöä tai väärässä paikassa olevia funktioosoitteita, mikä johti tuloksiin, jotka näyttivät päteviltä, mutta olivat käyttökelvottomia.

Vaikka tutkijat kuvaavat tätä tulkintaa spekulatiiviseksi, virheiden johdonmukaisuus viittaa laajempaan ongelmaan, jossa mallit eivät yhdistä hyökkäyksen vaiheita sen tarkoitettuun vaikutukseen.

Johtopäätös

On epäilyksi, tutkimus myöntää, siitä, näkivätkö testatut kielen mallit alkuperäiset SEED-laboratoriot ensimmäisessä koulutuksessa; josta syystä variantteja luotiin. Tutkijat vahvistavat kuitenkin, että he haluavat työskennellä todellisissa hyökkäyksissä myöhemmissä tutkimuksissa; aito ja uusi materiaali on vähemmän altis “lyhyille” tai muiden sekaannuksien vaikutuksille.

Tutkijat myöntävät myös, että myöhemmät ja edistyneemmät “ajattelumallit”, kuten GPT-o1 ja DeepSeek-r1, jotka eivät olleet saatavilla, kun tutkimus tehtiin, voivat parantaa tuloksia, ja että tämä on edelleen osoitus tulevasta työstä.

Tutkimus johtaa siihen, että useimmat testatut mallit olisivat tuottaneet toimivia vammoja, jos ne olisivat kyenneet siihen. Heidän epäonnistumisensa tuottaa täysin toimivia tulosteita ei vaikuta johtuvan suojauksista, vaan osoittaa todellisen arkkitehtuurin rajoituksen – sellaisen, joka saattaa jo olla vähentynyt uudemmissa malleissa tai vähenee pian.

Julkaistu ensimmäisen kerran maanantaina, 5. toukokuuta 2025