Tekoälymallien sensuuri ei toimi hyvin, tutkimus paljastaa

Yritykset sensuroida tekoälykuvageneraattoreita poistamalla kielletty sisältö (kuten pornografia, väkivalta tai tekijänoikeudella suojattu tyyli) koulutusmalleista epäonnistuvat: uusi tutkimus osoittaa, että nykyiset konseptin poistomenetelmät sallivat “kielletyt” ominaisuudet valua muun sisällön joukkoon, ja eivät myöskään onnistuneet estämään läheisesti liittyvien versioiden esiintymistä.

Jos yritykset, jotka tuottavat perus-tekoly-malleja, eivät voi estää niiden väärinkäyttöä loukkaavien tai laittomien materiaalien tuottamiseen, heidät voidaan asettaa syytteeseen ja/tai lopettaa. Toisaalta, myyjät, jotka tarjoavat mallejaan vain API:n kautta, kuten Adoben Firefly -generaattorimoottori, ovat tilanteessa, jossa he eivät tarvitse huolehtia siitä, mitä heidän mallinsa voivat luoda, koska sekä käyttäjän ohje että tulokset tarkistetaan ja puhdistetaan:

<img class=" wp-image-222044" src="https://www.unite.ai/wp-content/uploads/2025/08/adobe-firefly-refusal.jpg" alt="Adoben Firefly-järjestelmä, jota käytetään työkaluissa kuten Photoshop, hylkää toisinaan generatiivisen pyynnön välittömästi estämällä ohjeen ennen kuin mitään luodaan. Toisinaan se luo kuvan, mutta estää tuloksen tarkastuksen jälkeen. Tällainen kesken prosessin hylkäys voi myös tapahtua ChatGPT:ssä, kun malli aloittaa vastauksen, mutta katkaisee sen tunnistettuaan käytäntörikkomuksen – ja toisinaan näkee lyhyesti hylätyn kuvan tämän prosessin aikana.

Kuitenkin API-tyyppiset suodattimet voidaan yleensä neutraloida käyttämällä paikallisesti asennettuja malleja, mukaan lukien visuaalis-kielimalleja (VLM), joita käyttäjä voi haluta mukauttaa paikallisen koulutuksen avulla omalla datalla.

Useimmissa tapauksissa näiden toimintojen poistaminen on helppoa, ja se vaatii vain kommentin lisäämisen Python-funktiokutsuun (vaikka tämänkaltaiset hakkeroinnit on yleensä toistettava tai uudelleen keksittävä päivitysten jälkeen).

Liiketoiminnan kannalta on vaikea ymmärtää, miten tämä voisi olla ongelma, koska API-lähestymistapa maksimoi yrityksen valvonnan käyttäjän työnkulussa. Käyttäjän näkökulmasta kuitenkin sekä API-vain mallien kustannukset että virheellisen tai liiallisen sensuurin riski ovat todennäköisesti pakottavia niitä lataamaan ja mukauttamaan paikallisia asennuksia avoimen lähdekoodin vaihtoehdoista – ainakin, jos FOSS-lisenssi on suotuisa.

Viimeisin merkittävä malli, joka julkaistiin ilman minkäänlaisia itseensä upotettuja sensuuriyrityksiä, oli Stable Diffusion V1.5, lähes kolme vuotta sitten. Myöhemmin paljastui, että sen koulutusaineistot sisälsivät CSAM-dataa, mikä johti kasvavaan vaatimukseen sen saatavuuden kieltämiseen, ja sen poistamiseen Hugging Facen repositoriosta vuonna 2024.

Leikkaa se pois!

Skeptikot väittävät, että yrityksen kiinnostus sensuroida paikallisesti asennettavia generatiivisia tekoälymalleja perustuu yksinomaan huoleen oikeudellisesta altistumisesta, jos heidän kehykset julkaistaan loukkaavana tai laittomana sisältönä.

Tosiasia on, että jotkut “paikallisen ystävälliset” avoimen lähdekoodin mallit eivät ole niin vaikeita de-sensuroida (kuten Stable Diffusion 1.5 ja DeepSeek R1).

Toisaalta Black Forest Labin Flux Kontext-mall sarja oli merkittävä yritys bowdlerisoida koko Kontext-alue, sekä huolellisen datakuratoinnin että kohdennetun hienosäätö kautta koulutuksen jälkeen, jotta poistettaisiin kaikki jäänteet NSFW- tai kielletystä sisällöstä.

Tässä on ollut tutkimuskohteen painopiste viimeisten 2-3 vuoden ajan: jälkikäteen mallien korjaaminen huonosti kuratoiduilla aineistoilla. Tällaisia tarjontaa ovat Unified Concept Editing in Diffusion Models (UCE); Reliable and Efficient Concept Erasure of Text-to-Image Diffusion Models (RECE); Mass Concept Erasure in Diffusion Models (MACE); ja concept-Semi-Permeable structure is injected as a Membrane (SPM):

Vuoden 2024 tutkimus ‘Unified Concept Editing in Diffusion Models’ tarjosi suljettuja muokkauksia huomioiville painoille, mahdollistaen useiden konseptien tehokkaan muokkaamisen teksti-kuvamalleissa. Mutta kestääkö menetelmä tarkastelun? Lähde: https://arxiv.org/pdf/2308.14761

Vaikka tämä on tehokas lähestymistapa (hyperskaalaiset kokoelmat, kuten LAION, ovat liian suuria manuaaliseen kuratointiin), se ei välttämättä ole tehokas: Yhdysvaltain uuden tutkimuksen mukaan mikään näistä muokkausmenetelmistä – jotka edustavat parhaimmillaan jälkikäteen tekoälymallien muokkausta – ei toimi hyvin.

Tutkijat löysivät, että nämä konseptin poistomenetelmät voivat yleensä helposti ohittaa, ja että vaikka ne ovat tehokkaita, ne aiheuttavat merkittäviä sivuvaikutuksia:

Konseptin poistamisen vaikutukset teksti-kuvamalleihin. Jokainen sarake näyttää ohjeen ja poistettavan konseptin, sekä generoitetut tulokset ennen ja jälkeen muokkausta. Hierarkiat osoittavat vanhempi-lasten suhteita konsepteja. Esimerkit korostavat yleisiä sivuvaikutuksia, kuten lapsikonseptien poistamisen epäonnistumista, läheisten konseptien tukahduttamista, kiertoa uudelleen sanomalla ja poistettujen attribuuttien siirtymistä liittymättömiin objekteihin. Lähde: https://arxiv.org/pdf/2508.15124

Tutkijat löysivät, että johtavat nykyiset konseptin poistomenetelmät eivät estä kompositorisia ohjeita (esim. punainen auto tai pieni puinen tuoli); usein antavat aliluokkien päästä läpi, vaikka vanhempi luokka on poistettu (kuten auto tai bussi jatkuu näkyvänä ajoneuvon poistamisen jälkeen); ja aiheuttavat uusia ongelmia, kuten attribuuttivuodon (jossa esimerkiksi sininen sohva poistamisen jälkeen malli voi generoida liittymättömiä objekteja, kuten sininen tuoli).

Yli 80 %:ssa testitapauksista laajan konseptin, kuten ajoneuvon, poistaminen ei estänyt mallia generoimasta tarkempia ajoneuvon instansseja, kuten autoja tai busseja.

Muokkaus, tutkimus huomauttaa, heikentää myös huomio-karttoja (mallin osia, jotka päättävät, mihin kuvassa keskittyä), heikentäen tuloksen laatua.

Mielenkiintoisesti tutkimus osoittaa, että poistamalla liittyvät koulutetut konseptit yksi kerrallaan toimii paremmin kuin yrittää poistaa ne kaikki kerran; vaikka se ei poista kaikkia tutkittujen muokkausmenetelmien puutteita:

Progressiivisen ja kaiken-ylleen-eräisen poistamisen strategioiden vertailu. Kun kaikki ‘teddy-karhun’ variantit poistetaan samanaikaisesti, malli jatkaa karhu-objektien generoimista. Poistamalla variantit askel kerrallaan on tehokkaampaa, ja malli tukahduttaa kohdekäsitteen luotettavammin.

Vaikka tutkijat eivät voi tarjota ratkaisua tutkimuksessa havaitsemiin ongelmiin, he ovat kehittäneet uuden aineiston ja vertailuohjelman, joka voi auttaa myöhempää tutkimusta ymmärtämään, toimivatko heidän “sensuroidut” mallit odotetusti.

Tutkimus toteaa:

‘Aikaisemmat arviot ovat riippuneet yksinomaan pienestä joukosta kohde- ja säilytysluokkia; esimerkiksi, kun “ajoneuvo” poistetaan, ainoastaan mallin kyky generoida autoja testataan. Osoitamme, että tämä lähestymistapa on perustavanlaatuisesti riittämätön, ja konseptin poistamisen arvioinnin tulisi olla kattavampi ja käsittää kaikki liittyvät alikonseptit, kuten “punainen auto”.’

‘Esittämällä monipuolisen aineiston, joka sisältää kompositorisia variaatioita, ja analysoimalla systemaattisesti vaikutuksia, kuten läheisten konseptien vaikutusta, konseptin välttämistä ja attribuuttivuotoa, paljastamme merkittäviä rajoituksia ja sivuvaikutuksia olemassa olevista CET:istä. ‘

‘Meidän benchmark on malli-agnostinen ja helposti integroitavissa, ja se on erinomaisesti sovellettavissa uusien konseptin poistomenetelmien (CET) kehittämiseen.’

Vaikka CET:t poistavat kohdekäsitteen ‘lintu’, ne epäonnistuvat kompositorisessa variantissa ‘punainen lintu’ (yläosa). ‘Sininen sohva’ poistamisen jälkeen kaikki menetelmät menettävät myös kyvyn generoida ‘sininen tuoli’ (alaosa). Onnistuneet tulokset on merkitty vihreällä tikin symbolilla, ja epäonnistumiset punaisella ristin symbolilla.

Tutkimus tarjoaa mielenkiintoisen näyn siitä, kuinka paljon konsepteja, jotka on koulutettu malliin, on sisäkkäin, ja kuinka “silmukointi” ei salli helppoa ja todellista konseptin poistamista.

Uusi tutkimus on nimeltään Side Effects of Erasing Concepts from Diffusion Models, ja se on neljän Marylandin yliopiston tutkijan työtä.

Menetelmä ja data

Tutkijat ovat sitä mieltä, että aiemmat työt, jotka väittävät poistavansa konsepteja diffuusiomalleista, eivät osoita väittämäänsä riittävästi, ja toteavat*:

‘Väittämien poistamisen tarvitsee vahvempi ja kattavampi arviointi. Esimerkiksi, jos poistettava konsepti on “ajoneuvo”, alikonseptit, kuten “auto” ja kompositoriset konseptit, kuten “punainen auto” tai “pieni auto”, tulisi myös poistaa. ‘

‘Tätä konseptihierarkian ja kompositionaliteetin osaa ei kuitenkaan oteta huomioon olemassa olevissa arviointiprotokollissa, jotka keskittyvät ainoastaan yhden poistetun konseptin tarkkuuteen. [EraseBenchin] tekijät arvioivat, kuinka CET:t vaikuttavat visuaalisesti samankaltaisiin ja parafraseerattuihin konsepteihin (kuten “kissa” ja “kissanpentu”); kuitenkaan he eivät tutki konseptihierarkian ja kompositionaliteetin kattavuutta.’

Jotta voidaan tarjota benchmark-aineisto tuleville projekteille, tutkijat loivat Sivuvaikutuksen arviointi (SEE) -aineiston – laajan kokoelman teksti-ohjeita, jotka on suunniteltu testaamaan, kuinka hyvin konseptin poistomenetelmät toimivat.

Ohjeet noudattavat yksinkertaista mallia, jossa objekti kuvataan ominaisuuksilla kuten koko, väri ja materiaali – esimerkiksi kuva pienestä punaisesta puurakenteisesta autosta.

Objektit valittiin MS-COCO -aineistosta, ja järjestettiin ylempiin luokkiin, kuten ajoneuvo, ja aliluokkiin, kuten auto tai bussi, ja niiden attribuuttiyhdistelmät muodostivat lehtisolmut (ylemmän tason konseptit). Tämä rakenne mahdollistaa poistamisen eri semanttisilla tasoilla, laajoista luokista tarkempiin varianteihin.

Jotta voidaan automaattisesti arvioida säilytettyjen konseptien läsnäolo, jokainen ohje pariksi yhdistettiin kyseelliseen, kuten Onko autossa kuva?, ja käytettiin myös luokittelumallien luokitteluluokkana:

Ohjeiden yhdistelmät SEE-aineistossa, jotka on generoitu muuttamalla kokoa, väriä ja materiaalia.

Arvioidakseen, kuinka hyvin kunkin konseptin poistamenetelmän suorituskyky, tutkijat keksivät kaksi pisteytysmenetelmää: kohdekäsitteellinen tarkkuus, joka seuraa, kuinka usein poistetut konseptit edelleen näkyvät generoituissa kuvissa; ja säilytyskäsitteellinen tarkkuus, joka seuraa, säilyttävätkö mallit edelleen materiaalia, jota ei ollut tarkoitus poistaa.

Näiden pisteytysten tasapaino on tarkoitettu paljastamaan, onnistuuko menetelmä poistamaan kielletyn konseptin vahingoittamatta mallin laajempaa tuotosta.

Tutkijat arvioivat konseptin poistamista kolmessa epäonnistumistilanteessa: ensinnäkin, miten poistamalla konsepti, kuten ajoneuvo, vaikuttaa läheisiin tai liittymättömiin konsepteihin, perustuen semanttiseen ja attribuuttiperäiseen etäisyyteen; toiseksi, testattiin, voidaanko poistamista kiertää pyytämällä alikonsepteja, kuten punainen auto ajoneuvon poistamisen jälkeen.

Lopulta tehtiin tarkastelu attribuuttivuodosta, jossa ominaisuudet, jotka liittyvät poistettuihin konsepteihin, ilmestyvät muihin kohteisiin (esimerkiksi poistamalla sohva saattaa aiheuttaa toisen kohteen, kuten ruukun, omaksuman sen värin tai materiaalin). Lopullinen aineisto sisältää 5056 kompositorista ohjetta

Testit

Aikaisemmin mainitut kehykset testattiin – UCE, RECE, MACE ja SPM. Tutkijat omaksuivat alkuperäisten projektiensa oletusasetukset ja hienosäätivät kaikki mallit NVIDIA RTX 6000 -näytönohjaimella, jossa on 48 GB VRAM:ia.

Stable Diffusion 1.4, yksi kirjallisuuden kestoisimmista malleista, käytettiin kaikissa testeissä – ehkäpä ennen kaikkea siksi, että varhaisimmat SD-mallit eivät juuri ollut rajoitettuja, ja tarjosivat siten tyhjän paperin tässä tutkimuskontekstissa.

Kunkin SEE-aineiston 5056 ohjeesta suoritettiin sekä muokkaamaton että muokattu versio mallista, generoimalla neljä kuvaa kullekin ohjeelle kiinteillä satunnaisilla siemenillä, mikä mahdollisti testaamisen, säilyykö poistamisen vaikutukset useiden tulosten yli. Kunkin muokatun mallin tuottama yhteensä 20 224 kuvaa.

Säilytettyjen konseptien läsnäolo arvioitiin edellisten menetelmien mukaan teksti-kuvapoistamiselle, käyttäen VQA-malleja BLIP, QWEN 2.5 VL ja Florence-2base.

Läheisten konseptien vaikutus

Ensimmäinen testi mittasi, vaikuttaako konseptin poistaminen tahattomasti läheisiin konsepteihin. Esimerkiksi, poistettaessa auto, malli tulisi lopettaa punainen auto tai suuri auto generoimisen, mutta edelleen pystyä generoimaan läheisiä konsepteja, kuten bussi tai kuorma-auto, ja liittymättömiä konsepteja, kuten haarukka.

Analyytikot käyttivät CLIP -upotusyhtäläisyyttä ja attribuuttiperäistä edit-etäisyyttä arvioimaan, kuinka lähellä kunkin konsepti on poistettavaa kohdekäsitettä, mikä mahdollisti tutkimuksen mittaamisen, kuinka laajasti häiriintyminen leviää:

<img class=" wp-image-222050" src="https://www.unite.ai/wp-content/uploads/2025/08/figure-4-and-5.jpg" alt="Kohdekäsitteellisen tarkkuuden (vasemmalla) ja säilytyskäsitteellisen tarkkuuden (oikealla) yhdistetyt tulokset, jotka on piirretty semanttisen yhtäläisyyden (yläosa) ja kompositorisen etäisyyden (alaosa) vastaan. Ihanteellinen konseptin poistamenetelmä näyttäisi alhaisen kohdekäsitteellisen tarkkuuden ja korkean säilytyskäsitteellisen tarkkuuden kaikkien etäisyyksien yli; mutta tulokset osoittavat, että nykyiset tekniikat eivät generalisoi puhdasti, ja lähempänä olevat konseptit joko eivät ole riittävästi poistettu tai ovat epäsuhteessa häiriintyneitä.

Näistä tuloksista tutkijat toteavat:

‘Kaikki CET:t jatkavat generoimasta kompositorisia tai semanttisesti etäisiä variantteja kohdekäsitteestä, vaikka se on poistettu, mikä ei pitäisi tapahtua. On ilmeistä, että UCE saavuttaa johdonmukaisesti korkeamman tarkkuuden kuin muut CET-menetelmät [säilytysjoukossa], osoittaen vähäisen tahattoman vaikutuksen semanttisesti liittyviin konsepteihin. ‘

‘Toisaalta SPM saavuttaa alhaisimman tarkkuuden, osoittaen, että sen muokkausstrategia on altis konseptin yhtäläisyydelle.’

Neljästä testatusta menetelmästä RECE oli tehokkain kohdekäsitteen estämisessä. Kuitenkin, kuten edellä olevassa kuvassa näkyy, kaikki menetelmät epäonnistuivat kompositoristen varianttien estämisessä. Poistettaessa lintu, malli tuotti edelleen kuvia punaisesta linnusta, osoittaen, että konsepti säilyi osittain.

Poistettaessa sininen sohva esti myös mallin generoimasta sinistä tuolia, osoittaen vahinkoa läheisille konsepteille.

RECE käsitteli kompositorisia variantteja paremmin kuin muut, kun taas UCE säilytti läheisiä konsepteja paremmin.

Poistamisen kiertäminen

Poistamisen kiertämistestissä arvioitiin, voivatko mallit edelleen generoida aliluokan konsepteja, kun niiden ylempi luokka on poistettu. Esimerkiksi, jos ajoneuvo poistetaan, testi tarkisti, voivatko mallit edelleen tuottaa tuloksia, kuten pyörä tai punainen auto.

Ohjeet kohdistuivat sekä suoraan aliluokkiin että kompositorisiin varianteihin, jotta voitiin määrittää, onko konseptin poistaminen tosiasiallisesti poistanut koko hierarkian vai voidaanko sitä kiertää tarkemmin kuvailemalla:

Stable Diffusion v1.4:lla ylemmän tason luokkien kiertäminen aliluokilla ja kompositorisilla varianteilla, jossa korkeampi tarkkuus osoittaa suurempaa kiertämistä.

Muokkaamaton malli säilytti korkean tarkkuuden kaikissa ylempiluokissa, vahvistaen, että se ei ollut poistanut mitään kohdekäsitteitä. Neljästä CET:stä MACE osoitti vähäisimmän kiertämisen, saavuttaen alhaisimman aliluokan tarkkuuden useimmissa testatuissa luokissa. RECE suoriutui myös hyvin, erityisesti lisävaruste, urheilu ja elektroniikka -ryhmissä.

Toisaalta UCE ja SPM osoittivat korkeampaa aliluokan tarkkuutta, osoittaen, että poistetut konseptit voitiin helpommin kiertää liittyvillä tai sisäkkäisillä ohjeilla.

Tutkijat toteavat:

‘Kaikki CET:t estävät onnistuneesti kohdekäsitteen ylempiluokan konseptin (“ruoka”). Mutta kun ohjeena on attribuuttiperäinen lapsi ruoan hierarkiasta (esim. “iso pizza”), kaikki menetelmät generoivat ruoka-artikkeleita. ‘

‘Samoin “ajoneuvo”-luokassa kaikki mallit generoivat polkupyöriä, vaikka “ajoneuvo” on poistettu.’

Attribuuttivuoto

Kolmas testi, attribuuttivuoto, tarkisti, tulivatko ominaisuudet, jotka liittyvät poistettuun konseptiin, muihin kohteisiin.

Esimerkiksi, poistettaessa sohva, malli ei tulisi generoida sohvaa eikä sohvan tyypillisiä ominaisuuksia, kuten väriä tai materiaalia, muihin kohteisiin samassa ohjeessa. Tämä mitattiin ohjeistamalla mallia parien kanssa ja tutkimalla, tulivatko poistetut ominaisuudet vahingossa säilytettyihin konsepteihin:

Attribuuttitokenien huomio-kartat konseptin poistamisen jälkeen. Vasemmalla: Kun “penkki” poistetaan, “puinen” siirtyy linnulle, johtaen puurakenteisiin linnuun. Oikealla: “Sininen sohva” poistamisen jälkeen kaikki menetelmät menettävät myös kyvyn generoida “sininen tuoli”, ja “iso” -token on virheellisesti määritelty donitsille.

RECE oli tehokkain poistamassa kohdekäsitteellisiä attribuutteja, mutta se aiheutti myös eniten attribuuttivuotoa säilytettyihin ohjeisiin, ylittäen jopa muokkaamattoman mallin.

Tutkijat ehdottavat, että tulokset osoittavat välttämättömän kompromissin, jossa voimakkaampi poistaminen lisää virheellisen attribuuttisiirron riskiä.

Johtopäätös

Mallin latenti-avaruus ei täyty helposti järjestyneesti koulutuksen aikana, kun johdannaiskonseptit asetetaan siististi hyllyille tai tiedostoihin; vaan koulutetut upotukset ovat sekä sisältö että niiden sisältäjät: ei erillisiä rajoin, vaan sulautuvat toisiinsa tavalla, joka tekee poistamisen ongelmalliseksi – kuin yrittäessä poistaa naulan ilman vertaamista.

Älykkäissä ja kehittyvissä järjestelmissä perustavat tapahtumat – kuten polttamalla sormensa ja myöhemmin kunnioittamalla tulta – ovat sidottu myöhemmin muodostamiinsa käyttäytymismalleihin, mikä tekee haasteelliseksi luoda malli, joka on jäänyt keskeisen, mahdollisesti “kielletyn” konseptin jälkeensä, mutta jolta puuttuu itse konsepti.

* Minun muutos kirjoittajien sisäisistä viittauksista hyperlinkkeihin.

Julkaistu ensimmäisen kerran perjantaina, 22. elokuuta 2025