Uuden sukupolven deepfake-kuvien oikeudellinen tietojen käsittelymenetelmä

Vaikka yksityishenkilöiden deepfake-kuvien luvaton käyttö on herättänyt yleistä huomiota ja sitä rajoitetaan yhä enenevissä määrin, on todistaminen, että käyttäjän luoma malli, kuten kostopornon mahdollistava malli, on erityisesti koulutettu tietylle henkilölle, edelleen erittäin haasteellista.

Ongelman ymmärtämiseksi: deepfake-hyökkäyksen avainelementti on väittää, että kuva tai video esittää tiettyä henkilöä. Pelkästään väittäminen, että joku videossa on identiteetti #A eikä vain ulkonäöltään samankaltainen, on tarpeeksi vahingoittavaa, eikä AI:ta tarvita tässä skenaariossa.

On kuitenkin mahdollista, että hyökkääjä luo AI-kuvia tai -videoita malleilla, jotka on koulutettu oikean henkilön tietojen avulla, ja sosiaalisen median ja hakukoneiden kasvojentunnistusjärjestelmät linkittävät väärennetyn sisällön automaattisesti uhriin ilman, että tarvitaan nimiä viesteissä tai metatiedoissa. AI-kuvat ja -videot yksinään varmistavat yhteyden.

Mitä enemmän henkilön ulkonäkö on erottuva, sitä enemmän tämä muuttuu välttämättömäksi, kunnes väärennetty sisältö näkyy kuvahauissa ja lopulta saavuttaa uhrin.

Kasvotusten

Yleisin tapa levittää identiteettiin keskittyviä malleja on tällä hetkellä Low-Rank Adaptation (LoRA), jossa käyttäjä kouluttaa pieni määrä kuvia muutamaksi tunniksi suuren perusmallin painojen vastaisesti, kuten Stable Diffusion (pääasiassa statisiin kuviin) tai Hunyuan Video video-deepfake-kuvien kouluttamiseen.

Yleisimmät kohdat LoRAlle, mukaan lukien uusi sukupolvi video-pohjaisia LoRAlle, ovat naispuoliset julkkikset, joiden kuuluisuus altistaa heidät tällaiselle kohtelulle vähemmän julkista arvostelua “tuntemattomien” uhrien tapauksessa, koska oletetaan, että tällaiset johdannaiset ovat “oikeudenmukaisen käytön” piirissä (ainakin Yhdysvalloissa ja Euroopassa).

Naispuoliset julkkikset hallitsevat LoRA- ja Dreambooth-listaukset civit.ai-portaalissa. Suosituin tällainen LoRA on tällä hetkellä yli 66 000 latausta, mikä on merkittävää, koska tämä AI:n käyttö nähdään edelleen “reuna-alueen” toimintana.

Ei ole julkinen foorumi ei-julkkisuhreille, jotka tulevat esiin mediassa vain, kun syytetoimet nousevat tai uhrin puhuvat suorassa lähetyksessä.

Kummassakin skenaariossa kuitenkin mallit, joita käytetään identiteetin väärentämiseen, ovat “tiivistäneet” koulutusaineistonsa niin täydellisesti mallin latenttiavaruuteen, että on vaikea tunnistaa käytetyt alkuperäiskuvat.

Jos olisi mahdollista tehdä tämä hyväksyttävän virhemarginaalin puitteissa, tämä mahdollistaisi LoRAlle jakavien syytteen, koska se osoittaa aikomusta väärentää tietyn identiteetin (ts. tietyn “tuntemattoman” henkilön, vaikka tekijä ei mainitse heitä koskaan herjauksen aikana) ja altistaa lataajaa tekijänoikeusloukkauksille, missä sovellettavissa.

Jälkimmäinen olisi hyödyllinen oikeusalueilla, joilla deepfake-teknologioiden sääntely on puutteellista tai jäljessä.

Yli altis

Perusmallin, kuten useita gigatavuja sisältävän perusmallin, jonka käyttäjä lataa Hugging Facen sivuilta, koulutuksen tavoitteena on, että malli tulisi hyvin yleistetty ja joustava. Tämä edellyttää koulutusta riittävän monilla erilaisilla kuvilla ja sopivilla asetuksilla, ja koulutuksen lopettamista ennen kuin malli “ylisovittuu” aineistoon.

Ylisovittunut malli on nähnyt aineiston niin monta kertaa (liian monta kertaa) koulutusprosessin aikana, että se taipuu toistamaan kuvia, jotka ovat hyvin samankaltaisia, paljastaen koulutusaineiston lähteen.

Identiteetti ‘Ann Graham Lotz’ voidaan melkein täydellisesti jäljitellä Stable Diffusion V1.5 -mallissa. Rekonstruktio on lähes identtinen koulutusaineistoon (vasemmalla yllä olevassa kuvassa). Lähde: https://arxiv.org/pdf/2301.13188

Kuitenkin ylisovittuneet mallit hylätään yleensä luojien toimesta eikä niitä jaeta, koska ne ovat muutenkin sopimattomia tarkoitukseen. Tämä on epätodennäköinen oikeudellinen “tuuli”, ja periaate soveltuu enemmän perusmallien kallille ja suuren tilavuuden koulutukseen, jossa useat versiot samasta kuvasta, jotka ovat päässeet suureen lähdeaineistoon, voivat tehdä tiettyjen koulutuskuvien kutsumisen helppoa (ks. kuva ja esimerkki yllä).

Asiat ovat hieman erilaiset LoRA- ja Dreambooth-mallien kohdalla (vaikka Dreambooth on jäänyt muodin ulkopuolelle sen suurten tiedostokokojen vuoksi). Tässä tapauksessa käyttäjä valitsee hyvin rajatun määrän erilaisia kuvia aiheesta ja käyttää niitä LoRA-koulutukseen.

Vasemmalla, Hunyuan Video LoRA:n tuotos. Oikealla, aineisto, joka mahdollisti muistumisen (käytetty kuvat henkilön luvalla).

Usein LoRA:lla on koulutettu laukaiseva sana, kuten [julkkisen nimi]. Usein kuitenkin erityisesti koulutettu aihe ilmestyy myös ilman tällaisia kehotuksia, koska LoRA on jonkin verran “kiinni” aineistossa, jolle se on koulutettu, ja taipuu sisällyttämään sitä jokaiseen tuotokseen.

Tämä taipumus, yhdistettynä LoRA-aineiston rajoitettuun määrään, altistaa mallin oikeudelliselle analyysille, kuten näemme seuraavaksi.

Paljastamalla tiedot

Nämä asiat käsitellään uudessa tutkimuksessa Tanskasta, joka tarjoaa metodologian lähdetietojen (tai ryhmien) tunnistamiseksi mustalaatikkomuodossa Membership Inference Attack (MIA):ssa. Tekniikkaan kuuluu osittain mukautettujen mallien käyttö, jotka on suunniteltu paljastamaan lähdeaineistoa luomalla omia “deepfake”-kuvia:

Esimerkkejä “väärennettyjä” kuvia, jotka on luotu uudella lähestymistavalla, joka lisää asteittain Classifier-Free Guidance (CFG):n, kunnes ne tuhoutuvat. Lähde: https://arxiv.org/pdf/2502.11619

Vaikka työ, jonka otsikko on Membership Inference Attacks for Face Images Against Fine-Tuned Latent Diffusion Models, on mielenkiintoinen panos kirjallisuuteen tämän aihealueen ympärillä, se on myös vaikea ja tiivisti kirjoitettu tutkimus, joka vaatii merkittävää koodaamista. Siksi käsittelimme tässä periaatteelliset perusteet projektissa ja valikoiman saavutetuista tuloksista.

Periaatteessa, jos joku kouluttaa AI-mallin kasvoillasi, tutkijoiden menetelmä voi auttaa todistamaan sen etsimällä merkkejä muistumisesta mallin generoimissa kuvissa.

Aluksi kohdemalli koulutetaan kasvojentunnistusaineistoon, mikä tekee siitä todennäköisemmän, että se toistaa yksityiskohtia näistä kuvista tuotoksissaan. Tämän jälkeen hyökkäysmalli koulutetaan valvotulla oppimisella käyttäen kohdemallin AI-kuvia “positiivisina” esimerkkeinä (epäiltyjä koulutusjoukon jäseniä) ja muita kuvia eri aineistosta “negatiivisina” esimerkkeinä (ei-jäseniä).

Opimalla hienot erot näiden ryhmien välillä hyökkäysmalli voi ennustaa, onko tietty kuva ollut osa alkuperäistä koulutusaineistoa.

Hyökkäys on tehokkain silloin, kun kohdemalli on koulutettu laajasti, eli mitä enemmän malli on erikoistunut, sitä helpompi on havaita, onko tiettyjä kuvia käytetty.

Tutkijat totesivat myös, että näkyvien vesileimojen lisääminen koulutuskuviin tekee havaitsemisen helpommaksi – piilotetut vesileimat eivät auta paljonkaan.

Hyökkäys toimii vaikuttavasti mustalaatikkomuodossa, eli se toimii ilman pääsyä mallin sisäisiin yksityiskohtiin, ainoastaan sen tuotoksista.

Menetelmä on laskennallisesti intensiivinen, kuten tutkijat myöntävät; tämän tutkimuksen arvo on kuitenkin osoittaa suuntaa lisätutkimukselle ja todistaa, että tietoja voidaan jäljittää hyväksyttävään toleranssiin; tämän vuoksi, sen uraauurtavan luonteen vuoksi, se ei tarvitse toimia älypuhelimen tasolla tässä vaiheessa.

Menetelmä ja tiedot

Tutkimuksessa käytettiin useita Tanskan Teknillisen Yliopiston (DTU) aineistoja, sekä kohdemallin kouluttamiseen että hyökkäysmallin koulutukseen ja testaamiseen.

Käytetyt aineistot olivat peräisin DTU Orbit:sta:

DseenDTU Peruskuva-aineisto.

DDTU Kuvat, jotka on poimittu DTU Orbitista.

DseenDTU DDTU:n osa, jota käytettiin kohdemallin kouluttamiseen.

DunseenDTU DDTU:n osa, jota ei käytetty kouluttamaan mitään kuvageneraattorimallia, vaan sen sijaan käytettiin hyökkäysmallin kouluttamiseen tai testaamiseen.

wmDseenDTU DDTU:n osa, jossa on näkyvät vesileimat, jota käytettiin kohdemallin kouluttamiseen.

hwmDseenDTU DDTU:n osa, jossa on piilotetut vesileimat, jota käytettiin kohdemallin kouluttamiseen.

DgenDTU Kuvat, jotka on generoitu Latent Diffusion Model (LDM):llä, joka on koulutettu DseenDTU-kuva-aineistolla.

Kohdemallin koulutukseen käytetyt aineistot koostuivat kuva- ja tekstipareista, jotka on kuvattu BLIP -kuvailumallilla (ehkä ei sattumalta yksi suosituimmista sensuroimattomista malleista vapaaehtoisessa AI-yhteisössä).

BLIP asetettiin lisäämään lause ‘a dtu headshot of a’ jokaiseen kuvauskohtaan.

Lisäksi useita Aalborgin yliopiston (AAU) aineistoja käytettiin testeissä, jotka kaikki perustuivat AU VBN -korpuksiin:

DAAU Kuvat, jotka on poimittu AAU vbn:stä.

DseenAAU DAAU:n osa, jota käytettiin kohdemallin kouluttamiseen.

DunseenAAU DAAU:n osa, jota ei käytetty kouluttamaan mitään kuvageneraattorimallia, vaan sen sijaan käytettiin hyökkäysmallin kouluttamiseen tai testaamiseen.

DgenAAU Kuvat, jotka on generoitu LDM:llä, joka on koulutettu DseenAAU-kuva-aineistolla.

Vastaa edellisiä joukkoja, lause ‘a aau headshot of a’ käytettiin. Tämä varmisti, että kaikki DTU-aineiston tunnisteet seurasivat muotoa ‘a dtu headshot of a (…)’, vahvistaen aineiston keskeisiä ominaisuuksia koulutuksen aikana.

Testit

Useita kokeita tehtiin arvioidakseen, miten hyvin jäsenyyden tunnistus hyökkäykset toimivat kohdemallia vastaan. Jokainen testi pyrki määrittämään, onko mahdollista suorittaa onnistunut hyökkäys alla olevassa skeemassa, jossa kohdemalli on koulutettu kuva-aineistoon, jota ei ole saatu luvalla.

Lähestymistapa.

Kohdemalli, joka on koulutettu kuva-aineistoon, pyydetään generoimaan kuvia, jotka käytetään positiivisina esimerkkeinä hyökkäysmallin koulutukseen, kun taas muita kuvia eri aineistosta käytetään negatiivisina esimerkkeinä.

Hyökkäysmalli koulutetaan valvotulla oppimisella ja testataan uusilla kuvilla, jotta voidaan määrittää, olivatko ne osa alkuperäistä koulutusaineistoa. Hyökkäyksen tarkin luokittelu arvioidaan asettamalla 15 % testidatasta vahvistukseen.

Koska kohdemalli on koulutettu tunnettuun aineistoon, jokaisen kuvan jäsenyyden todellinen tila on jo määritelty, kun hyökkäysmallin koulutusdataa luodaan. Tämä ohjattu asetelma mahdollistaa selvän arvion siitä, miten tehokkaasti hyökkäysmalli voi erottaa kuvat, jotka kuuluvat koulutusaineistoon, ja ne, jotka eivät kuulu.

Stable Diffusion V1.5 mallia käytettiin testeissä. Vaikka tämä vanha malli tulee esiin usein tutkimuksessa, koska on tarve johdonmukaiselle testaukselle ja laajalle aiemman työn korpus, joka käyttää sitä, tämä on soveltuva käyttötapa; V1.5 säilyi suositeltuna LoRA-luomiselle Stable Diffusion -harrastajayhteisössä pitkään, vaikka useita myöhempiä versioita julkaistiin, ja vaikka Flux tuli markkinoille – koska malli on täysin sensuroimaton.

Tutkijoiden hyökkäysmalli perustui Resnet-18:iin, ja mallin esikoulutetut painot säilytettiin. ResNet-18:n 1000-neuronin viimeinen kerros korvattiin täysin yhteydetyllä kerroksella, jossa on kaksi neuronia. Koulutuksen häviö oli kategoria cross-entropy, ja Adam-optimointi käytettiin.

Jokaisessa testissä hyökkäysmalli koulutettiin viisi kertaa eri satunnaisilla siemenillä, jotta 95 %:n luottamusväli voitiin laskea avainmittauksille. Zero-shot -luokittelu CLIP -mallilla käytettiin vertailukohtana.

(Huomaa, että alkuperäinen päättötyötaulukko tutkimuksessa on tiivis ja poikkeuksellisen vaikea ymmärtää. Siksi olen uudelleenmuokannut sen alla olevassa muodossa, joka on helpommin ymmärrettävissä. Klikkaa kuvaa, jotta voit nähdä sen paremmin)

Kaikkien testien tulosten yhteenveto. Klikkaa kuvaa, jotta voit nähdä sen paremmin

Tutkijoiden hyökkäysmenetelmä osoittautui tehokkaimmaksi kohdistettaessa fine-tune-malleja, erityisesti niitä, jotka on koulutettu tietyn kuva-aineiston avulla, kuten yksityishenkilön kasvojen. Kuitenkin, vaikka hyökkäys pystyy määrittämään, käytettiinkö tiettyä aineistoa, se kamppailee yksittäisten kuvien tunnistamisessa kyseisessä aineistossa.

Praktisessa mielessä jälkimmäinen ei välttämättä ole este oikeudellisen lähestymistavan käytölle; vaikka on suhteellisen vähän arvoa todistaa, että kuuluisa aineisto kuten ImageNet on käytetty mallissa, hyökkääjä yksityishenkilöä (ei julkkista) kohtaan on todennäköisesti vähemmän valinnanvaraa lähdeaineistosta ja joutuu täysin hyödyntämään saatavilla olevat aineistoryhmät, kuten sosiaalisen median albumit ja muut verkossa olevat kokoelmat. Nämä luovat “hashin”, jonka menetelmillä voidaan paljastaa.

Tutkimus toteaa, että toinen tapa parantaa tarkkuutta on käyttää AI-generoituja kuvia “ei-jäseninä” eikä pelkästään luonnollisia kuvia. Tämä estää keinotekoiset korkeat onnistumisprosentit, jotka muuten voivat harhauttaa tuloksia.

Lisäksi yksi tekijä, joka vaikuttaa merkittävästi havaitsemiseen, on vesileimaukset, tutkijat toteavat. Kun koulutuskuissa on näkyviä vesileimoja, hyökkäys on erittäin tehokas, kun taas piilotetut vesileimat eivät tarjoa juuri mitään etua.

Oikeanpuoleinen kuva näyttää todellisen “piilotetun” vesileiman, jota käytettiin testeissä.

Lopulta myös teksti-kuvan generoinnin ohjausasteella on rooli, ja ihanteellinen tasapaino löytyy noin 8 ohjausasteikolla. Vaikka ei käytetä suoraa kehotusta, fine-tune-malli tuottaa silti tuloksia, jotka muistuttavat sen koulutusaineistoa, vahvistaen hyökkäyksen tehokkuutta.

Johtopäätös

On valitettavaa, että tämä mielenkiintoinen tutkimus on kirjoitettu niin vaikeasti, koska se olisi kiinnostavaa sekä yksityishenkilöille, jotka kannattavat yksityisyyttä, että vapaaehtoisille AI-tutkijoille.

Vaikka jäsenyyden tunnistus hyökkäykset voivat osoittautua kiinnostaviksi ja hedelmällisiksi oikeudellisiksi työkaluiksi, on ehkä tärkeämpää, että tämä tutkimussuunta kehittää sovellettavissa olevia laajempia periaatteita, jotta se ei pääty samanlaiseen “pata-peliin”, joka on tapahtunut deepfake-havaitsemisessa yleensä, kun uuden mallin julkaisu haittaa havaitsemista ja samankaltaisia oikeudellisia järjestelmiä.

On kuitenkin joitakin todisteita siitä, että tässä uudessa tutkimuksessa on puhdistettu korkeamman tason ohjaava periaate, joten voimme toivoa, että nähdään enemmän työtä tässä suunnassa.

Julkaistu ensimmäisen kerran perjantaina, 21. helmikuuta 2025