Deepfake-datan lähteiden tunnistaminen AI-pohjaisella merkinnällä

Kiinalaisten, singaporelaisten ja yhdysvaltalaisten tutkijoiden yhteistyö on tuottanut kestävän järjestelmän kasvojen valokuvien “merkinnälle”, joka on niin vankka, että tunnistamiset merkit eivät tuhoudu deepfake-koulutusprosessin aikana, mikä mahdollistaa immateriaalioikeudelliset vaatimukset, jotka voivat heikentää synteettisten kuvien luomijärjestelmien kykyä “anonyymisesti” luvattomasti kerättyyn lähdeaineistoon.

Järjestelmä, joka on nimeltään FakeTagger, käyttää koodaus-/dekoodausprosessia upottamaan visuaalisesti erottamattomia ID-tietoja kuviin tarpeeksi alhaisella tasolla, jotta ruutuun upotetut tiedot tulkitaan välttämättömiksi kasvonpiirteiksi, ja siksi ne välitetään abstraktioprosesseissa koskemattomina, samalla tavalla kuin esimerkiksi silmä- tai suun tiedot.

Yleiskatsaus FakeTagger-arkkitehtuurista. Lähdeaineisto käytetään luomaan “ylimääräinen” kasvonpiirre, jossa taustaelementit ohitetaan, jotka poistetaan tyypillisessä deepfake-työnkulussa. Viesti on palautettavissa prosessin toisessa päässä ja tunnistettavissa sopivalla tunnistusalgoritmilla. Lähde: http://xujuefei.com/felix_acmmm21_faketagger.pdf

Tutkimus on peräisin Wuhanin kybernetiikan ja tietotekniikan tiedekunnasta, Kiinan opetusministeriön ilmailun tietoturva- ja luotettavuustietokonetutkimuksen avainlaboratoriosta, Alibaba Groupista Yhdysvalloissa, Northeastern Universitysta Bostonissa ja Nanyangin teknillisestä yliopistosta Singaporessa.

Kokeelliset tulokset FakeTaggerilla osoittavat jälleentunnistusasteen jopa 95 % neljällä yleisellä deepfake-menetelmällä: identiteetin vaihto (esim. DeepFaceLab, FaceSwap); kasvon uudelleenjärjestäminen; attribuuttien muokkaus; ja kokonaissynteesi.

Deepfake-havaitsemisen heikkoudet

Vaikka viimeiset kolme vuotta ovat tuottaneet runsaan saton uusia lähestymistapoja deepfake-tunnistusmenetelmiin, kaikki nämä lähestymistavat perustuvat korjattaviin deepfake-työnkulun heikkouksiin, kuten silmänkiilto puutteellisesti koulutetuissa malleissa, ja silmiensulku varhaisissa deepfakeissa, joissa kasvojen joukko on riittämättömän monipuolinen.

Uusi tutkimusraportti toteaa, että tehokkain jälkikäteen havaitsemismenetelmä, joka on tuotettu Facebookin viimeisimmästä deepfake-havaitsemiskilpailusta (DFDC), on rajoitettu 70 %:n tarkkuuteen deepfaken havaitsemisessa luonnossa. Tutkijat pitävät tätä edustavaa epäonnistumista heikkona yleistettävyytenä uusia ja innovatiivisia GAN- ja koodaus-/dekoodausjärjestelmiä vastaan, ja usein heikentyneen laadun deepfake-korvikkeita.

Jälkimmäisessä tapauksessa tämä voi johtua deepfake-tekijöiden huonolaatuisesta työstä tai pakkausartefakteista, kun videot ladataan jakelu-alustoille, jotka pyrkivät rajoittamaan kaistanleveyden kustannuksia ja uudelleenkoodaavat videot dramaattisesti matalammalla bittinopeudella kuin lähetykset. Ironisesti, ei ainoastaan kuvan heikentynyt laatu häiritse deepfaken ilmeistä aitoutta, vaan se voi jopa vahvistaa illuusiota, koska deepfake-videota sisällytetään yleiseen, matalan laatuisen visuaalisen idioomin, jota pidetään aitoona.

Selviytyminen merkinnöillä mallin kääntämisen apuna

Lähdeaineiston tunnistaminen koneoppimisen tulosteista on suhteellisen uusi ja kasvava ala, ja se mahdollistaa uuden aikakauden immateriaalioikeudellisen oikeudenkäynnin, kun hallitusten nykyiset sallivat ruutukaappaussäännökset (jotka on suunniteltu estämään kansallisen tutkimuksen etuminaisuuden heikkenemistä maailmanlaajuisen tekoälykilpailun edessä) kehittyvät tiukemmaksi lainsäädännöksi, kun ala kaupallistuu.

Mallin kääntäminen käsittelee lähdeaineiston kartoittamista ja tunnistamista synteettisistä järjestelmien tuottamista tuloksista useilla aloilla, mukaan lukien luonnollisen kielen generointi (NLG) ja kuvasynteesi. Mallin kääntäminen on erityisen tehokasta tunnistamaan kasvot, jotka on hämmennetty, pikselöity tai jotka ovat menneet generatiivisen vastakkaisen verkon tai koodaus-/dekoodausmuunnosjärjestelmän abstraktioprosessin läpi, kuten DeepFaceLab.

Kohdennettujen merkintöjen lisääminen uusiin tai olemassa oleviin kasvokuvien on mahdollinen apuväline mallin kääntämismenetelmiin, vesileimauksella nousussa olevalla alalla.

Jälkikäteen merkintä

FakeTagger on tarkoitettu jälkikäteen lähestymistavaksi. Esimerkiksi, kun käyttäjä lataa valokuvan sosiaaliseen verkkoon (joka yleensä vaatii jonkinlaista optimointiprosessia ja harvoin suoraa ja muuttumatonta alkuperäisen kuvan siirtoa), algoritmi prosessoi kuvan soveltamaan oletettavasti tuhoutumattomia ominaisuuksia kasvoihin.

Vaihtoehtoisesti algoritmi voidaan soveltaa historiallisiin kuvakokoelmiin, kuten on tapahtunut useita kertoja viimeisen 20 vuoden aikana, kun suuret valokuvavarastot ja kaupalliset kuvakokoelmasivustot ovat etsineet menetelmiä tunnistamaan sisältöä, jota on käytetty ilman lupaa.

FakeTagger pyrkii upottamaan palautettavissa olevat ID-ominaisuudet eri deepfake-prosesseista.

Kehitys ja testaus

Tutkijat testasivat FakeTaggeria useita deepfake-ohjelmistoja vastaan neljällä edellä mainitulla lähestymistavalla, mukaan lukien laajimmin käytetty repositorio, DeepFaceLab; Stanfordin Face2Face, joka voi siirtää kasvonilmeitä kuvien ja identiteettien välillä; ja STGAN, joka voi muokata kasvonpiirteitä.

Testaus tehtiin CelebA-HQ:n avulla, joka on suosittu julkinen repositorio, joka sisältää 30 000 julkkisten kasvokuvia eri resoluutioilla, aina 1024 x 1024 pikseliin asti.

Vertailukohtana tutkijat testasivat aluksi perinteisiä kuvavesileimauksetekniikoita, jotta nähdään, selviävätkö asetetut merkit deepfake-työnkulkujen koulutusprosesseista, mutta menetelmät epäonnistuivat kaikilla neljällä lähestymistavalla.

FakeTaggerin upotettu data upotettiin koodausvaiheessa kasvokuvauksiin U-Net-konvoluution verkon avulla, joka on julkaistu vuonna 2015. Tämän jälkeen dekoodausosio järjestelmästä koulutetaan löytämään upotettu tieto.

Prosessi kokeiltiin GAN-simulaattorissa, joka hyödyntää edellä mainittuja FOSS-sovelluksia/algoritmeja mustan laatikon asetuksessa ilman erillistä tai erityistä pääsyä kunkin järjestelmän työnkulkuihin. Sattumanvaraisia signaaleja liitettiin julkkisten kuviin ja kirjattiin liittyviksi tietoihin kullekin kuvalle.

Mustan laatikon asetuksessa FakeTagger pystyi saavuttamaan tarkin 88,95 %:n tarkin tarkkuuden neljän sovelluksen lähestymistavoilla. Valkoisen laatikon tilanteessa tarkkuus kasvoi lähes 100 %:iin. On kuitenkin epätodennäköistä, että tulevaisuuden deepfake-ohjelmistoversiot sisällyttävät FakeTaggerin suoraan, joten se on epätodennäköinen skenaario lähitulevaisuudessa.

Kustannusten laskeminen

Tutkijat toteavat, että haasteellisin skenaario FakeTaggerille on kokonaan syntetisoitu kuva, kuten CLIP-pohjainen abstrakti generointi, koska syötteen koulutusdata on altis syvimmille abstraktiotasoille. Tämä kuitenkaan ei koske deepfake-työnkulkua, jotka ovat hallinneet otsikoita viime vuosina, koska ne perustuvat uskollisen ID-määrittävien kasvonpiirteiden jäljentämiseen.

Raportissa myös todetaan, että vastakkaiset hyökkääjät voivat yrittää lisätä häiriöitä, kuten keinotekoisia häiriöitä ja rakeisuutta, jotta he voivat häikäistä tällaista merkintäjärjestelmää, vaikka se todennäköisesti heikentäisi deepfake-tulosteen aitoutta.

Lisäksi he toteavat, että FakeTagger tarvitsee lisätä ylimääräisiä tietoja kuvauksiin, jotta se voi varmistaa upotettujen merkintöjen säilymisen, ja tämä voi aiheuttaa merkittävän laskennallisen kustannuksen suuressa mittakaavassa.

Tekijät päättävät toteamalla, että FakeTagger voi olla potentiaalinen apuväline muiden alojen alkuperän seuraamisessa, kuten vastakkaisissa sadehyökkäyksissä ja muissa kuvapohjaisissa hyökkäyksissä, kuten vastakkaisissa altistushyökkäyksissä, sumussa, sumennuksessa, reunuskuvissa ja värikorjauksissa.