Deepfake-tietolähteiden tunnistaminen tekoälypohjaisella taggauksella

Kiinalaisten, singaporelaisten ja yhdysvaltalaisten tutkijoiden yhteistyö on tuottanut kestävän järjestelmän kasvokuvien "tagaamiseen" niin vahvasti, että tunnistusmerkit eivät tuhoudu deepfake koulutusprosessi, joka tasoittaa tietä IP-väitteille, jotka voivat heikentää synteettisten kuvien luontijärjestelmien kykyä "anonymisoida" laittomasti kaavittua lähdetietoa.

Järjestelmä, otsikolla FakeTagger, käyttää enkooderi/dekooderiprosessia upottaakseen visuaalisesti huomaamattomia ID-tietoja kuviin riittävän alhaisella tasolla, jotta injektoidut tiedot tulkitaan välttämättömiksi kasvojen ominaispiirteiden tiedoiksi ja kulkeutuvat sen vuoksi abstraktio prosessit ehjinä, samalla tavalla kuin esimerkiksi silmä- tai suutieto.

Yleiskatsaus FakeTagger-arkkitehtuuriin. Lähdetietoja käytetään "redundantin" kasvonpiirteen luomiseen jättäen huomiotta taustaelementit, jotka peitetään tyypillisen syvän väärennöstyönkulun kautta. Viesti voidaan palauttaa prosessin toisessa päässä, ja se voidaan tunnistaa sopivan tunnistusalgoritmin avulla. Lähde: http://xujuefei.com/felix_acmmm21_faketagger.pdf

Tutkimus on peräisin Wuhanin kybertieteen ja tekniikan korkeakoulusta, Kiinan opetusministeriön ilmailun tietoturvan ja luotetun tietojenkäsittelyn avainlaboratoriosta, yhdysvaltalaisesta Alibaba Groupista, Bostonin Northeastern Universitystä ja Singaporen Nanyangin teknillisestä yliopistosta.

Kokeelliset tulokset FakeTaggerilla osoittavat, että uudelleentunnistusaste on jopa 95 % neljällä yleisellä syväfake-menetelmällä: identiteetin vaihto (ts. DeepFaceLab, kasvojen vaihto); kasvojen uudelleenesitys; attribuuttien muokkaus; ja kokonaissynteesi.

Deepfake Detectionin puutteet

Vaikka viimeiset kolme vuotta ovat tuoneet a sato Deepfake-tunnistusmenetelmien uusista lähestymistavoista, kaikki nämä lähestymistavat ovat avainasemassa syväfake-työnkulujen korjattavissa olevissa puutteissa, kuten esim. silmän kiilto alikoulutetuissa malleissa ja vilkkumisen puute aikaisemmissa deepfakeissa, joissa kasvot eivät ole riittävän erilaisia. Kun uusia avaimia tunnistetaan, ilmaisten ja avoimen lähdekoodin ohjelmistojen tietovarastot ovat estäneet ne joko tarkoituksella tai syväfake-tekniikoiden parannusten sivutuotteena.

Uudessa artikkelissa havaitaan, että tehokkain post-facto -tunnistusmenetelmä, joka on tuotettu Facebookin viimeisimmän syvän väärennösten havaitsemiskilpailun (DFDC) avulla, on rajoitettu 70 prosentin tarkkuuteen, mitä tulee syväväärennösten havaitsemiseen luonnossa. Tutkijat pitävät tätä edustavaa epäonnistumista huonona yleistyksenä uusia ja innovatiivinen GAN- ja enkooderi/dekooderi-deepfake-järjestelmät sekä syvän väärennöskorvausten usein huonontunut laatu.

Jälkimmäisessä tapauksessa tämä voi johtua syväfakerien heikkolaatuisesta työstä tai pakkausartefakteista, kun videoita ladataan jakamisalustoille, jotka pyrkivät rajoittamaan kaistanleveyden kustannuksia ja koodaamaan videoita uudelleen huomattavasti pienemmällä bittinopeudella kuin lähetyksiä. . Ironista kyllä, tämä kuva ei vain huononna emme häiritsee syvän väärennöksen näennäistä aitoutta, mutta se voi itse asiassa vahvistaa illuusiota, koska deepfake-video on yhdistetty yhteiseen, heikkolaatuiseen visuaaliseen idiomiin, joka koetaan autenttiseksi.

Selviytyvät merkinnät mallin inversion apuvälineenä

Lähdetietojen tunnistaminen koneoppimistuloksesta on suhteellisen uusi ja kasvava ala, joka mahdollistaa IP-pohjaisten riita-asioiden uuden aikakauden, kuten hallitusten nykyiset salliva näytön kaapimista koskevat määräykset (joiden tarkoituksena on olla tukahduttamatta kansallista tutkimusasemaa maailmanlaajuisen tekoälyn "kilpavarustelun" edessä) muuttuvat tiukemmaksi lainsäädännöksi alan kaupallistamisen myötä.

Mallin inversio käsittelee lähdetietojen kartoittamista ja tunnistamista synteesijärjestelmien tuottamasta lähdöstä useilla aloilla, mukaan lukien Natural Language Generation (NLG) ja kuvasynteesi. Mallin inversio on erityisen tehokas tunnistamaan uudelleen kasvot, jotka olivat joko sumeita, pikselöityjä tai muuten kulkeneet Generatiivisen vastavuoroisen verkon tai enkooderi/dekooderimuunnosjärjestelmän, kuten DeepFaceLabin, abstraktioprosessin läpi.

Kohdennettujen tunnisteiden lisääminen uusiin tai olemassa oleviin kasvokuviin on mahdollinen uusi apu inversiotekniikoiden mallintamiseen. vesileimaus esiintuleva kenttä.

Post-Facto Tagging

FakeTagger on tarkoitettu jälkikäsittelymenetelmäksi. Esimerkiksi kun käyttäjä lataa valokuvan sosiaaliseen verkostoon (johon liittyy yleensä jonkinlainen optimointiprosessi ja harvoin alkuperäisen kuvan suora ja väärentämätön siirto), algoritmi käsittelee kuvan soveltaakseen kasvojen oletettavasti pysyviä ominaisuuksia. .

Vaihtoehtoisesti algoritmia voitaisiin soveltaa historiallisiin kuvakokoelmiin, kuten on tapahtunut useita kertoja viimeisen XNUMX vuoden aikana, kuten suuret valokuva- ja kaupalliset kuvakokoelmasivustot ovat pyrkineet. menetelmät tunnistaa sisältöä, jota on käytetty uudelleen ilman lupaa.

FakeTagger pyrkii upottamaan palautettavia ID-ominaisuuksia useista syväväärennösprosesseista.

Kehitys ja testaus

Tutkijat testasivat FakeTaggeria useissa syväväärennösohjelmistosovelluksissa edellä mainituilla neljällä lähestymistavalla, mukaan lukien laajimmin käytetty tietovarasto, DeepFaceLab; Stanfordin Kasvot2Kasvot, joka voi siirtää ilmeitä kuvien ja identiteettien välillä; ja STGAN, joka voi muokata kasvojen ominaisuuksia.

Testaus tehtiin CelebA-HQ, suosittu kaavittu julkinen arkisto, joka sisältää 30,000 1024 kasvokuvaa julkkiksista eri resoluutioilla aina 1024 x XNUMX pikseliin asti.

Lähtökohtana tutkijat testasivat alun perin tavanomaisia ​​kuvien vesileimatekniikoita nähdäkseen, selviäisivätkö määrätyt tunnisteet syvänväärennöstyönkulkujen koulutusprosesseista, mutta menetelmät epäonnistuivat kaikissa neljässä lähestymistavassa.

FakeTaggerin sulautetut tiedot injektoitiin enkooderivaiheessa kasvokuvaan käyttämällä arkkitehtuuria, joka perustuu U-Net Konvoluutioverkko biolääketieteellistä kuvan segmentointia varten, julkaistiin vuonna 2015. Tämän jälkeen kehyksen dekooderiosaa koulutetaan löytämään upotettu tieto.

Prosessia kokeiltiin GAN-simulaattorissa, joka hyödynsi edellä mainittuja FOSS-sovelluksia/algoritmeja, mustassa laatikossa ilman erillistä tai erityistä pääsyä kunkin järjestelmän työnkulkuihin. Julkkiskuviin liitettiin satunnaisia ​​signaaleja ja kirjattiin jokaiseen kuvaan liittyvänä datana.

Mustan laatikon asetuksissa FakeTagger pystyi saavuttamaan yli 88.95 % tarkkuuden neljällä sovelluksella. Rinnakkaisessa white-box-skenaariossa tarkkuus nousi lähes 100 prosenttiin. Koska tämä kuitenkin viittaa tuleviin syväfake-ohjelmiston iteraatioihin, jotka sisältävät suoraan FakeTaggerin, se on epätodennäköinen skenaario lähitulevaisuudessa.

Kustannusten laskeminen

Tutkijat huomauttavat, että FakeTaggerin haastavin skenaario on täydellinen kuvasynteesi, kuten CLIP-pohjainen abstraktien luominen, koska syöttöharjoitusdataan kohdistuu tällaisessa tapauksessa syvimmät abstraktiotasot. Tämä ei kuitenkaan päde syvään väärennettyihin työnkulkuihin, jotka ovat dominoineet otsikoita useiden viime vuosien aikana, koska ne ovat riippuvaisia ​​ID:n määrittävien kasvojen ominaisuuksien uskollisesta toistosta.

Paperi toteaa myös, että kilpailevat hyökkääjät voisivat mahdollisesti yrittää lisätä häiriöitä, kuten keinotekoista melua ja viljaa, estääkseen tällaisen merkintäjärjestelmän, vaikka tällä olisi todennäköisesti haitallinen vaikutus syväväärennöstulosten aitouteen.

Lisäksi he huomauttavat, että FakeTaggerin on lisättävä kuviin ylimääräistä dataa varmistaakseen upotettujen tunnisteiden säilymisen, ja että tällä voi olla huomattavat laskennalliset kustannukset mittakaavassa.

Kirjoittajat päättävät toteamalla, että FakeTaggerilla voi olla potentiaalia lähteen seurantaan muilla aloilla, kuten vastakkaiset sadehyökkäykset ja muun tyyppiset kuvapohjaiset hyökkäykset, kuten vastakkainen altistuminen, usva, hämärtää, vinjetointia ja väriä häiritsevä.