Syvänvalheiden datalähteiden tunnistaminen tekoälypohjaisella merkinnällä

Kiinalaisten, singaporelaisten ja yhdysvaltalaisten tutkijoiden yhteistyönä on kehitetty kestävä järjestelmä kasvojen valokuvien “merkinnälle”, joka on niin kestävä, että tunnistavat merkit eivät tuhoudu syvänvalheen koulutusprosessin aikana. Tämä mahdollistaa immateriaalioikeudelliset vaatimukset, jotka voivat heikentää synteettisen kuvan generoimisjärjestelmien kykyä “anonyymisesti” luvattomasti kerättyihin lähdeaineistoihin.

Järjestelmä, joka on nimeltään FakeTagger, käyttää kooderin/dekooderin prosessia upottamaan näkemättömänä pysyvän ID-tiedon kuvien sisään, jotta se voidaan tulkita välttämättömän kasvonpiirteiden datana ja siten välitetään abstraktio-prosesseissa koskemattomana, samalla tavalla kuin esimerkiksi silmien tai suun data.

Yleiskatsaus FakeTaggerin arkkitehtuurista. Lähdeaineistoa käytetään “tarpeettoman” kasvonpiirteen luomiseen, jossa taustaelementit jätetään huomiotta tyypillisen syvänvalheen työnkulun kautta. Viesti on palautettavissa prosessin toisessa päässä ja tunnistettavissa soveltuvaan tunnistusalgoritmiin. Lähde: http://xujuefei.com/felix_acmmm21_faketagger.pdf

Tutkimus on tehty yhteistyössä Wuhanin kybernetiikan ja tietotekniikan tiedekunnan, Kiinan opetusministeriön ilmailun turvallisuuden ja luotettavuuden avainlaboratorion, Alibaba Groupin, Bostonin Northeastern Universityn ja Singaporen Nanyangin teknillisen yliopiston kanssa.

Kokeelliset tulokset FakeTaggerista osoittavat jälleentunnistusasteen jopa 95 % neljässä yleisimmässä syvänvalheen menetelmässä: identiteetin vaihto (esim. DeepFaceLab, FaceSwap); kasvojen uudelleen esittäminen; attribuutti-editointi; ja kokonainen synteesi.

Syvänvalheen havaitsemisen heikkoudet

Vaikka viimeiset kolme vuotta ovat tuottaneet runsaan määrän uusia lähestymistapoja syvänvalheen tunnistamiseen, kaikki nämä lähestymistavat perustuvat korjattaviin heikkouksiin syvänvalheen työnkuluissa, kuten silmänkiilto alikoulutetuissa malleissa ja vilkkumisen puute varhaisissa syvänvalheissa, joissa kasvojen joukko ei ollut riittävän monipuolinen. Kun uusia avaimia tunnistetaan, vapaat ja avoimet lähdekoodirepositoriot ovat poistaneet ne joko tarkoituksella tai syvänvalheen parantamisen sivutuotteena.

Uusi tutkimusraportti toteaa, että Facebookin viimeisimmän syvänvalheen havaitsemiskilpailun (DFDC) tuottama tehokkain jälkikäteen havaitsemismenetelmä on rajoitettu 70 %:n tarkkuuteen syvänvalheiden tunnistamisessa luonnollisessa ympäristössä. Tutkijat pitävät tätä edustavaa epäonnistumista heikkona yleistyksenä uusia ja innovatiivisia GAN- ja kooderin/dekooderin syvänvalhejärjestelmiä vastaan, sekä usein heikentynyttä syvänvalheen korvausten laatua.

Näissä tapauksissa tämä voi johtua joko matalalaatuisesta työstä syvänvalheen tekijöiden puolesta tai pakkausartefakteista, kun videoita ladataan jakelu-alustoille, jotka pyrkivät rajoittamaan kaistanleveyden kustannuksia ja uudelleenkoodaavat videot dramaattisesti matalammalla bittinopeudella kuin alkuperäiset julkaisut. Ironisesti, ei ainoastaan tämä kuvan heikentynyt laatu ei häirikö syvänvalheen ilmeistä aidosta olemuksesta, vaan se voi jopa vahvistaa illuusion, koska syvänvalhevideo upotetaan yleiseen, matalalaatuiseen visuaaliseen idiomiin, jota havaitaan aidoksi.

Selviytyminen merkinnöissä mallin kääntämisen avustajana

Lähdeaineiston tunnistaminen koneoppimisen tulosteesta on suhteellisen uusi ja kasvava ala, joka mahdollistaa uuden aikakauden immateriaalioikeudellisen oikeudenkäynnin, kun hallitusten nykyiset sallivat ruutukaappaus-säännökset (jotka on suunniteltu estämään kansallisen tutkimuksen etulyöntiaseman heikentäminen globaalissa tekoäly-“asekilvassa”) kehittyvät tiukemmaksi lainsäädännöksi, kun ala kaupallistuu.

Mallin kääntäminen käsittelee lähdeaineiston kartoittamista ja tunnistamista synteesijärjestelmien tuottamista tulosteista useissa aloissa, mukaan lukien luonnollisen kielen generointi (NLG) ja kuvan synteesi. Mallin kääntäminen on erityisen tehokasta jälleentunnistamaan kasvoja, jotka on häikäistetty, pikselöity tai jotka ovat menneet generatiivisen vastakkaisen verkoston (GAN) tai kooderin/dekooderin muunnosjärjestelmän abstraktio-prosessin läpi, kuten DeepFaceLab.

Uusien tai olemassa olevien kasvokuvien kohdennettuun merkintään on mahdollista apuväline mallin kääntämismenetelmiin, merkintä on nouseva ala.

Jälkikäteen merkintä

FakeTagger on tarkoitettu jälkikäteen lähestymismenetelmäksi. Esimerkiksi, kun käyttäjä lataa valokuvan sosiaaliseen verkkoon (joka yleensä vaatii jonkinlaista optimointiprosessia ja harvoin suoraa ja puhdasta alkuperäisen kuvan siirtoa), algoritmi prosessoi kuvan soveltaakseen oletettavasti pysyviä ominaisuuksia kasvoihin.

Vaihtoehtoisesti, algoritmi voidaan soveltaa historiallisiin kuvakokoelmiin, kuten on tapahtunut useita kertoja viimeisen kahdenkymmenen vuoden aikana, kun suuret valokuvakokoelmat ja kaupalliset kuvakokoelmat ovat etsineet menetelmiä tunnistamaan sisältöä, jota on käytetty ilman lupaa.

FakeTagger pyrkii upottamaan palautettavissa olevat tunnistusominaisuudet eri syvänvalheen prosesseista.

Kehitys ja testaus

Tutkijat testasivat FakeTaggeria useita syvänvalheohjelmistoja vastaan neljässä edellä mainitussa lähestymistavassa, mukaan lukien laajimmin käytetty repositio, DeepFaceLab; Stanfordin Face2Face, joka voi siirtää kasvojen ilmeitä kuvien ja identiteettien välillä; ja STGAN, joka voi muokata kasvon piirteitä.

Testaus tehtiin CelebA-HQ:n avulla, joka on suosittu julkinen repositio, joka sisältää 30 000 julkkisten kasvokuvaa eri resoluutioissa, jopa 1024 x 1024 pikseliä.

Vertailukohtana tutkijat testasivat aluksi perinteisiä kuvan merkintätekniikoita, jotta näkisivät, selviäisivätkö asetetut merkit syvänvalheen työnkulkujen koulutusprosesseista, mutta menetelmät epäonnistuivat kaikissa neljässä lähestymistavassa.

FakeTaggerin upotettu data upotettiin kooderin vaiheeseen kasvokuvien joukkoon arkkitehtuurin avulla, joka perustui U-Net -konvoluution verkkoon biolääketieteellisen kuvan segmentoinnista, joka julkaistiin vuonna 2015. Tämän jälkeen dekooderin osa kehyskustannuksista koulutetaan löytämään upotettu tieto.

Prosessi testattiin GAN-simulaattorissa, joka hyödynsi edellä mainittuja vapaan lähdekoodin sovelluksia/algoritmeja mustan laatikon asetuksessa, jossa ei ollut erillistä tai erityistä pääsyä kunkin järjestelmän työnkulkuun. Sattumanvaraisia signaaleja liitettiin julkkisten kuviin ja kirjattiin liittyviksi tietoiksi kuhunkin kuvaan.

Mustan laatikon asetelma FakeTagger saavutti tarkin 88,95 %:n tarkin tuloksen neljässä sovelluksessa. Rinnakkaisessa valkoisen laatikon skenaariossa tarkkuus kasvoi lähes 100 %:iin. Vaikka tämä viittaa tuleviin syvänvalheohjelmistoversioihin, jotka sisällyttävät FakeTaggerin suoraan, se on epätodennäköinen skenaario lähitulevaisuudessa.

Kustannusten laskeminen

Tutkijat toteavat, että haasteellisin skenaario FakeTaggerille on täydellinen kuvan synteesi, kuten CLIP-pohjainen abstrakti generointi, koska syötteen koulutusdata on altis syvimmille abstraktiotasoille tällaisessa tapauksessa. Tämä ei kuitenkaan koske syvänvalheen työnkulkua, jotka ovat hallinneet otsikoita viimeisten vuosien aikana, koska ne perustuvat uskollisen identiteetin määrittävien kasvonpiirteiden rekonstruktioon.

Tutkimusraportti toteaa myös, että vastustavat hyökkääjät voivat yrittää lisätä häiriöitä, kuten keinotekoista kohinaa ja räiskettä, jotta voittaisivat tällaisen merkintäjärjestelmän, vaikka tämä todennäköisesti heikentäisi syvänvalheen tulosteen aidon olemuksen.

Lisäksi he toteavat, että FakeTagger tarvitsee lisätä tarpeettomia tietoja kuvien joukkoon, jotta varmistaa upotettujen merkkien säilyminen, ja tämä voi aiheuttaa merkittävän laskennallisen kustannuksen suuressa mittakaavassa.

Tutkijat päättelevät, että FakeTagger voi olla potentiaalinen apuväline alkuperän seuraamisessa muissa aloissa, kuten vastustavissa sadehyökkäyksissä ja muissa kuvapohjaisissa hyökkäyksissä, kuten vastustavassa altistuksessa, sumussa, sumennuksessa, varjostuksessa ja väri-epätasapainossa.

ja että tämä voi olla merkittävä kustannus suuressa mittakaavassa. Tutkijat toteavat, että FakeTagger voi olla potentiaalinen apuväline alkuperän seuraamisessa muissa aloissa, kuten vastustavissa sadehyökkäyksissä ja muissa kuvapohjaisissa hyökkäyksissä, ja tämä voi olla merkittävä kustannus suuressa mittakaavassa.