Tunnistamalla Julkkisten Deepfake-kuvia Ulkopuolisista Kasvoalueista

Microsoftin ja kiinalaisen yliopiston uusi yhteistyö on ehdottanut uutta tapaa tunnistaa julkkisten deepfake-kuvia hyödyntämällä nykyisten deepfake-tekniikoiden puutteita tunnistamaan identiteettejä, jotka on “projisoitu” muiden ihmisten kasvoille.

Lähestymistapa on nimeltään Identity Consistency Transformer (ICT), ja se toimii vertaamalla kasvojen ulkopuolisia osia (leuka, poskiluut, hiustenraja ja muut ulkopuoliset piirteet) kasvojen sisäpuoleen. Järjestelmä hyödyntää yleisesti saatavilla olevia julkkisten julkisia kuvia, mikä rajoittaa sen tehokkuutta vain kuuluisiin julkkisiin, joiden kuvia on saatavilla suurissa määrin laajasti saatavilla tietokoneen näködatassa ja internetissä.

Väärennettyjen kasvojen peittäminen seitsemällä tekniikalla: DeepFake in FF+; DeepFake in Google DeepFake Detection; DeepFaceLab; Face2Face; FSGAN; ja DF-VAE. Suosittujen pakettien, kuten DeepFaceLab ja FaceSwap, antamat vastaavat rajoitetut peittämisalueet. Lähde: https://arxiv.org/pdf/2203.01318.pdf

Kuten yllä oleva kuva osoittaa, nykyiset suositut deepfake-menetelmät ovat melko resurssirajoitettuja ja riippuvat soveliaisista isäntäkasvoista (henkilön kuva tai video, jonka identiteetti korvataan deepfake-tekniikalla) vähentämään kasvojen korvaamisen näyttöä.

Vaikka eri menetelmät voivat kattaa koko otsan ja suuren osan leuan ja poskiluiden alueita, ne kaikki ovat enemmän tai vähemmän rajoitettuja isäntäkasvojen kehyksen sisällä.

Saliency-kartta, joka korostaa ‘sisäisiä’ ja ‘ulkopuolisia’ identiteettejä, jotka ICT laskee. Jos sisäinen kasvojen vastine on muodostettu, mutta ulkoinen identiteetti ei vastaa, ICT arvioi kuvan virheelliseksi.

Testeissä ICT osoittautui pystyväksi havaitsemaan deepfake-sisällön väärennösystävällisissä olosuhteissa, kuten matalatarkkuuksisissa videoissa, joissa koko videon sisältö on heikentynyt pakkausartefakteilla, mikä auttaa piilottamaan deepfake-prosessin jäännösefektejä – tilanne, joka hämmennystää monia kilpailevia deepfake-havaintamenetelmiä.

ICT suoriutuu kilpailijoistaan deepfake-sisällön tunnistamisessa. Katso video artikkelin lopussa lisäesimerkeistä ja paremmasta resoluutiosta. Lähde: https://www.youtube.com/watch?v=zgF50dcymj8

Artikkeli on nimeltään Protecting Celebrities with Identity Consistency Transformer, ja se on peräisin yhdeksältä tutkijalta, jotka ovat eri tavoin liitettynä Kiinan tiede- ja teknologiayliopistoon, Microsoft Research Asiaan ja Microsoft Cloud + AI:hin.

Luotettavuuden aukko

On ainakin kaksi syytä, miksi suositut kasvojen vaihtamiseen käytettävät algoritmit, kuten DeepFaceLab ja FaceSwap, jättävät huomiotta ulkopuolisen alueen vaihdettavista kasvoista.

Ensinnäkin, deepfake-mallien kouluttaminen on aikaa vievää ja resursseja vaativaa, ja “yhteensopivien” isäntäkasvojen/kehojen käyttö vapauttaa GPU-sykliä ja epochia keskittymään sisäisiin, suhteellisen muuttumattomiin kasvojen alueisiin, joita käytetään identiteetin määrittämiseen (koska muuttujat, kuten painon heilahtelu ja vanheneminen, ovat vähiten todennäköisiä muuttamaan näitä peruskasvonpiirteitä lyhyellä aikavälillä).

Toiseksi, useimmat deepfake-lähestymistavat (ja tämä on varmasti tapauksessa DeepFaceLab:ia, ohjelmistoa, jota suosituimmat tai maineikkaimmat harjoittajat käyttävät) eivät pysty replikoimaan “kasvojen reunan” marginaaleja, kuten poski- ja leuka-alueita, ja ne ovat rajoitettuja siinä, että niiden ylävirran (2017) koodi ei käsitellyt tätä ongelmaa laajasti.

Tapauksissa, joissa identiteetit eivät vastaa hyvin, deepfake-algoritmi on “maalaus” taustan alueita kasvojen ympärillä, mikä se tekee kömpelösti jopa parhaiden deepfake-käyttäjien, kuten Ctrl Shift Face, käsissä, jonka tuotantoa käytettiin artikkelin tutkimuksissa.

Parhaimmisto: still-kuvat deepfake-videosta, jonka on luonut arvostettu deepfake-käyttäjä Ctrl-Shift-Face, vaihtaen Jim Carreyn Gary Oldmanin kanssa. Tämä työ edustaa todennäköisesti parhainta saatavilla olevaa tulosta DeepFaceLab:in ja jälkikäsittelytekniikoiden kautta. Kuitenkin vaihdot rajoittuvat suhteellisen vähäiseen huomioon, jonka DFL antaa ulkopuoliselle kasvolle, vaativat jättimäisen datan kuratoinnin ja koulutuksen ponnistelun käsitelläkseen ulkopuolisia piirteitä. Lähde: https://www.youtube.com/watch?v=x8igrh1eyLk

Tämä “sleight of hand” tai huomion siirtäminen pääosin välttää julkista huomiota nykyisessä deepfake-aiheisessa keskustelussa, koska kriittiset kykymme deepfake-aiheissa ovat edelleen kehittymässä “shokki ja ihme” -vaiheesta.

Jaettu identiteetti

Uusi artikkeli toteaa, että useimmat aiemmat deepfake-havaintamenetelmät perustuvat havaintoihin, jotka paljastavat vaihtoprosessin, kuten epäjohdonmukaiset pään asennot ja räpäyttäminen, muun muassa monissa muissa tekniikoissa. Vain tämän viikon aikana uusi deepfake-havaintoartikkeli on ehdottanut FaceSwap-kehyksen eri mallityyppien “signaatin” käyttämistä väärennetyn videon tunnistamiseen (ks. alla oleva kuva).

Väärennetyn videon tunnistaminen eri mallityyppien signaatin avulla FaceSwap-kehyksessä. Lähde: https://arxiv.org/pdf/2202.12951.pdf

Toisin kuin ICT:n arkkitehtuuri luo kaksi erillistä sisäkkäistä identiteettiä henkilölle, joista kumpikaan ei voi vahvistaa koko identiteetin olevan “totuudenmukainen” kuva tai kuva.

ICT:n koulutus- ja testausvaiheen arkkitehtuuri.

Identiteetin jakaminen tapahtuu näön Transformerin avulla, joka suorittaa kasvojen tunnistamisen ennen kuin jakaa tutkitut alueet tokeneiksi, jotka kuuluvat joko sisäiseen tai ulkoiseen identiteettiin.

Pätkien jakaminen kahden rinnakkaisen identiteetin merkkien välillä.