Andersonin kulma

Syväväärennösten havaitseminen ihmisen omien biometristen piirteiden avulla

Martin Anderson
Lisää Unite.AI suosikkilähteisiisi Google-palvelussa
Images produced by deepfakers at the DeepFaceLab Discord Channel
Keskeiset kohdatPOI-Forensics havaitsee syväväärennökset vertaamalla biometrisiä kasvo- ja äänivihjeitä…
Näytä lisää
  • POI-Forensics havaitsee syväväärennökset vertaamalla biometrisiä kasvo- ja äänivihjeitä kohteen aitoihin videoihin.
  • Järjestelmä saavuttaa huippuluokan tuloksia ilman koulutusta väärennetyillä videoilla, käyttäen ainoastaan aitoa materiaalia.
  • Biometrinen simulointi on vielä vuosien päässä, mikä tekee tästä lähestymistavasta vankan puolustuksen nykyisiä syväväärennösmenetelmiä vastaan.

Italialaiset ja saksalaiset tutkijat esittävät uudessa artikkelissa menetelmän syväväärennösvideoiden havaitsemiseksi kasvojen ja äänen biometrisen käyttäytymisen perusteella. Menetelmä ei perustu kasvosynteesijärjestelmien tuottamiin artefakteihin, kalliisiin vesileimaratkaisuihin tai muihin kömpelömpiin lähestymistapoihin.

Menetelmä tarvitsee syötteeksi 10 tai useamman erilaisen, ei-väärennetyn videon kohteesta. Se ei kuitenkaan vaadi erityistä koulutusta, uudelleenkoulutusta tai täydentämistä tapauskohtaisilla videoilla, koska sen sisällyttämä malli on jo abstrahoinut todennäköiset vektorietäisyydet oikeiden ja väärennettyjen videoiden välillä laajasti sovellettavalla tavalla.

Kontrastinen oppiminen on POI-Forensics-lähestymistapan perusta. Lähteiden perusteella johdettuja vektoreita verrataan samoihin vektoreihin potentiaalisessa väärennettyssä videossa, jossa on otettu huomioon sekä videon että äänen komponentit väärennetystä kuvamateriaalista. Lähde: https://arxiv.org/pdf/2204.03083.pdf

Kontrastinen oppiminen on POI-Forensics-lähestymistapan perusta. Lähteiden perusteella johdettuja vektoreita verrataan samoihin vektoreihin potentiaalisessa väärennettyssä videossa, jossa on otettu huomioon sekä videon että äänen komponentit väärennetystä kuvamateriaalista. Lähde: https://arxiv.org/pdf/2204.03083.pdf

Nimeämällä POI-Forensics, lähestymistapa perustuu liikkeen ja äänen vihjeisiin, jotka ovat yksilöllisiä todelliselle henkilölle, jota syväväärennös kohdistaa.

Vaikka tällainen järjestelmä voisi mahdollistaa täysin automaattiset, ‘esirenderöidyt’ todennuskehykset julkkiksille, poliitikoille, YouTube-vaikuttajille ja muille henkilöille, joista on runsaasti saatavilla videoaineistoa, se voisi myös sopeutua kehykseksi, jossa tavalliset syväväärennösten uhrit voivat potentiaalisesti osoittaa hyökkäysten epäaidon.

POI-Forensicsin poimituista piirteistä johdetut visualisoinnit aidosta ja väärennetystä videomateriaalista neljän kohteen kohdalla t-SNE-kehyksessä.

POI-Forensicsin poimituista piirteistä johdetut visualisoinnit aidosta ja väärennetystä videomateriaalista neljän kohteen kohdalla t-SNE-kehyksessä.

Tutkijat väittävät, että POI-Forensics saavuttaa uuden huipputason syväväärennösten havaitsemisessa. Useiden yleisten tietokantojen kohdalla tämä kehys saavuttaa 3%, 10% ja 7%:n parannuksen AUC-pisteissä korkealaatuisissa, matalalaatuisissa ja ‘hyökättyjä’ videoissa vastaavasti. Tutkijat lupaavat julkaista koodin pian.

POI-Forensicsin suorituskyky verrattuna kilpaileviin SOTA-kehyksiin pDFDC, DeepFakeTIMIT, FakeAVCelebV2 ja KoDF. Koulutus suoritettiin kussakin tapauksessa FaceForensics++, ID-Reveal ja kirjoittajien menetelmällä VoxCeleb2:lla. Tulokset sisältävät sekä korkealaatuiset että matalalaatuiset videot.

POI-Forensicsin suorituskyky verrattuna kilpaileviin SOTA-kehyksiin pDFDC, DeepFakeTIMIT, FakeAVCelebV2 ja KoDF. Koulutus suoritettiin kussakin tapauksessa FaceForensics++ ja kirjoittajien ID-Reveal VoxCeleb2:lla. Tulokset sisältävät sekä korkealaatuiset että matalalaatuiset videot.

Tutkijat toteavat:

‘Koulutus suoritetaan yksinomaan oikeilla puhuvien kasvojen videoilla, joten ilmaisin ei riipu minkään tietyn manipulointimenetelmän käytöstä ja antaa korkeimman yleistettävyyden. Lisäksi menetelmämme voi havaita sekä yksittäisiä modaalisiin (ääni vain, video vain) että monimodaalisiin (ääni-video) hyökkäyksiä, ja se on kestävä matalalaatuisille tai vahingoittuneille videoille rakentamalla ainoastaan korkean tason semanttisia piirteitä.’

Uusi artikkeli, joka sisältää elementtejä joistakin kirjoittajien visuaalisen ID-Reveal -projektista vuodelta 2021, on nimeltään Ääni-Kuvallinen Kiinnostuksen Kohde Syväväärennös-Havaitseminen, ja se on yhteistyöprojekti Napolin Federico II -yliopiston ja Münchenin Teknillisen Yliopiston välillä.

Syväväärennös-Asekilpailu

Jotta voitettaisiin tällainen havaintojärjestelmä, syväväärennös- ja ihmisen synteesijärjestelmien olisi kyettävä vähintään simuloimaan visuaalisia ja äänen biometrisiä vihjeitä tarkoitetusta kohdehenkilöstä – teknologiaa, jonka toteutumiseen on vielä vuosia ja todennäköisesti pysyy kalliiden ja suljettujen järjestelmien hallinnassa, joita kehittävät VFX-yritykset, joilla on etulyöntiasema tarkoitetun kohteen (tai heidän kuolinpesiensä, kuolleiden henkilöiden simulaation tapauksessa) yhteistyön ja osallistumisen kautta.

Kirjoittajien aiempi lähestymistapa, ID-Reveal, keskittyi täysin visuaaliseen tietoon. Lähde: https://arxiv.org/pdf/2012.02512.pdf

Kirjoittajien aiempi lähestymistapa, ID-Reveal, keskittyi täysin visuaaliseen tietoon. Lähde: https://arxiv.org/pdf/2012.02512.pdf

Menestyneet ja suositut syväväärennös-menetelmät, kuten FaceSwap ja DeepFaceLab/Live, eivät tällä hetkellä kykene luomaan tällaisia yksityiskohtaisia biometrisiä approksimaatioita, vaan luottavat parhaimmillaan lahjattuihin impersonaattoreihin, joille väärennetty identiteetti on pantu, ja yleensä enemmän sovellettavissa olevaan luonnolliseen kuvamateriaaliin “samankaltaisista” henkilöistä. Eikä syväväärennös-pakettien ydinkoodin rakenne, joka on vuodelta 2017 ja jolla on vähän modulaarisuutta ja joka on ylätaso DFL:lle ja FaceSwapille, tee tämänkaltaisen toiminnallisuuden lisäämistä mahdolliseksi.

Nämä kaksi hallitsevaa syväväärennös-pakettia perustuvat autoenkoodereihin. Vaihtoehtoiset ihmisen synteesimenetelmät voivat käyttää generatiivista vastakkaisuusverkkoa (GAN) tai neuroradianssikenttää (NeRF) ihmisen identiteetin uudelleenluomiseen; mutta molemmilla tutkimussuunnilla on vielä vuosien työ edessään ennen kuin ne voivat tuottaa täysin fotorealistista ihmisvideota.

Äänen simulaatio lukuun ottamatta biometrisen simulaation on erittäin alhaalla listalla haasteita, joita vastaan ihmisen kuvan synteesi kohtaa. Joka tapauksessa, äänen sointivärin ja muiden ominaisuuksien jäljittely ei toista sen yksilöllisiä erityispiirteitä ja tunnusmerkkejä, tai tapaa, jolla todellinen kohdehenkilö käyttää semanttista rakennetta. Siksi äänen simulaation täydellisyys ei ratkaise biometrisen aitouden mahdollista suojausta.

Arxivissa yksin on useita syväväärennös-havainnontekniikoita ja innovaatioita julkaistu joka viikko. Viimeaikaiset lähestymistavat ovat perustuneet ääni-kasvo-homogeneisuuteen, paikallisten binäärikuvioiden histogrammiin (FF-LBPH), ihmisen havaintoon äänen syväväärennöksistä, kasvojen reunojen analyysiin, videon heikentymisen huomioon ottamiseen ja rikostekniseen ballistiikkaan – muiden muassa.

Segmentoitu histogrammanalyysi on yksi viimeisimmistä tekniikoista, joita tarjotaan syväväärennösten havaitsemisen parantamiseksi. Lähde: https://arxiv.org/pdf/2203.09928.pdf

Segmentoitu histogrammanalyysi on yksi viimeisimmistä tekniikoista, joita tarjotaan syväväärennösten havaitsemisen parantamiseksi. Lähde: https://arxiv.org/pdf/2203.09928.pdf

Lähestymistapa, Data ja Arkkitehtuuri

POI-Forensics käyttää monimodaalista lähestymistapaa identiteetin vahvistamiseen, hyödyntäen pehmeitä biometrisiä piirteitä visuaalisten ja äänen vihjeiden perusteella. Kehys sisältää erilliset ääni- ja videoverkkorakenteet, jotka lopulta johtavat ominaisvektoritietoihin, jotka voidaan verrata samoihin piirteisiin potentiaalisessa syväväärennös-videossa, jota tutkitaan.

POI-Forensicsin arkkitehtuuri.

POI-Forensicsin konseptuaalinen arkkitehtuuri.

Molemmat erilliset (ääni tai video) ja fuusioiden analyysi voidaan suorittaa kohdeklippeihin, ja lopulta saadaan POI-samankaltaisuusindeksi. Kontrastinen häviöfunktio perustuu vuoden 2021 akateemiseen yhteistyöhön Google Researchin, Bostonin yliopiston, Snap Inc. (SNAP ):n ja MIT:n välillä.

Pohjadata jaettiin kohtekohtaisesti. 4608 identiteettiä käytettiin koulutukseen, ja 512 jätettiin validointiin. 500 identiteettiä, jotka käytettiin FakeAVCelebV2:ssa (testikandidaatti, ks. alla), poistettiin, jotta saataisiin ei-polarisoituneet tulokset.

Molempia verkkoja koulutettiin 12 epookin ajan, ja jokaisessa epookissa oli 2304 erää. Kukin erä koostui 8×8 videosegmentistä: kahdeksan segmenttiä kahdeksalta eri henkilöltä. Käytössä oli Adam-optimointi eriytetyllä painojen vaimennuksella 10−4:n oppimisnopeudella ja 0,01:n painojen vaimennuksella.

Testaus ja Tulokset

Syväväärennös-tietokannat, joita tutkittiin tämän projektin kohdalla, olivat esikatselu DeepFake Detection Challenge -tietokanta, joka sisältää kasvojen vaihdon 68 kohteen kesken, joista 44 identiteettiä valittiin, joilla on yli 9 videota, yhteensä 920 oikeaa videota ja 2925 väärennettyä videota; DeepFake-TIMIT, GAN-pohjainen tietokanta, joka sisältää 320 videota 32 kohteesta, yhteensä 290 oikeaa videota ja 580 väärennettyä videota, joista jokainen on vähintään 4 sekunnin pituinen; FakeAVCelebV2, joka sisältää 500 oikeaa videota VoxCeleb2:sta, ja noin 20 000 väärennettyä videota eri tietokannoista, joihin lisättiin väärennetty ääni SV2TTS:llä yhdenmukaisuuden vuoksi; ja KoDF, Korean syväväärennös-tietokanta, jossa on 403 identiteettiä, jotka on väärennetty FaceSwapin, DeepFaceLab:n ja FSGAN:in avulla, sekä kolme First Order Motion Mallia (FOMM).

Tämä tietokanta sisältää myös äänen ohjatun kasvojen synteesin ATFHP:n ja Wav2Lip:in tuloksia, ja tutkijat käyttivät johdettua tietokantaa, joka sisältää 276 oikeaa videota ja 544 väärennettyä videota.

Mittareina käytettiin ROC-käyrän alle jäävää pinta-alaa (AUC) sekä noin 10 prosentin väärien hälytysten osuutta. Tämä olisi ongelmallista järjestelmissä, jotka käyttävät myös väärennettyä aineistoa koulutukseen. POI-Forensicsin tapauksessa tämä huoli poistuu siksi, että menetelmä ottaa syötteeksi ainoastaan aitoa videomateriaalia.

Menetelmät testattiin Seferbekovin syväväärennös-havaintomenetelmää vastaan, joka saavutti ensimmäisen sijan Kaggle Deepfake Detection -haasteessa; FTCN:ää (Fully Temporal Convolution Network), joka on yhteistyö Kiinan Xiamen-yliopiston ja Microsoft (MSFT ) Research Asian välillä; LipForensics, joka on yhteistyö Imperial College Londonin ja Facebookin välillä vuodelta 2021; ja ID-Reveal, joka on joitakin tutkijoiden aiempi projekti, joka jättää äänen osuuden pois ja käyttää 3D-muokkausmallia yhdessä vastakkaisen pelin skenaariolla väärennetyn tuloksen havaitsemiseksi.

Tuloksissa (ks. yllä oleva taulukko) POI-Forensics ylitti vertailukohtaisen Seferbekovin 2,5%:lla AUC-pisteissä ja 1,5%:lla tarkkuudessa. Suorituskyky oli kilpailukykyisempää muiden tietokantojen kohdalla korkealaatuisissa videoissa.

Kuitenkin uusi lähestymistapa osoitti selvän etumatkan kaikkia kilpailevia vertailumenetelmiä vastaan matalalaatuisissa videoissa, jotka ovat todennäköisin tilanne, jossa syväväärennökset voivat hämätä tavallisia katsojia ‘todellisissa maailman’ konteksteissa.

Tutkijat toteavat:

‘Todellakin, tässä haastavassa skenaariossa ainoastaan identiteettiin perustuvat lähestymistavat tarjoavat edelleen hyvän suorituskyvyn, koska ne perustuvat korkean tason semanttisiin piirteisiin, jotka ovat melko kestäviä kuvavirheille.’

Koska POI-Forensics käyttää ainoastaan oikeaa videoaineistoa lähtöaineistona, saavutus on väittävästi suurempi, ja se viittaa siihen, että potentiaalisten syväväärennösten uhrien alkuperäisten biometristen piirteiden käyttäminen on arvokas tie eteenpäin ‘artefaktien kylmän sodan’ välttämiseksi syväväärennös-ohjelmistojen ja syväväärennös-havaintoratkaisujen välillä.

Lopullisessa testissä tutkijat lisäsivät syötteeseen hyökkääjän suunnittelemaa kohinaa, menetelmällä, joka voi luotettavasti hämätä luokittelijoita. Vanha gradientin etumerkkiin perustuva nopea menetelmä osoittautui edelleen erittäin tehokkaaksi tässä suhteessa.

Odotetusti hyökkäävät häirintästrategiat heikensivät kaikkien menetelmien tuloksia kaikissa tietoaineistoissa: AUC-pisteet laskivat 10–38 %. Vain POI-Forensics ja tekijöiden aiempi ID-Reveal säilyttivät kohtuullisen suorituskyvyn näissä hyökkäysolosuhteissa. Tämä viittaa siihen, että pehmeään biometriaan liittyvät korkean tason piirteet kestävät poikkeuksellisen hyvin yrityksiä kiertää syväväärennösten havaitseminen.

Tutkijat päättelevät:

‘Yhteenvetona uskomme, että menetelmämme on ensimmäinen askel; erityisesti korkean tason semanttisten piirteiden käyttäminen on lupaava tulevaisuuden tutkimussuunta. Lisäksi monimodaalinen analyysi voidaan rikastaa sisällyttämällä enemmän tietoa muista aloista, kuten tekstuaalisesta datasta.’

 

Julkaistu ensimmäisen kerran 8. huhtikuuta 2022.

Kirjoittaja koneoppimisen parissa, ihmisiä esittävien kuvien synteesin asiantuntija. Entinen tutkimussisällön johtaja Metaphysic.ai:ssa, kunnes se sulautui DNEG:n Brahma.ai:hin.
Verkkosivu: martinanderson.ai
Yhteystiedot: martin@martinanderson.ai