Videoneuvotteluiden Deepfake-havaitsemisen havaitseminen älypuhelimen “vibraatio”-toiminnolla

Uusi tutkimus Singaporessa on ehdottanut uudenlaista menetelmää havaitsemaan, käytääkö joku toisessa päässä älypuhelimen videoneuvottelu-työkalua, kuten DeepFaceLive, jolla hän esittää jotakuta muuta.

Tutkimuksen nimi on SFake, ja se hylkää passiiviset menetelmät, joita useimmat järjestelmät käyttävät, ja saa käyttäjän puhelimen vibroimaan (käyttäen samaa “vibraatio”-mekanismia, joka on yleinen älypuhelimissa), ja himmentää hänen kasvonsa.

Vaikka live-deepfaking-järjestelmät pystyvät monilla tavoin jäljittelemään liikkeen sumennusta, niin kauan kuin sumennettu kuvamateriaali on sisällytetty koulutusaineistoon tai edes esikoulutusaineistoon, ne eivät voi reagoida nopeasti tarpeeksi odottamattomaan sumennukseen, ja jatkavat näyttämään epäsumennettuja kasvojen osia, paljastaen deepfake-videoneuvottelun olemassaolon.

DeepFaceLive ei pysty simuloimaan kameran vibraatiosta johtuvaa sumennusta. Lähde: https://arxiv.org/pdf/2409.10889v1

Testitutkimuksen tulokset tutkijoiden itse kokoamasta aineistosta (koska ei ole olemassa aineistoja, joissa on aktiivista kameran tärinää) osoittivat, että SFake ylitti muiden videopohjaisten deepfake-havaitsemismenetelmien suorituskyvyn, jopa haastavissa olosuhteissa, kuten luonnollisessa käden liikkeessä, joka esiintyy, kun toinen henkilö videoneuvottelussa pitää kameraa kädessään eikä käytä staattista puhelimen kiinnikettä.

Videopohjaisen Deepfake-havaitsemisen kasvava tarve

Videopohjaisen deepfake-havaitsemisen tutkimus on lisääntynyt viime aikoina. Useiden vuosien ajan onnistuneiden äänipohjaisten deepfake-ryöstöjen jälkeen, alkuvuonna rahoitusalan työntekijä huijattiin siirtämään 25 miljoonaa dollaria huijarille, joka esitti deepfake-videoneuvottelussa toista henkilöä.

Vaikka järjestelmä vaatii korkean tason laitteiston pääsyn, monet älypuhelimen käyttäjät ovat jo tottuneet rahoitus- ja muiden verifioimispalvelujen pyytäessä heidän kasvonsa piirteitä kasvojen tunnistamiseen (tämä on osa LinkedInin verifioimisprosessia).

Näin ollen näyttää todennäköiseltä, että tällaiset menetelmät tulevat yhä enemmän käyttöön videoneuvottelu-järjestelmissä, kun tällainen rikollisuus jatkuu otsikoissa.

Useimmat deepfake-videoneuvottelujen havaitsemiseen liittyvät ratkaisut olettavat erittäin staattisen tilanteen, jossa viestintähenkilö käyttää kiinteää web-kameraa, eikä liikettä, ympäristöä tai valaistuksen muutoksia odoteta. Älypuhelinkutsu ei tarjoa tällaista “kiinteää” tilannetta.

Sen sijaan SFake käyttää useita havaitsemismenetelmiä korvaamaan suuren määrän visuaalisten varianttien määrää käsin pidettävässä älypuhelimen videoneuvottelussa, ja näyttää olevan ensimmäinen tutkimushanke, joka käsittelee ongelmaa älypuhelimen vakio-vibraatiolaitteiston avulla.

Tutkimus artikkeli on nimeltään Shaking the Fake: Detecting Deepfake Videos in Real Time via Active Probes, ja se on kaksi tutkijan työ Nanyangin teknillisestä yliopistosta Singaporessa.

Menetelmä

SFake on suunniteltu pilvipalveluksi, jossa paikallinen sovellus lähettää tiedot etäpalveluun prosessointia varten, ja tulokset lähetetään takaisin.

Sen 450 megatavun koko ja optimoitu menetelmä mahdollistavat kuitenkin deepfake-havaitsemisen prosessoinnin kokonaan laitteessa itsessään, tapauksissa, joissa verkkoyhteys voi aiheuttaa lähettävien kuvien liian suuren pakkaamisen, vaikuttaen diagnostiin.

Menetelmän suorittaminen “kaikki paikallisesti” tarkoittaa, että järjestelmällä on suora pääsy käyttäjän kameravirran, ilman koodekin häiriötä, joka on usein liitetty videoneuvotteluihin.

Keskimääräinen analyysiaika vaatii neljän sekunnin videonäyte, jonka aikana käyttäjältä pyydetään olemaan paikallaan, ja jonka aikana SFake lähettää “tutkimuksia” aiheuttaakseen kameran tärinää satunnaisesti, johon järjestelmät kuten DeepFaceLive eivät voi reagoida ajoissa.

(On syytä korostaa, että mikä tahansa hyökkääjä, joka ei ole sisällyttänyt sumennettua sisältöä koulutusaineistoon, on epätodennäköistä pystyvänsä tuottamaan mallin, joka voi generoida sumennusta, jopa hyvin suotuisissa olosuhteissa, ja että DeepFaceLive ei voi vain “lisätä” tätä toiminnallisuutta malliin, joka on koulutettu alikuratulla aineistolla)

Järjestelmä valitsee tiettyjä alueita kasvoista potentiaalisten deepfake-sisältöjen alueiksi, jättäen silmät ja kulmakarvat pois (koska räpäytys ja muu kasvojen liikkeellisyys tässä alueessa on sumennustunnistuksen ulottumattomissa, eikä se ole ihanteellinen osoitin).

SFake:n käsitteellinen schema.

Kuten yllä olevasta käsitteellisestä schemasta voidaan nähdä, valitsemalla sopivat ja ennalta arvaamattomat tärinämallit, päättämällä parhaasta polttovälistä ja suorittamalla kasvojen tunnistamista (mukaan lukien Dlib-komponentti, joka arvioi 68 kasvon maamerkkiä), SFake johtaa gradientit syötekasvoista ja keskittyy valittuihin alueisiin näistä gradienteista.

Varianssijono saadaan analysoimalla jokainen kehys lyhyestä videosta, kunnes keskimääräinen tai “ihanne”-jono saavutetaan, ja loput hylätään.

Tämä antaa ominaisuudet, jotka voidaan käyttää deepfake-sisällön todennäköisyyden määritykseen perustuvan koulutettuun tietokantaan (josta lisää hetken kuluttua).

Järjestelmä vaatii 1920×1080 pikselin kuvaresoluution, sekä vähintään 2x zoom-vaatimukset linssille. Tutkimusraportti toteaa, että tällaiset resoluutiot (ja jopa korkeammat resoluutiot) tuetaan Microsoft Teamsissa, Skypessa, Zoomissa ja Tencent Meetingissä.

Useimmat älypuhelimet ovat varustettu etu- ja taka-kameralla, ja usein vain toisella näistä on zoomausominaisuudet, jotka SFake vaatii; sovellus vaatisi siis viestintähenkilöltä käyttämään kumpaa tahansa kameroita, joka täyttää nämä vaatimukset.

Tavoitteena on saada oikea suhde käyttäjän kasvojen videovirtaukseen, jonka järjestelmä analysoi. Tutkimusraportti toteaa, että naisten keskimääräinen etäisyys älypuhelimen käytössä on 34,7 cm, ja miehillä 38,2 cm (kuten raportoitiin Journal of Optometry -lehdessä), ja että SFake toimii erittäin hyvin näillä etäisyyksillä.

Koska stabilointi on ongelma käsin pidettävissä videoissa, ja koska tärinästä johtuva sumennus on este SFake:n toiminnalle, tutkijat kokeilivat useita menetelmiä korvaamaan. Menetelmistä onnistunein oli laskemalla arvioitujen maamerkkien keskipiste ja käyttäminen “ankkurina” – tehokkaasti algoritminen stabilointitekniikka. Tällä menetelmällä saavutettiin 92 prosentin tarkkuus.

Data ja testit

Koska ei ollut olemassa soveltuvia aineistoja, tutkijat loivat oman aineistonsa:

‘Käytimme 8 eri älypuhelinmerkkiä tallentamaan 15 osallistujaa eri sukupuolista ja ikäluokista omamme aineiston luomiseksi. Asetimme älypuhelimen puhelimen pidikkeeseen 20 cm etäisyydelle osallistujasta ja zoomasimme kahdesti, tähtäimme osallistujan kasvoihin kattaaksemme kaikki hänen kasvonpiirteensä, samalla kun älypuhelimen tärinää eri malleissa.

‘Puhelimille, joiden etukamerat eivät voi zoomata, käytimme taka-kameroita vaihtoehtona. Tallensimme 150 pitkää videota, jokainen 20 sekunnin pituinen. Oletimme, että havaitsemisjakso kestää 4 sekuntia. Leikkaamme 10 klippiä, jokainen 4 sekuntia pitkä, yhdestä pitkästä videosta satunnaistamalla aloitusaikaa. Näin olemme saaneet yhteensä 1500 todellista klippiä, jokainen 4 sekuntia pitkä.’

Vaikka DeepFaceLive (GitHub-linkki) oli keskeinen kohde tutkimukselle, koska se on tällä hetkellä laajimmin käytetty avoimen lähdekoodin live-deepfaking-järjestelmä, tutkijat sisällyttivät neljä muuta menetelmää kouluttamaan perus-havaitsemismallia: Hififace; FS-GANV2; RemakerAI; ja MobileFaceSwap – jälkimmäinen on erityisen sopiva valinta, koska se on tarkoitettu älypuhelimen ympäristöön.

1500 väärennettyä videota käytettiin koulutukseen, sekä vastaava määrä todellisia ja muuttamattomia videoita.

SFake testattiin useita eri luokittimia vastaan, mukaan lukien SBI; FaceAF; CnnDetect; LRNet; DefakeHop -variantit; ja ilmainen online-deepfake-havaitsemispalvelu Deepaware. Jokaiselle näistä deepfake-menetelmistä koulutettiin 1500 väärennettyä ja 1500 todellista videota.

Perus-testiluokittelijana käytettiin yksinkertaista kaksi kerrosta neuraaliverkkoa ReLU-aktivaatiofunktiolla. 1000 todellista ja 1000 väärennettyä videota valittiin satunnaisesti (vaikka väärennettyjä videoita olivat yksinomaan DeepFaceLive-esimerkkejä).

Area Under Receiver Operating Characteristic Curve (AUC/AUROC) ja Tarkkuus (ACC) käytettiin mittareina.

Koulutuksessa ja päätöksenteossa käytettiin NVIDIA RTX 3060:aa, ja testit suoritettiin Ubuntussa. Testivideot tallennettiin Xiaomi Redmi 10x:llä, Xiaomi Redmi K50:llä, OPPO Find x6:lla, Huawei Nova9:llä, Xiaomi 14 Ultra:lla, Honor 20:llä, Google Pixel 6a:lla ja Huawei P60:llä.

Jotta voidaan vastata olemassa oleviin havaitsemismenetelmiin, testit toteutettiin PyTorchissa. Ensimmäiset testitulokset on esitetty taulukossa alla:

SFake:n tulokset muihin menetelmiin verrattuna.

Tässä kirjoittajat kommentoivat:

‘Kaikissa tapauksissa SFake:n havaitsemistarkkuus ylitti 95%. Kaikista viidestä deepfake-algoritmista, lukuun ottamatta Hififace, SFake suorittaa paremmin kuin muut kuusi havaitsemismenetelmää. Koska luokittelijamme on koulutettu DeepFaceLive:n generoimilla kuvilla, se saavuttaa korkeimman tarkkuusluokan 98,8%, kun se havaitsee DeepFaceLive-videota.’

‘Kun kohtaamme väärennettyjä kasvoja, jotka on generoitu RemakerAI:lla, muut havaitsemismenetelmät suorittavat heikosti. Arvelemme, että tämä johtuu videoiden automaattisesta pakkaamisesta internetistä ladattaessa, jolloin kuvan yksityiskohdat menetetään ja havaitsemistarkkuus heikkenee. Tämä ei kuitenkaan vaikuta SFake:n havaitsemiseen, joka saavuttaa 96,8%:n tarkkuuden havaitsemisessa RemakerAI:ta vastaan.’

Kirjoittajat toteavat myös, että SFake on suorituskykyisin järjestelmä tilanteessa, jossa 2x zoom on sovellettu kameran linssiin, koska se korostaa liikettä ja on erittäin haasteellinen tilanne. Jopa tässä tilanteessa SFake pystyi saavuttamaan 84%:n ja 83%:n tunnistustarkkuuden 2,5- ja 3-kertaisilla suurennuskerroilla.

Johtopäätös

Hanke, joka käyttää live-deepfake-järjestelmän heikkouksia itseään vastaan, on virkistävä tarjous vuonna, jolloin deepfake-havaitsemisessä on hallinnut tutkimus, joka on vain sekoittanut vanhoja lähestymistapoja taajuusanalyysiin (joka ei ole immuuni innovaatioille deepfake-tilassa).

Vuoden 2022 lopulla toinen järjestelmä käytti näytön kirkkausvaihtelun havainto-vipuna; ja samana vuonna omani demonstrointi DeepFaceLive:n kyvyttömyydestä käsitellä vaikeita 90 asteen profiilitalti, herätti jonkin verran yhteisön mielenkiintoa.

DeepFaceLive on oikea kohde tällaiselle hankkeelle, koska se on luultavasti rikollisen kiinnostuksen kohde videoneuvotteluiden petoksissa.

Kuitenkin olen viime aikoina nähnyt joitakin anekdoottisia todisteita siitä, että LivePortrait -järjestelmä, joka on tällä hetkellä erittäin suosittu VFX-yhteisössä, käsittelee profiilitalti paremmin kuin DeepFaceLive; olisi ollut mielenkiintoista, jos se olisi voitu sisällyttää tähän tutkimukseen.

Julkaistu ensimmäisen kerran tiistaina 24. syyskuuta 2024