Uus meetod tuvastab sügavad võltsingud 99% täpsusega

UC Riverside'i arvutiteadlaste meeskond on välja töötanud uue meetodi manipuleeritud näoilmete tuvastamiseks sügavates võltsvideotes. Meetod suudab neid avaldisi tuvastada kuni 99% täpsusega, muutes selle täpsemaks kui praegused nüüdisaegsed meetodid. 

Uus uurimustöö pealkirjaga "Näoilmega manipulatsioonide tuvastamine ja lokaliseerimine” esitleti 2022. aasta arvutinägemise rakenduste talvekonverentsil. 

Mis tahes näo manipuleerimise tuvastamine

Meetod osutus sama täpseks kui praegused meetodid juhtudel, kui näo identiteeti oli vahetatud, mitte väljendeid. See tähendab, et uut lähenemisviisi saab kasutada igasuguse näoga manipuleerimise tuvastamiseks ja see on suur samm manipuleeritud videote tuvastamise automatiseeritud tööriistade väljatöötamise suunas. 

Videotöötlustarkvara hiljutiste edusammude tõttu pole kunagi olnud lihtsam vahetada ühe inimese nägu teise vastu või muuta originaalseid ilmeid. Selliste meetodite tuvastamine on väga oluline, kuna neid kasutatakse üha enam erinevates riigisiseste ja rahvusvaheliste konfliktide korral üle kogu maailma. Seda arvestades on nägude tuvastamine ainult vahetatud ilmetega olnud äärmiselt keeruline. 

Amit Roy-Chowdhury on Bournsi insenerikolledži elektri- ja arvutitehnika professor. Ta on ka uurimistöö kaasautor. 

„Süvavõltsingute uurimisvaldkonna teeb keerulisemaks konkurents süvavõltsingute loomise ja tuvastamise ning ennetamise vahel, mis muutub tulevikus üha ägedamaks. Generatiivsete mudelite suuremate edusammudega on sügavaid võltsinguid lihtsam sünteesida ja neid on raskem eristada tõelistest, ”ütles ta. 

Pilt: UC Riverside

Väljendiga manipuleerimise tuvastamine (EMD) 

Uus meetod jagab ülesande sügavas närvivõrgus kaheks komponendiks. Esimene haru eristab näoilmeid, pakkudes samal ajal teavet väljendit sisaldavate piirkondade kohta. Need piirkonnad võivad hõlmata suu, silmi, otsaesist ja palju muud. See teave suunatakse teise haru, mis on koodri-dekoodri arhitektuur, mis vastutab manipulatsioonide tuvastamise ja lokaliseerimise eest. 

Meeskond andis raamistikule nimeks Expression Manipulation Detection (EMD) ja see suudab tuvastada ja lokaliseerida konkreetsed piirkonnad, mida pildil on muudetud.

Ghazal Mazaheri on doktorant ja uurimistöö juht. 

"Mitme ülesandega õppimine võib kasutada näoilmete tuvastamise süsteemide poolt õpitud silmapaistvaid funktsioone, mis on kasulikud tavapäraste manipuleerimise tuvastamise süsteemide koolitamisel. Selline lähenemine saavutab muljetavaldava jõudluse näoilme manipuleerimise tuvastamisel, ”ütles Mazaheri.

Teadlased viisid läbi katseid kahe keerulise näo manipuleerimise andmekogumiga ja näitasid, et EMD toimib paremini nii näoilme manipuleerimise kui ka identiteedivahetusega. See tuvastas täpselt 99% manipuleeritud videotest.