Teadlased tuvastavad sügavate võltsingute vastupidava tunnuse, mis võib aidata pikaajalist tuvastamist

Alates 2018. aastal hakkasid ilmnema kõige varasemad süvavõltsingute tuvastamise lahendused, on arvutinägemise ja turbeuuringute sektor püüdnud määratleda oluline omadus sügavvõltsitud videod – signaalid, mis võivad osutuda vastupidavaks populaarsete näo sünteesitehnoloogiate (nt automaatkodeerijapõhised süvavõltsimispaketid nagu DeepFaceLab ja FaceSwap ning Generatiivsed võistlusvõrgustikud inimeste nägude taasloomiseks, simuleerimiseks või muutmiseks).

Paljud "ütleb", nt vilkumise puudumine, muutusid süvavõltsingute täiustamise tõttu ülearuseks, samas kui digitaalsete päritolutehnikate (nt Adobe juhitud Sisu autentsuse algatus) – sealhulgas plokiahela lähenemisviisid ja digitaalne vesimärk potentsiaalsete lähtefotode hulk – nõuavad kas ulatuslikke ja kulukaid muudatusi olemasolevas Internetis saadaolevas lähtepildis või vajaksid riikide ja valitsuste märkimisväärset koostööd, et luua järelevalve- ja autentimissüsteemid.

Seetõttu oleks väga kasulik, kui muudetud, leiutatud või identiteediga vahetatud inimnägusid sisaldavas pildi- ja videosisus oleks võimalik märgata tõeliselt põhilist ja vastupidavat tunnust; omadus, mida saab ilma ulatusliku kontrollimiseta tuletada otse võltsitud videotest, krüptovarade räsimine, kontekstikontroll, usutavuse hindamine, artefaktikesksed tuvastamisrutiinid või muud koormavad meetodid sügavvõltsingu tuvastamiseks.

Süvavõltsingud kaadris

Hiina ja Austraalia vaheline uus teaduskoostöö usub, et on leidnud selle "püha graali" regulaarsuse rikkumine.

Autorid on välja töötanud meetodi tõeliste videote ruumilise terviklikkuse ja ajalise järjepidevuse võrdlemiseks sügavvõltsitud sisu sisaldavate videotega ning on leidnud, et igasugune sügavvõltsitud häire häirib pildi korrapärasust, olgugi märkamatult.

See on osaliselt tingitud sellest, et sügavvõltsimisprotsess jagab sihtvideo kaadriteks ja rakendab igas (asendatud) kaadris treenitud sügavvõltsimismudeli efekti. Populaarsed sügavvõltsitud distributsioonid toimivad samamoodi nagu animaatorid, pöörates rohkem tähelepanu iga kaadri autentsusele kui iga kaadri panusele video üldises ruumilises terviklikkuses ja ajalises järjepidevuses.

Tööst: A) Andmete liikide erinevused. Siin näeme, et p-fake'i häired muudavad pildi ruumilis-ajalist kvaliteeti samamoodi nagu sügavvõltsing, ilma identiteeti asendamata. B) Kolme tüüpi andmete müraanalüüs, mis näitab, kuidas p-fake imiteerib sügavvõltsimishäireid. C) Kolme tüüpi andmete ajaline visualiseerimine koos tegelike andmetega, mis näitavad suuremat kõikumise terviklikkust. D) T-SNE tõelise, võltsitud ja p-võltsitud video ekstraheeritud funktsioonide visualiseerimine. Allikas: https://arxiv.org/pdf/2207.10402.pdf

See ei ole viis, kuidas videokoodek käsitleb kaadrite seeriat originaalsalvestuse tegemisel või töötlemisel. Faili suuruse säästmiseks või video voogedastuseks sobivaks muutmiseks jätab videokodek kõrvale tohutult palju teavet. Isegi kõrgeima kvaliteediga seadete korral eraldab koodek võtmeraamid (kasutaja poolt määratav muutuja) – terved, praktiliselt tihendamata pildid, mis esinevad videos eelseadistatud intervalliga.

Võtmekaadrite vahelised vahekaadrid on teatud määral hinnanguliselt kaadrite variandid ja taaskasutage nii palju teavet kui võimalik külgnevatest võtmekaadritest, selle asemel, et olla omaette täielikud kaadrid.

Vasakul on tihendatud videosse salvestatud täielik võtmekaader või 'i-kaader', mis on teatud faili suuruse arvelt; Paremal on vahereklaam "delta kaader" taaskasutab andmerikkama võtmekaadri mis tahes kohaldatavat osa. Allikas: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

Sel viisil blokeerima (sisaldab x kaadrite arv, olenevalt võtmekaadri sätetest) on vaieldamatult väikseim tüüpilise tihendatud video puhul arvestatav ühik, mitte ükski kaader. Isegi võtmekaader ise, tuntud kui an i-raam, moodustab selle üksuse osa.

Traditsioonilise koomiksianimatsiooni puhul esitab koodek teatud liiki vahepealne, mille võtmeraamid toimivad vahereklaamide telgipostidena, tuletatud kaadrid, tuntud kui delta raamid.

Seevastu sügav võltsitud kaadri kasutamine pühendab tohutult tähelepanu ja ressursse igale üksikule kaadrile, arvestamata kaadri laiemat konteksti ja võtmata arvesse seda, kuidas tihendamine ja plokipõhine kodeerimine mõjutavad „autentse” video omadusi.

Lähem ülevaade autentse video ajalise kvaliteedi (vasakul) ja sama video vahel, kui seda häirivad sügavvõltsingud (paremal).

Kuigi mõned paremad süvavõltsijad kasutavad ulatuslikku järeltöötlust sellistes pakettides nagu After Effects, ja kuigi DeepFaceLabi distributsioonil on teatud natiivne võime segamisprotseduuride (nt liikumishägustuse) rakendamiseks ei mõjuta selline sihikindlus autentsete ja sügavalt võltsitud videote ruumilise ja ajalise kvaliteedi mittevastavust.

. uus paber on pealkirjaga Sügava võltsingu tuvastamine ruumilise ja ajalise regulaarsuse häirimise teelja pärineb Tsinghua ülikooli, Baidu Inc. arvutinägemise tehnoloogia osakonna (VIS) ja Melbourne'i ülikooli teadlastelt

"Võlts" võltsvideod

Artikli taga olevad teadlased on lisanud uurimistöö funktsioonid plug-and-play-moodulisse nimega Pseudo-võltsgeneraator (P-võltsgeneraator), mis muudab tõelised videod võltsitud sügavvõltsitud videoteks, häirides neid samamoodi nagu tegelik sügavvõltsimisprotsess, tegemata tegelikult ühtegi sügavvõltsimistoimingut.

Testid näitavad, et moodulit saab praktiliselt ilma ressurssideta lisada kõikidele olemasolevatele süvavõltsingute tuvastamise süsteemidele ja see parandab märkimisväärselt nende jõudlust.

Avastus võib aidata lahendada süvavõltsingute tuvastamise uurimise üht teist komistuskivi: autentsete ja ajakohaste andmekogumite puudumine. Kuna süvavõltsingu genereerimine on keerukas ja aeganõudev protsess, on kogukond viimase viie aasta jooksul välja töötanud mitmeid süvavõltsingute andmekogumeid, millest paljud on üsna aegunud.

Eraldades muudetud videote puhul regulaarsuse katkemise sügava võltsingu-agnostilise signaalina post facto, võimaldab uus meetod luua piiramatult näidis- ja andmekoguvideoid, mis aitavad kaasa sellele sügavvõltsingute aspektile.

Ülevaade STE-plokist, kus kanalipõhist ajalist keerdumist kasutatakse ajaliselt ruumiliselt täiustatud kodeeringute genereerimiseks, mille tulemuseks on sama signatuur, mille annab isegi väga veenev sügavvõlts. Selle meetodi abil saab luua „võltsitud” võltsvideoid, millel on samad signatuuriomadused nagu mis tahes muudetud, sügavalt võltsitud videol ja mis ei sõltu konkreetsest levitamisest ega muutlikest aspektidest, nagu funktsioonide käitumine või algoritmilised artefaktid.

Testid

Teadlased viisid läbi katseid kuue märgitud andmekoguga, mida kasutati sügava võltsimise tuvastamise uuringutes: FaceForensics ++ (FF++); WildDeepFake; Deepfake Detection Challenge eelvaade (DFDCP); Celeb-DF; Sügavvõltsingu tuvastamine (DFD); ja Face Shifter (FSh).

FF++ jaoks koolitasid teadlased oma mudelit algse andmekogumi põhjal ja testisid iga nelja alamhulka eraldi. Ilma treeningutel sügavvõltsitud materjali kasutamata suutis uus meetod ületada tipptasemel tulemusi.

Meetod saavutas ka pooluse positsiooni võrreldes FF++ C23 tihendatud andmestikuga, mis pakub näiteid, mis sisaldavad selliseid tihendusartefakte, mis on usaldusväärsed reaalses maailmas süvavõltsitud vaatamise keskkondades.

Autorid kommenteerivad:

„FF++ jõudlus kinnitab meie põhiidee teostatavust, samas kui üldistatavus jääb olemasolevate sügavate võltsingute tuvastamise meetodite suureks probleemiks, kuna jõudlus pole garanteeritud, kui testitakse seninägematute tehnikate abil loodud süvavõltsinguid.

"Arvestage detektorite ja võltsijate vahelise võidurelvastumise tegelikkust, üldistatavus on oluline kriteerium tuvastamismeetodi tõhususe mõõtmisel reaalses maailmas."

Ehkki teadlased viisid läbi mitmeid alamteste (üksikasju vt paberil), mis käsitlevad "vastupidavust" ja videosisendi tüüpe (st päris, vale, p-võlts jne), on kõige huvitavamad tulemused testist. andmekogumiülese jõudluse jaoks.

Selleks koolitasid autorid oma mudelit ülalmainitud FF++ "pärismaailma" c23 versiooniga ja testisid seda nelja andmekogumiga, saades autorite sõnul kõigi nende puhul suurepärase jõudluse.

Andmekogumiülese väljakutse tulemused. Dokumendis märgitakse, et SBI kasutab autorite omaga sarnast lähenemist, samas kui teadlased väidavad, et p-fake näitab ruumilise ja ajalise regulaarsuse häirete korral paremaid tulemusi.

Dokumendis öeldakse:

„Kõige keerulisemas Deepwildis ületab meie meetod SOTA-meetodit AUC% osas umbes 10 protsendipunkti võrra. Arvame, et selle põhjuseks on Deepwildi sügavate võltsingute suur mitmekesisus, mistõttu teised meetodid ei suuda nähtud sügavvõltsinguid hästi üldistada.

Testides kasutatud mõõdikud olid täpsusskoor (ACC), vastuvõtja tööomaduste kõvera alune pindala (AUC) ja võrdne veamäär (EER).

Vasturünnakud?

Kuigi meedia iseloomustab pinget sügavvõltsingute arendajate ja sügavvõltsingute tuvastamise uurijate vahel tehnoloogilise sõja mõttes, võib vaielda, kas esimesed üritavad lihtsalt veenvamat väljundit teha ja et süvavõltsingute tuvastamise raskused on nende jõupingutuste kaudne kaassaadus.

See, kas arendajad püüavad seda äsja ilmnenud puudust kõrvaldada, sõltub võib-olla sellest, kas nad tunnevad, et võltsitud videos võib palja silmaga näha korrapärasuse häireid ebaautentsuse märgina ja et seetõttu on see mõõdik väärt. käsitledes puhtalt kvalitatiivsest vaatenurgast.

Ehkki esimeste süvavõltsingute võrku jõudmisest on möödunud viis aastat, on süvavõltsimine endiselt suhteliselt arenev tehnoloogia ning kogukond on väidetavalt rohkem kinnisideeks detailidest ja eraldusvõimest kui õigest kontekstist või tihendatud video signatuuride sobitamisest, mis mõlemad nõuavad teatud " väljundi degradeerumine – see, mille vastu kogu deepfake’i kogukond praegu võitleb.

Kui ilmneb üldine konsensus, et regulaarsushäire on tekkiv allkiri, mis ei mõjuta kvaliteeti, ei pruugi selle kompenseerimiseks olla jõupingutusi – isegi kui võimalik "tühistada" mõne järeltöötluse või arhitektuurisisese protseduuriga, mis pole kaugeltki selge.

Esmakordselt avaldatud 22. juulil 2022.