Riċerkaturi Identifikaw Karatteristika Reżiljenti ta 'Deepfakes Li Jistgħu Jgħinu Sejbien fit-Tul

Peress li fl-2018 bdew jitfaċċaw l-aktar soluzzjonijiet bikrija ta’ deepfake, is-settur tar-riċerka dwar il-viżjoni tal-kompjuter u s-sigurtà ilu jfittex li jiddefinixxi karatteristika essenzjali ta’ vidjows deepfake – sinjali li jistgħu jkunu reżistenti għal titjib fit-teknoloġiji popolari tas-sinteżi tal-wiċċ (bħal pakketti deepfake ibbażati fuq autoencoder bħal DeepFaceLab u FaceSwap, u l-użu ta’ Netwerks Avversarji Ġenerattivi biex jirrikreaw, jissimulaw jew jibdlu uċuħ umani).

Ħafna mill-'jirrakkonta', bħal nuqqas ta’ teptip, saru żejda permezz ta’ titjib fid-deepfakes, filwaqt li l-użu potenzjali ta’ tekniki ta’ provenjenza diġitali (bħall-Adobe mmexxija Inizjattiva ta 'Awtentiċità tal-Kontenut) – inklużi approċċi blockchain u watermarking diġitali ta’ ritratti tas-sors potenzjali – jew jeħtieġu bidliet kbar u għaljin għall-korp eżistenti ta’ immaġini sors disponibbli fuq l-internet, jew inkella jkun jeħtieġ sforz kooperattiv notevoli fost in-nazzjonijiet u l-gvernijiet biex jinħolqu sistemi ta’ inviġilazzjoni u awtentikazzjoni.

Għalhekk ikun utli ħafna jekk karatteristika tassew fundamentali u reżiljenti tkun tista' tingħaraf f'kontenut ta' immaġini u vidjow li fih uċuħ umani mibdula, ivvintati jew mibdula b'identità; karatteristika li tista' tiġi dedotta direttament minn vidjows iffalsifikati, mingħajr verifika fuq skala kbira, hashing tal-assi kriptografiċi, verifika tal-kuntest, evalwazzjoni tal-plawżibbiltà, rutini ta 'sejbien iċċentrati fuq l-artifact, jew approċċi oħra ta' piż għal skoperta deepfake.

Deepfakes fil-Qafas

Kollaborazzjoni ġdida ta’ riċerka bejn iċ-Ċina u l-Awstralja temmen li sabet dan il-‘holy grail’, fil-forma ta’ tfixkil fir-regolarità.

L-awturi fasslu metodu biex iqabblu l-integrità spazjali u l-kontinwità temporali ta 'videos reali ma' dawk li fihom kontenut deepfake, u sabu li kwalunkwe tip ta 'interferenza deepfake tfixkel ir-regolarità tal-immaġni, madankollu imperċettibbli.

Dan huwa parzjalment minħabba li l-proċess deepfake jkisser il-video fil-mira f'frejms u japplika l-effett ta 'mudell deepfake imħarreġ f'kull frejm (sostitwit). Distribuzzjonijiet popolari deepfake jaġixxu bl-istess mod bħall-animaturi, f'dan ir-rigward, jagħtu aktar attenzjoni lill-awtentiċità ta 'kull frame milli lill-kontribut ta' kull frame għall-integrità spazjali ġenerali u l-kontinwità temporali tal-vidjo.

Mill-karta: A) Differenzi bejn it-tipi ta 'data. Hawnhekk naraw li t-tfixkil ta’ p-fake ibiddel il-kwalità spazjo-temporali tal-immaġni bl-istess mod kif jagħmel deepfake, mingħajr ma jissostitwixxi l-identità. B) Analiżi tal-istorbju tat-tliet tipi ta 'dejta, li turi kif p-fake jimita t-tfixkil deepfake. C) Viżwalizzazzjoni temporali tat-tliet tipi ta' dejta, b'dejta reali li turi integrità akbar fil-varjazzjoni. D) il- T-SNE viżwalizzazzjoni ta 'karatteristiċi estratti għal vidjo reali, iffalsifikati, u p-falsifikati. Sors: https://arxiv.org/pdf/2207.10402.pdf

Dan mhuwiex il-mod li codec tal-vidjo jittratta serje ta 'frejms meta tkun qed issir jew tiġi pproċessata reġistrazzjoni oriġinali. Sabiex tiffranka fuq id-daqs tal-fajl jew tagħmel vidjo adattat għall-istrimjar, ammont kbir ta 'informazzjoni jintrema mill-codec tal-vidjo. Anke fl-issettjar tal-ogħla kwalità tiegħu, il-codec se jalloka frames ewlenin (varjabbli li jista 'jiġi stabbilit mill-utent) – immaġini sħaħ, prattikament mhux kompressati li jseħħu f'intervall issettjat minn qabel fil-vidjo.

Il-frejms interstizjali bejn il-frejms ewlenin huma, sa ċertu punt, stmati bħala varjant tal-frejms, u se uża mill-ġdid kemm jista' jkun informazzjoni mill-frejms ewlenin li jmissu magħhom, aktar milli jkunu frejms kompluti fihom infushom.

Fuq ix-xellug, komplet key-frame, jew 'i-frame', hija maħżuna fil-vidjo kompressat, bi spejjeż ta ' fajl-daqs; fuq il-lemin, 'frejm delta' interstizjali juża mill-ġdid kwalunkwe parti applikabbli tal-qafas ewlieni aktar rikk fid-dejta. Sors: https://blog.video.ibm.com/streaming-video-tips/keyframes-interframe-video-compression/

B'dan il-mod, l blokk (li fih x numru ta 'frejms, skont is-settings tal-qafas ewlieni) hija bla dubju l-iżgħar unità kkunsidrata f'video kompressat tipiku, aktar milli kwalunkwe frejm individwali. Anke l-keyframe innifsu, magħruf bħala an i-qafas, tifforma parti minn dik l-unità.

F'termini ta 'animazzjoni tal-kartuns tradizzjonali, codec qed iwettaq speċi ta' bejn wieħed u ieħor, bil-frejms ewlenin joperaw bħala arbli tat-tinda għall-frejms interstizjali derivati, magħrufa bħala frejms delta.

B'kuntrast, is-superimpożizzjoni deepfake tiddedika attenzjoni u riżorsi enormi għal kull frame individwali, mingħajr ma tikkunsidra l-kuntest usa' tal-frejm, u mingħajr ma tagħti konċessjoni għall-mod li l-kompressjoni u l-kodifikazzjoni bbażata fuq blokki jaffettwaw il-karatteristiċi tal-vidjo "awtentiku".

Ħarsa aktar mill-qrib lejn id-diskontinwità bejn il-kwalità temporali ta 'video awtentiku (xellug), u l-istess video meta jiġi mfixkel minn deepfakes (lemin).

Għalkemm xi wħud mill-aħjar deepfakers jużaw post-ipproċessar estensiv, f'pakketti bħal After Effects, u għalkemm id-distribuzzjoni DeepFaceLab għandha xi kapaċità nattiva biex jiġu applikati proċeduri ta' 'taħlit' bħal motion blur, tali sleight-of-hand ma taffettwax in-nuqqas ta' tqabbil tal-kwalità spazjali u temporali bejn vidjows awtentiċi u deepfaked.

il karta ġdida huwa intitolat Tiskopri Deepfake billi Noħolqu Tfixkil tar-Regolarità Spazjali-Temporali, u ġej minn riċerkaturi fl-Università ta 'Tsinghua, id-Dipartiment tat-Teknoloġija tal-Viżjoni tal-Kompjuter (VIS) f'Baidu Inc., u l-Università ta' Melbourne

'Foloz' Vidjows Foloz

Ir-riċerkaturi wara l-karta inkorporaw il-funzjonalità tar-riċerka f'modulu plug-and-play bl-isem Pseudo-fake Generator (Ġeneratur P-falz), li tittrasforma vidjows reali f'filmati faux-deepfake, billi tfixkelhom bl-istess mod li jagħmel il-proċess deepfake attwali, mingħajr ma fil-fatt twettaq xi operazzjonijiet deepfake.

It-testijiet jindikaw li l-modulu jista 'jiġi miżjud mas-sistemi eżistenti kollha ta' skoperta deepfake bi spiża prattikament żero tar-riżorsi, u li jtejjeb notevolment il-prestazzjoni tagħhom.

L-iskoperta tista 'tgħin biex tindirizza wieħed mill-ostakli l-oħra fir-riċerka dwar l-iskoperta ta' deepfake: in-nuqqas ta 'settijiet ta' data awtentiċi u aġġornati. Peress li l-ġenerazzjoni deepfake hija proċess elaborat u li jieħu ħafna ħin, il-komunità żviluppat għadd ta' settijiet ta' data deepfake matul l-aħħar ħames snin, li ħafna minnhom huma pjuttost skaduti.

Billi tiżola t-tfixkil tar-regolarità bħala sinjal deepfake-agnostic għal vidjows mibdula post-fatt, il-metodu l-ġdid jagħmilha possibbli li jiġu ġġenerati kampjuni bla limitu u vidjows tas-sett tad-dejta li jidħlu f'dan l-aspett ta 'deepfakes.

Ħarsa ġenerali tal-blokk STE, fejn il-konvoluzzjoni temporali għaqlija tal-kanal tintuża bħala xprun biex tiġġenera kodifikazzjonijiet msaħħa spazjo-temporament, li tirriżulta fl-istess firma li anke deepfake konvinċenti ħafna se jagħti. B'dan il-metodu, vidjows foloz 'foloz' jistgħu jiġu ġġenerati li jkollhom l-istess karatteristiċi ta' firma bħal kwalunkwe vidjo mibdul, ta' stil deepfake, u li ma jiddependux fuq distribuzzjonijiet partikolari, jew fuq aspetti volatili bħall-imġiba tal-karatteristiċi jew artifacts algoritmiċi.

Testijiet

Ir-riċerkaturi wettqu esperimenti fuq sitt settijiet ta’ dejta nnutati użati fir-riċerka dwar l-iskoperta tal-deepfake: FaceForensics ++ (FF++); WildDeepFake; Preview ta' Deepfake Detection Challenge (DFDCP); Celeb-DF; Sejbien Deepfake (DFD); u Wiċċ Shifter (FSh).

Għal FF++, ir-riċerkaturi ħarrġu l-mudell tagħhom fuq is-sett tad-dejta oriġinali u ttestjaw kull wieħed mill-erba 'sottosettijiet separatament. Mingħajr l-użu ta 'kwalunkwe materjal deepfake fit-taħriġ, il-metodu l-ġdid kien kapaċi jaqbeż ir-riżultati l-aktar avvanzati.

Il-metodu ħa wkoll pole position meta mqabbel mas-sett tad-dejta kompressat FF++ C23, li jipprovdi eżempji li juru t-tip ta 'artifacts ta' kompressjoni li huma kredibbli f'ambjenti ta 'wiri deepfake fid-dinja reali.

L-awturi jikkummentaw:

'Il-prestazzjonijiet fi ħdan FF++ jivvalidaw il-fattibbiltà tal-idea ewlenija tagħna, filwaqt li l-ġeneralizzazzjoni tibqa' problema ewlenija tal-metodi eżistenti ta' skoperta deepfake, peress li l-prestazzjoni mhix garantita meta jiġu ttestjati deepfakes iġġenerati minn tekniki li ma tidhirx.

"Ikkunsidra aktar ir-realtà tat-tellieqa għall-armi bejn detectors u falsifikaturi, il-ġeneralizzazzjoni hija kriterju importanti biex titkejjel l-effettività ta 'metodu ta' skoperta fid-dinja reali."

Għalkemm ir-riċerkaturi wettqu għadd ta' sottotestijiet (ara d-dokument għad-dettalji) dwar 'robustezza', u jvarjaw it-tipi ta' input ta' vidjows (jiġifieri reali, foloz, p-faked, eċċ.), l-aktar riżultati interessanti huma mit-test. għall-prestazzjoni cross-dataset.

Għal dan, l-awturi ħarrġu l-mudell tagħhom fuq il-verżjoni c23 tad-'dinja reali' msemmija qabel ta 'FF++, u ttestjaw dan kontra erba' settijiet ta 'dejta, u kisbu, jiddikjaraw l-awturi, prestazzjoni superjuri fuqhom kollha.

Riżultati mill-isfida ta' cross-dataset. Id-dokument jinnota li SBI juża approċċ simili għall-awturi stess, filwaqt li, ir-riċerkaturi jsostnu, p-fake juri prestazzjoni aħjar għal tfixkil ta 'regolarità spazjali-temporali.

Il-karta tgħid:

'Fuq l-aktar Deepwild ta' sfida, il-metodu tagħna jaqbeż il-metodu SOTA b'madwar 10 punti perċentwali f'termini ta' AUC%. Aħna naħsbu li dan huwa dovut għad-diversità kbira ta 'deepfakes f'Deepwild, li jagħmel metodi oħra jonqsu milli jiġġeneralizzaw sew minn deepfakes dehru.'

Metriċi użati għat-testijiet kienu Accuracy Score (ACC), Żona taħt il-Kurva Karatteristika Operattiva tar-Riċevitur (AUC), u Equal Error Rate (EER).

Kontrattakki?

Għalkemm il-midja tikkaratterizza t-tensjoni bejn l-iżviluppaturi deepfake u r-riċerkaturi tas-sejbien deepfake f’termini ta’ gwerra teknoloġika, huwa argumentabbli li l-ewwel sempliċiment qed jippruvaw jagħmlu output aktar konvinċenti, u li ż-żieda fid-diffikultà ta 'skoperta deepfake hija prodott sekondarju ċirkostanzjali ta' dawn l-isforzi.

Jekk l-iżviluppaturi jipprovawx jindirizzaw dan in-nuqqas li għadu kif ġie żvelat jiddependi, forsi, fuq jekk iħossux jew le li t-tfixkil tar-regolarità jistax jiġi pperċepit f'video deepfake, bl-għajn, bħala simbolu ta' inawtentiċità, u li għalhekk din il-metrika hija ta' min. indirizzar minn perspettiva purament kwalitattiva.

Għalkemm għaddew ħames snin minn meta l-ewwel deepfakes daħlu onlajn, il-deepfaking għadu teknoloġija relattivament naxxenti, u l-komunità bla dubju hija aktar ossessjonata bid-dettall u r-riżoluzzjoni milli kuntest korrett, jew li tqabbel il-firem ta 'video kompressat, it-tnejn li huma jeħtieġu ċertu " degradazzjoni' tal-produzzjoni – l-istess ħaġa li l-komunità deepfake kollha bħalissa qed tiġġieled kontriha.

Jekk jirriżulta li l-kunsens ġenerali jkun li t-tfixkil tar-regolarità huwa firma naxxenti li ma taffettwax il-kwalità, jista’ jkun hemm l-ebda sforz biex tikkumpensa għaliha – anki jekk jista tiġi 'kanċellata' minn xi proċeduri ta' wara l-ipproċessar jew fl-arkitettura, li mhuwiex ċar.

Ippublikat għall-ewwel darba fit-22 ta' Lulju 2022.