L-identifikazzjoni ta' Celebrity Deepfakes mir-Reġjuni tal-Wiċċ ta' Barra

Kollaborazzjoni ġdida bejn Microsoft u università Ċiniża pproponiet mod ġdid ta' kif jiġu identifikati ċelebrità deepfakes, billi tisfrutta n-nuqqasijiet tat-tekniki deepfake attwali biex tagħraf identitajiet li ġew 'proġettati' fuq nies oħra.

L-approċċ huwa msejjaħ Transformer tal-Konsistenza tal-Identità (ICT), u jaħdem billi jqabbel il-partijiet l-aktar 'il barra tal-wiċċ (xedaq, cheekbones, linja tax-xagħar, u lineamenti marġinali oħra ta' barra) mal-parti ta 'ġewwa tal-wiċċ. Is-sistema tisfrutta d-dejta tal-immaġni pubblika disponibbli b’mod komuni ta’ nies famużi, li tillimita l-effettività tagħha għal ċelebritajiet popolari, li l-immaġini tagħhom huma disponibbli f’numru kbir f’settijiet ta’ dejta tal-viżjoni bil-kompjuter disponibbli b’mod wiesa’, u fuq l-internet.

Il-kopertura tal-falsifikazzjoni ta 'uċuħ foloz f'seba' tekniki: DeepFake f'FF+; DeepFake f'Google DeepFake Detection; DeepFaceLab; Face2Face; FSGAN; u DF-VAE. Pakketti popolari bħal DeepFaceLab u FaceSwap jipprovdu kopertura ristretta bl-istess mod. Sors: https://arxiv.org/pdf/2203.01318.pdf

Kif turi l-immaġni ta 'hawn fuq, il-metodi popolari bħalissa għall-deepfaking huma pjuttost ristretti mir-riżorsi, u jiddependu fuq uċuħ ospitanti apposti (l-immaġni jew il-vidjo ta' persuna li se jkollha l-identità tagħha sostitwita mill-deepfake) biex jimminimizzaw l-evidenza ta 'sostituzzjoni tal-wiċċ.

Għalkemm metodi varji jistgħu jinkludu l-forehead sħiħa u parti kbira taż-żoni tal-geddum u tal-ħaddejn, kollha huma xi ftit jew wisq ristretti ġewwa l-qafas tal-wiċċ ospitanti.

Mappa ta' salienza li tenfasizza l-identitajiet 'ġewwa' u 'barra' kkalkulati mill-ICT. Fejn tiġi stabbilita tqabbil tal-wiċċ ta' ġewwa iżda identità ta' barra ma tikkorrispondix, l-ICT tevalwa l-immaġni bħala falza.

Fit-testijiet, l-ICT wera li kapaċi jiskopri kontenut deepfake f'konfini li jiffavorixxu l-fake bħal vidjow b'riżoluzzjoni baxxa, fejn il-kontenut tal-vidjo kollu huwa degradat minn artifatti ta' kompressjoni, u jgħin biex jaħbi evidenza residwa tal-proċess deepfake - ċirkustanza li tħawwad ħafna li jikkompetu. metodi ta' skoperta deepfake.

L-ICT tegħleb lill-kontendenti fir-rikonoxximent tal-kontenut deepfake. Ara vidjo inkorporat fl-aħħar tal-artiklu għal aktar eżempji u riżoluzzjoni aħjar. Ara vidjow tas-sors inkorporat fl-aħħar tal-artiklu għal aktar eżempji. Sors: https://www.youtube.com/watch?v=zgF50dcymj8

il karta huwa intitolat Il-protezzjoni taċ-Ċelebritajiet b'Transformer tal-Konsistenza tal-Identità, u ġej minn disa 'riċerkaturi affiljati b'mod differenti mal-Università tax-Xjenza u t-Teknoloġija taċ-Ċina, Microsoft Research Asia, u Microsoft Cloud + AI.

Id-Diskrepanza tal-Kredibilità

Hemm mill-inqas ftit raġunijiet għaliex algoritmi popolari għall-iskambji tal-wiċċ bħal DeepFaceLab u, tpartit tal-wiċċ jittraskuraw iż-żona l-aktar imbiegħda tal-identitajiet tal-wiċċ skambjati.

L-ewwelnett, it-taħriġ tal-mudelli deepfake jieħu ħafna ħin u huwa kritiku għar-riżorsi, u l-adozzjoni ta’ uċuħ/korpi ospitanti “kompatibbli” tillibera ċikli u epoki tal-GPU biex tikkonċentra fuq iż-żoni ta’ ġewwa tal-wiċċ relattivament immutabbli li nużaw biex niddistingwu l-identità (billi varjabbli bħall-varjazzjoni fil-piż u t-tixjiħ huma l-inqas probabbli li jbiddlu dawn il-karatteristiċi ewlenin tal-wiċċ fi żmien qasir).

It-tieni nett, il-biċċa l-kbira tal-approċċi deepfake (u dan huwa ċertament il-każ ma' DeepFaceLab, is-softwer użat mill-prattikanti l-aktar popolari jew notorji) għandhom kapaċità limitata li jirreplikaw il-marġni ta' 'tarf tal-wiċċ' bħal żoni tal-ħaddejn u tax-xedaq, u huma kostretti mill-fatt li upstream tagħhom (2017) ma indirizzax b'mod estensiv din il-kwistjoni.

F'każijiet fejn l-identitajiet ma jaqblux sew, l-algoritmu deepfake għandu 'inpaint' żoni fl-isfond madwar il-wiċċ, li jagħmel b'mod goff fl-aħjar, anke f'idejn l-aħjar deepfakers, bħal Face Shift Ctrl, li l-output tiegħu ntuża fl-istudji tal-karta.

L-aħjar mill-aħjar: stampi minn vidjo deepfake minn deepfaker milqugħ Ctrl-Shift-Face, tpartit lil Jim Carrey fuq Gary Oldman. Dan ix-xogħol forsi jirrappreżenta wħud mill-aqwa output disponibbli bħalissa permezz ta 'DeepFaceLab u tekniki ta' post-ipproċessar. Madankollu, l-iskambji jibqgħu limitati għall-attenzjoni relattivament skarsa li DFL jagħti lill-wiċċ ta 'barra, li jirrikjedu sforz Erkulan ta' kurazzjoni tad-dejta u taħriġ biex jindirizzaw il-lineamenti l-aktar imbiegħda. Sors: https://www.youtube.com/watch?v=x8igrh1eyLk

Dan it-'sleight of hand', jew id-devjazzjoni tal-attenzjoni fil-biċċa l-kbira taħrab l-attenzjoni pubblika fit-tħassib attwali dwar ir-realiżmu dejjem jikber tal-deepfakes, minħabba li l-fakultajiet kritiċi tagħna madwar deepfakes għadhom qed jiżviluppaw wara l-istadju ta ''xokk u awe'.

Identitajiet maqsuma

Id-dokument il-ġdid jinnota li l-biċċa l-kbira tal-metodi preċedenti ta’ skoperta deepfake jiddependu fuq artifatti li jittradixxu l-proċess ta’ tpartit, bħal ras inkonsistenti joħloq u, teptip, fost bosta tekniki oħra. Biss din il-ġimgħa, karta oħra ġdida ta 'detection deepfake għandha propost bl-użu tal-'firma' tat-tipi ta' mudell li jvarjaw fil-qafas FaceSwap biex tgħin fl-identifikazzjoni ta' vidjow falsifikat maħluq miegħu (ara l-immaġni hawn taħt).

Identifikazzjoni deepfakes billi tikkaratterizza l-firem ta 'tipi ta' mudelli differenti fil-qafas FaceSwap. Sors: https://arxiv.org/pdf/2202.12951.pdf

B'kuntrast, l-arkitettura ta' l-ICT toħloq żewġ identitajiet ibejjed separati għal persuna, li kull waħda minnhom trid tiġi vverifikata qabel ma l-identità kollha tiġi konkluża li tkun filmati jew xbihat 'veru'.

Arkitettura għall-fażijiet ta' taħriġ u ttestjar tal-ICT.

Il-qasma tal-identitajiet hija ffaċilitata minn viżjoni Transformer, li twettaq identifikazzjoni tal-wiċċ qabel ma taqsam ir-reġjuni mistħarrġa f'tokens li jappartjenu għall-identitajiet ta 'ġewwa jew ta' barra.

Tqassam irqajja fost iż-żewġ sinifikaturi tal-identità paralleli.

Il-karta tgħid:

“Sfortunatament il-[metodi] eżistenti ta' verifika tal-wiċċ għandhom it-tendenza li jikkaratterizzaw ir-reġjun l-aktar diskriminattiv, jiġifieri, il-wiċċ ta' ġewwa għall-verifika u jonqsu milli jaqbdu l-informazzjoni tal-identità fil-wiċċ ta' barra. Bi Identity Consistency Transformer, aħna nħarrġu mudell biex nitgħallmu par ta 'vettori ta' identità, wieħed għall-wiċċ ta 'ġewwa u l-ieħor għall-wiċċ ta' barra, billi niddisinjaw Transformer b'tali mod li l-identitajiet ta 'ġewwa u ta' barra jkunu jistgħu jitgħallmu simultanjament f'unifikat bla xkiel. mudell.'

Peress li m'hemm l-ebda mudell eżistenti għal dan il-protokoll ta 'identifikazzjoni, l-awturi fasslu tip ġdid ta' telf ta 'konsistenza li jista' jaġixxi bħala metrika għall-awtentiċità. Il-'inner token' u 'outter token' li jirriżultaw mill-mudell ta' estrazzjoni ta' l-identità huma miżjuda ma' inkorporazzjonijiet ta' garża aktar konvenzjonali prodotti minn oqfsa ta' identifikazzjoni tal-wiċċ.

Data u Taħriġ

In-netwerk tal-ICT ġie mħarreġ fuq Microsoft Research's MS-Celeb-1M dataset, li fih 10 miljun immaġini ta’ wiċċ ċelebrità li jkopru miljun identità, inklużi atturi, politiċi, u ħafna tipi oħra ta’ figuri prominenti. Skond il-proċedura tal-metodu preċedenti X-ray tal-wiċċ (inizjattiva oħra ta' Microsoft Research), ir-rutina tal-ġenerazzjoni falza tal-ICT stess tpartit ir-reġjuni ta' ġewwa u ta' barra tal-uċuħ meħuda minn dan is-sett tad-dejta sabiex jinħoloq materjal li fuqu jiġi ttestjat l-algoritmu.

Biex twettaq dawn l-iskambji interni, l-ICT jidentifika żewġ immaġini fis-sett tad-dejta li juru pożi simili tar-ras u postijiet familjari tal-wiċċ, jiġġenera reġjun tal-maskra tal-karatteristiċi ċentrali (li fih jista 'jitwettaq tpartit), u jwettaq tpartit deepfake b'korrezzjoni tal-kulur RGB.

Ir-raġuni li l-ICT hija limitata għall-identifikazzjoni taċ-ċelebritajiet hija li tistrieħ (fl-aktar varjazzjoni effettiva tagħha) fuq sett ta’ referenza ġdid li jinkorpora vettori tal-wiċċ derivati ​​minn corpus ċentrali (f’dan il-każ MS-Celeb-1M, għalkemm ir-referenzar jista’ jiġi estiż. għal immaġini disponibbli fin-netwerk, li x'aktarx jeżistu biss fi kwalità u kwantità suffiċjenti għal figuri pubbliċi magħrufa).

Dawn il-koplets derivati ​​minn sett ta 'vettur jaġixxu bħala tokens ta' awtentiċità biex jivverifikaw ir-reġjuni tal-wiċċ ta 'ġewwa u ta' barra flimkien.

L-awturi jinnotaw li t-tokens miksuba minn dawn il-metodi jirrappreżentaw karatteristiċi ta '"livell għoli", li jirriżultaw fi proċess ta' skoperta deepfake li huwa aktar probabbli li jgħix ambjenti ta 'sfida bħal vidjo b'riżoluzzjoni baxxa jew degradat mod ieħor.

B'mod kruċjali, l-ICT huwa mhux tfittex evidenza bbażata fuq l-artifatti, iżda pjuttost hija ffukata fuq metodi ta’ verifika tal-identità aktar konformi mat-tekniki ta’ rikonoxximent tal-wiċċ – approċċ li huwa diffiċli b’dejta ta’ volum baxx, bħalma huwa l-każ fl-investigazzjoni ta’ inċidenti ta’ deepfake vendetta porn kontra miri mhux famużi.

Testijiet

Mħarrġa fuq MS-Celeb-1M, l-ICT imbagħad ġie maqsum f'verżjonijiet assistiti bir-referenza u 'blind' tal-algoritmu, u ttestjati kontra firxa ta' settijiet ta' dejta u metodi li jikkompetu. Dawn kienu jinkludu FaceForensics ++ (FF++), sett ta’ dejta ta’ 1000 vidjow awtentiku u deepfake maħluqa permezz ta’ erba’ metodi inklużi Face2Face u FaceSwap; Google's Sejbien Deepfake (DFD), magħmul ukoll minn eluf ta' vidjows deepfake iġġenerati minn Google; Celeb-DeepFake v1 (CD1), li fih 408 vidjow reali u 795 sintetizzati, b'artifact baxx; Celeb-DeepFake v2, estensjoni ta' V1 li fiha 590 vidjow reali u 5,639 foloz; u taċ-Ċina 2020 Aktar Fond-Forensika (Iktar fil-fond).

Dawk huma s-settijiet tad-dejta; il-metodi ta 'skoperta fl-isfidi tat-test kienu Multi-kompitu, MesoInc4, Kapsula, Xception-c0, c2 (metodu użat f'FF++), FWA/DSP-FW mill-Università ta' Albany, Żewġ Fergħat, PCL+I2G, u Yuval Nirkin's metodu ta' diskrepanza fil-kuntest.

Il-metodi ta 'skoperta msemmija hawn fuq huma mmirati biex jiskopru tipi partikolari ta' manipulazzjoni tal-wiċċ. Minbarra dawn, l-awturi tal-karta l-ġdida ttestjaw offerti aktar ġenerali ta 'skoperta deepfake X-ray tal-wiċċ, Michigan State University's FFD, CNNDetection, u Garża-Forensika mill-MIT CSAIL.

L-aktar riżultati evidenti mit-test huma li l-metodi li jikkompetu jonqsu drastikament fl-effettività hekk kif ir-riżoluzzjoni u l-kwalità tal-vidjo jonqsu. Peress li xi wħud mill-aktar potenzjal sever għall-penetrazzjoni deepfake tas-setgħat diskriminattivi tagħna jinsab (mhux l-inqas fil-ħin attwali) f'vidjow mhux HD jew inkella vidjo kompromess ta' kwalità, dan jidher li huwa riżultat sinifikanti.

Fil-graff tar-riżultati hawn fuq, il-linji blu u ħomor jindikaw ir-reżiljenza tal-metodi tal-ICT għad-degradazzjoni tal-immaġini fl-oqsma kollha ħlief l-ostakolu tal-istorbju Gaussian (mhux probabbiltà fil-filmati Zoom u stil webcam), filwaqt li l-affidabilità tal-metodi li jikkompetu tonqos.

Fit-tabella tar-riżultati hawn taħt, naraw l-effettività tal-metodi varji ta 'skoperta deepfake fuq is-settijiet tad-dejta li ma tidhirx. Riżultati griżi u asteriskjati jindikaw paragun minn riżultati ppubblikati oriġinarjament fi proġetti ta’ sors magħluq, li ma jistgħux jiġu vverifikati esternament. Kważi l-oqfsa komparabbli kollha, l-ICT tegħleb l-approċċi rivali ta’ deepfake detection (muri b’tipa grassa) fuq is-settijiet tad-dejta ppruvati.

Bħala test addizzjonali, l-awturi mexxew kontenut mill-kanal YouTube ta 'deepfaker Ctrl Shift Face milqugħ, u sabu li metodi kompetituri kisbu punteġġi ta' identifikazzjoni notevolment inferjuri:

Hawnhekk huwa notevoli li l-metodi FF++ (Xception-c23) u FFD, li jiksbu ftit mill-ogħla punteġġi f'xi wħud mid-dejta tal-ittestjar fit-testijiet ġenerali tal-karta l-ġdida, hawnhekk jiksbu punteġġ ferm aktar baxx mill-ICT f'kuntest ta' 'dinja reali' ta 'kontenut deepfake ta' sforz għoli.

L-awturi jikkonkludu d-dokument bit-tama li r-riżultati tiegħu jmexxu l-komunità ta’ skoperta deepfake lejn inizjattivi simili li jikkonċentraw fuq karatteristiċi ta’ livell għoli li jistgħu jiġu ġeneralizzati aktar faċilment, u 'l bogħod mill-'gwerra bierda' ta' skoperta ta' artifact, fejn l-aħħar metodi jiġu evitati b'mod regolari minn żviluppi f'oqfsa deepfake, jew minn fatturi oħra li jagħmlu metodi bħal dawn inqas reżiljenti.

Iċċekkja l-vidjo supplimentari li jakkumpanja hawn taħt għal aktar eżempji ta' ICT li jidentifika kontenut deepfake li ħafna drabi jegħleb metodi alternattivi.

Ippublikat għall-ewwel darba fit-4 ta' Marzu 2022.