Ištikimybė prieš tikroviškumą netikruose vaizdo įrašuose

Ne visi giliai padirbinėjantys specialistai turi tą patį tikslą: vaizdų sintezės tyrimų sektoriaus postūmį, kurį remia įtakingi šalininkai, pvz. plaušamolis, "NVIDIA ir Facebook – yra tobulinti techniką, kad mašininio mokymosi metodai ilgainiui galėtų atkurti arba susintetinti žmogaus veiklą didele skiriamąja geba ir pačiomis sudėtingiausiomis sąlygomis (ištikimybė).

Priešingai, tų, kurie nori naudoti giliai suklastotas technologijas dezinformacijai skleisti, tikslas yra sukurti patikimus tikrų žmonių modeliavimus daugeliu kitų metodų, o ne vien tik padirbtų veidų tikrumu. Pagal šį scenarijų papildomi veiksniai, tokie kaip kontekstas ir patikimumas, yra beveik lygūs vaizdo įrašo galimybei imituoti veidus. (realizmas).

Šis „klastingas“ metodas apima giliai suklastoto vaizdo įrašo galutinio vaizdo kokybės pablogėjimą, todėl visas vaizdo įrašas (o ne tik apgaulinga dalis, kurią vaizduoja giliai suklastotas veidas) turi darnią „vaizdą“, tiksliai atitinkančią numatoma vidutinė kokybė.

„Surištas“ nebūtinai turi reikšti „geras“ – pakanka, kad kokybė būtų vienoda tiek originalo, tiek įterpto, suklastoto turinio ir atitiktų lūkesčius. Kalbant apie VOIP srautinio perdavimo išvestį tokiose platformose kaip „Skype“ ir „Zoom“, juosta gali būti nepaprastai žema, nes vaizdo įrašas trūkčioja, trūkčioja ir daugybė galimų suspaudimo artefaktų, taip pat „išlyginimo“ algoritmai, skirti sumažinti jų poveikį. patys savaime sudaro papildomą „neautentiškų“ efektų spektrą, kurį mes pripažinome tiesioginės transliacijos apribojimų ir ekscentriškumo pasekmėmis.

„DeepFaceLive“ veikia: ši geriausios giliai padirbtos programinės įrangos DeepFaceLab srautinio perdavimo versija gali suteikti kontekstinio tikroviškumo, pateikdama padirbtus vaizdus ribotos vaizdo kokybės kontekste, kartu su atkūrimo problemomis ir kitais pasikartojančiais ryšio artefaktais. Šaltinis: https://www.youtube.com/watch?v=IL517EgYH8U

Integruotas degradavimas

Iš tiesų, dviejuose populiariausiuose „deepfake“ paketuose (abu gauti iš prieštaringai vertinamo 2017 m. šaltinio kodo) yra komponentų, skirtų integruoti giliai suklastotą veidą į „istorinio“ arba žemesnės kokybės vaizdo įrašo kontekstą, pažeminant sukurtą veidą. Į DeepFaceLab, bicubic_degrade_power parametras tai atlieka ir in „FaceSwap“, Ffmpeg konfigūracijos „grūdėjimo“ nustatymas taip pat padeda integruoti klaidingą veidą, nes išsaugo grūdus kodavimo metu*.

FaceSwap „grūdėjimo“ nustatymas padeda autentiškai integruoti į ne HQ vaizdo įrašų turinį ir seną turinį, kuriame gali būti filmo grūdėtumo efektų, kurie šiais laikais yra gana reti.

Dažnai vietoj pilno ir integruoto „deepfake“ vaizdo įrašo „deepfakers“ išveda atskirą PNG failų seriją su alfa kanalais, kiekviename vaizde rodoma tik sintetinė veido išvestis, kad vaizdo srautą būtų galima konvertuoti į vaizdo įrašą sudėtingesnėse platformose.žeminančio poveikio galimybes, pvz., „Adobe After Effects“, prieš sujungiant netikrus ir tikrus elementus galutiniam vaizdo įrašui.

Be šių tyčinių pabloginimų, giliai suklastoto kūrinio turinys dažnai iš naujo suglaudinamas arba algoritmiškai (kai socialinės žiniasklaidos platformos siekia sutaupyti pralaidumą kurdamos lengvesnes vartotojų įkėlimų versijas) tokiose platformose kaip „YouTube“ ir „Facebook“ arba iš naujo apdorojant originalų kūrinį į animuotus GIF, detalių skyrelius ar kitas įvairiai motyvuotas darbo eigas, kuriose pradinis leidimas traktuojamas kaip atskaitos taškas ir vėliau įvedamas papildomas glaudinimas.

Realistiški giliųjų klastotės aptikimo kontekstai

Atsižvelgiant į tai, naujame Šveicarijos dokumente buvo pasiūlyta atnaujinti giliųjų klastotės aptikimo metodų metodiką, mokant aptikimo sistemas išmokti giliai padirbto turinio ypatybes, kai jis pateikiamas sąmoningai pablogintame kontekste.

Stochastinis duomenų papildymas pritaikytas vienam iš naujame dokumente naudojamų duomenų rinkinių, pasižyminčių Gauso triukšmu, gama korekcija ir Gauso suliejimu, taip pat JPEG glaudinimo artefaktais. Šaltinis: https://arxiv.org/pdf/2203.11807.pdf

Naujajame dokumente tyrėjai teigia, kad avangardiniai giliųjų klastotės aptikimo paketai remiasi nerealiomis etaloninėmis sąlygomis, atsižvelgiant į taikomų metrikų kontekstą, ir kad „pablogėjusi“ giliųjų klastočių išvestis gali nukristi žemiau minimalios aptikimo kokybės slenksčio, net jei jie yra realūs. „niūrus“ turinys gali suklaidinti žiūrovus dėl tinkamo dėmesio kontekstui.

Tyrėjai pradėjo naują „realaus pasaulio“ duomenų degradacijos procesą, kuris pagerina pirmaujančių giliai padirbtų detektorių apibendrinamumą ir tik nežymiai praranda pradinių aptikimo rodiklių, gautų naudojant „švarius“ duomenis, tikslumą. Jie taip pat siūlo naują vertinimo sistemą, kuri gali įvertinti giliai padirbtų detektorių patikimumą realiomis sąlygomis, paremtą išsamiais abliacijos tyrimais.

Šios popierius yra tituluojamas Naujas metodas tobulinti mokymusi pagrįstą giliųjų klastotės aptikimą tikroviškomis sąlygomis, ir ateina iš tyrėjų iš Multimedia Signal Processing Group (MMSPG) ir Ecole Polytechnique Federale de Lausanne (EPFL), abu įsikūrę Lozanoje.

Naudinga painiava

Ankstesnės pastangos įtraukti pablogėjusią išvestį į giliųjų klastotės aptikimo metodus apima Mišrus neuroninis tinklas, 2018 m. pasiūlymas iš MIT ir FAIR, ir AugMix2020 m. sukurtas „DeepMind“ ir „Google“ bendradarbiavimas – abu duomenų papildymo metodai, kuriais bandoma „supurvinti“ mokymo medžiagą taip, kad būtų lengviau apibendrinti.

Naujojo darbo tyrinėtojai taip pat pažymi prieš studijos kuris pritaikė Gauso triukšmo ir suspaudimo artefaktus mokymo duomenims, kad nustatytų ryšio tarp išvestinės ypatybės ir triukšmo, kuriame jis yra, ribas.

Naujajame tyrime siūlomas dujotiekis, imituojantis pažeistas vaizdo gavimo ir glaudinimo proceso sąlygas bei įvairius kitus algoritmus, kurie gali dar labiau pabloginti vaizdo išvestį platinimo procese. Įtraukiant šią realaus pasaulio darbo eigą į vertinimo sistemą, galima sukurti giliųjų klastotės detektorių, kurie yra labiau atsparūs artefaktams, mokymo duomenis.

Naujo požiūrio konceptuali logika ir darbo eiga.

Degradacijos procesas buvo pritaikytas dviem populiariems ir sėkmingiems duomenų rinkiniams, naudojamiems giliajam klastojimui aptikti: „FaceForensics ++“ ir Celeb-DFv2. Be to, pirmaujanti giliųjų klastojimo detektorių sistema Kapsulė-kriminalistika ir XceptionNet buvo mokomi dviejų duomenų rinkinių suklastotų versijų.

Detektoriai buvo apmokyti su Adam optimizatoriumi atitinkamai 25 ir 10 epochų. Duomenų rinkinio transformacijai iš kiekvieno mokomojo vaizdo įrašo atsitiktine tvarka buvo atrinkta 100 kadrų, iš kurių 32 kadrai buvo išgauti testavimui, prieš pridedant degraduojančius procesus.

Darbo eigos iškraipymai buvo tokie triukšmas, kur nulinis vidutinis Gauso triukšmas buvo taikomas šešiais skirtingais lygiais; dydžio keitimas, imituoti sumažintą tipinės lauko filmuotos medžiagos skiriamąją gebą, kuri gali paprastai paveikia detektoriai; suspaudimas, kur duomenims pritaikyti įvairūs JPEG glaudinimo lygiai; lyginimas, kur sistemai įvertinti trys tipiniai išlyginimo filtrai, naudojami triukšmo mažinimui; patobulinimas, kur buvo sureguliuotas kontrastas ir ryškumas; ir deriniai, kur bet koks trijų iš pirmiau minėtų metodų derinys buvo vienu metu taikomas vienam vaizdui.

Testavimas ir rezultatai

Tikrindami duomenis, mokslininkai taikė tris metrikas: Tikslumas (ACC); Plotas po imtuvo veikimo charakteristikos kreive (AUC); ir F1 rezultatas.

Tyrėjai išbandė standartiškai parengtas dviejų giliai padirbtų detektorių versijas, kad atitiktų suklastotus duomenis, ir nustatė, kad jiems trūksta:

„Apskritai dauguma tikroviškų iškraipymų ir apdorojimo yra nepaprastai žalingi įprastai mokomiems giliųjų klastojimo detektoriams. Pavyzdžiui, Capsule-Forensics metodas rodo labai aukštus AUC balus tiek nesuspaustuose FFpp, tiek Celeb-DFv2 testų rinkiniuose po atitinkamų duomenų rinkinių treniruotės, tačiau tada drastiškai sumažėja modifikuotų duomenų iš mūsų vertinimo sistemos našumas. Panašios tendencijos buvo pastebėtos naudojant XceptionNet detektorių.

Priešingai, dviejų detektorių našumas buvo žymiai pagerintas, kai buvo mokomi transformuoti duomenys, o kiekvienas detektorius dabar gali geriau aptikti nematomas apgaulines laikmenas.

„Duomenų papildymo schema žymiai pagerina dviejų detektorių patikimumą ir tuo tarpu jie vis tiek išlaiko aukštą našumą naudojant originalius nepakeistus duomenis.

Neapdorotų ir papildytų duomenų rinkinių, naudojamų dviejuose tyrime įvertintuose giliai padirbtų detektorių, našumo palyginimai.

Straipsnyje daroma išvada:

„Dabartiniai aptikimo metodai sukurti taip, kad būtų pasiektas kuo didesnis našumas pagal konkrečius etalonus. Dėl to dažnai paaukojama apibendrinimo galimybė siekiant realistiškesnių scenarijų. Šiame darbe siūloma kruopščiai apgalvota duomenų papildymo schema, pagrįsta natūraliu vaizdo degradacijos procesu.

„Išsamūs eksperimentai rodo, kad paprastas, bet efektyvus metodas žymiai pagerina modelio atsparumą įvairiems tikroviškiems iškraipymams ir apdorojimo operacijoms tipinėse vaizdų darbo eigose.

* Grūdelių atitikimas sugeneruotame paviršiuje yra stiliaus perdavimo konversijos proceso metu funkcija.

Pirmą kartą paskelbta 29 m. kovo 2022 d. Atnaujinta 8 val. EST, siekiant paaiškinti grūdų naudojimą Ffmpeg.