Prepoznavanje virov podatkov Deepfake z označevanjem na osnovi umetne inteligence

Sodelovanje med raziskovalci na Kitajskem, v Singapurju in ZDA je ustvarilo odporen sistem za tako robustno 'označevanje' fotografij obraza, da se identifikacijski označevalci ne uničijo med deepfake proces usposabljanja, ki utira pot zahtevkom IP, ki bi lahko ogrozili zmožnost sistemov za ustvarjanje sintetičnih slik, da "anonimizirajo" nelegitimno postrgane izvorne podatke.

Sistem z naslovom FakeTagger, uporablja postopek kodirnika/dekoderja za vdelavo vizualno nerazločljivih informacij ID-ja v slike na dovolj nizki ravni, da bodo vbrizgane informacije interpretirane kot bistveni podatki o značilnostih obraza in zato prešle skozi abstrakcija obdeluje nedotaknjene, na enak način, na primer kot podatke o očeh ali ustih.

Pregled arhitekture FakeTagger. Izvorni podatki se uporabljajo za ustvarjanje 'odvečne' značilnosti obraza, pri čemer se ne upoštevajo elementi ozadja, ki bodo zakriti s tipičnim potekom dela deepfake. Sporočilo je mogoče obnoviti na drugem koncu procesa in ga je mogoče prepoznati prek ustreznega algoritma za prepoznavanje. Vir: http://xujuefei.com/felix_acmmm21_faketagger.pdf

Raziskava izhaja iz Šole za kibernetsko znanost in inženirstvo v Wuhanu, Ključnega laboratorija za letalsko in vesoljsko informacijsko varnost in zaupanja vredno računalništvo na kitajskem ministrstvu za izobraževanje, skupine Alibaba v ZDA, severovzhodne univerze v Bostonu in tehnološke univerze Nanyang v Singapurju.

Eksperimentalni rezultati s FakeTaggerjem kažejo na stopnjo ponovne identifikacije do skoraj 95 % v štirih običajnih vrstah metodologij deepfake: zamenjava identitete (tj. DeepFaceLab, Zamenjava obraza); uprizoritev obraza; urejanje atributov; in popolna sinteza.

Pomanjkljivosti Deepfake Detection

Čeprav so zadnja tri leta prinesla a pridelek novih pristopov k metodologijam identifikacije deepfake, so vsi ti pristopi ključni za popravljive pomanjkljivosti delovnih tokov deepfake, kot je npr. bleščica za oči pri premalo usposobljenih modelih in pomanjkanje utripanja v prejšnjih deepfakeih z neustrezno raznolikimi nabori obrazov. Ko so prepoznani novi ključi, so jih repozitoriji brezplačne in odprtokodne programske opreme izognili, bodisi namerno bodisi kot stranski produkt izboljšav tehnik deepfake.

Novi članek ugotavlja, da je najučinkovitejša metoda naknadnega odkrivanja, ki je nastala na podlagi Facebookovega najnovejšega tekmovanja za odkrivanje globokih ponaredkov (DFDC), omejena na 70-odstotno natančnost v smislu odkrivanja globokih ponaredkov v naravi. Raziskovalci pripisujejo ta reprezentativni neuspeh slabemu posploševanju proti novim in inovativne GAN in sistemi deepfake kodirnika/dekoderja ter na pogosto poslabšano kakovost zamenjav deepfake.

V slednjem primeru je to lahko posledica nizke kakovosti dela s strani deepfakerjev ali artefaktov stiskanja, ko so videoposnetki naloženi na platforme za skupno rabo, ki poskušajo omejiti stroške pasovne širine, in ponovno kodirati videoposnetke pri drastično nižjih bitnih hitrostih kot predložitve . Ironično je, da ta podoba ne samo poslabša ne posega v navidezno avtentičnost deepfake-a, lahko pa dejansko okrepi iluzijo, saj je deepfake video vključen v običajen vizualni idiom nizke kakovosti, ki se dojema kot pristen.

Preživljivo označevanje kot pomoč pri inverziji modela

Prepoznavanje izvornih podatkov iz rezultatov strojnega učenja je razmeroma novo in rastoče področje, ki omogoča novo dobo sodnih sporov na podlagi IP, kot trenutno vlada permisivna predpisi o strganju zaslona (zasnovani tako, da ne zadušijo nacionalne premoči v raziskavah v soočenju z globalno »oboroževalno tekmo« umetne inteligence) se razvijejo v strožjo zakonodajo, ko se sektor komercializira.

Inverzija modela se ukvarja s preslikavo in identifikacijo izvornih podatkov iz izhoda, ki ga ustvarijo sistemi za sintezo na številnih področjih, vključno z generiranjem naravnega jezika (NLG) in sintezo slik. Inverzija modela je še posebej učinkovita pri ponovni identifikaciji obrazov, ki so bili bodisi zamegljeni, pikselizirani ali pa so se prebili skozi proces abstrakcije Generative Adversarial Network ali sistema za pretvorbo kodirnika/dekoderja, kot je DeepFaceLab.

Dodajanje ciljanega označevanja novim ali obstoječim slikam obraza je potencialni nov pripomoček pri tehnikah inverzije modelov, z Vodni žig nastajajoče polje.

Post-Facto označevanje

FakeTagger je mišljen kot pristop naknadne obdelave. Na primer, ko uporabnik naloži fotografijo v družabno omrežje (kar običajno vključuje nekakšen proces optimizacije in redko neposreden in nepopačen prenos izvirne slike), bi algoritem obdelal sliko, da bi na obrazu uporabil domnevno neizbrisne lastnosti .

Druga možnost je, da se algoritem uporabi v zgodovinskih zbirkah slik, kot se je zgodilo večkrat v zadnjih dvajsetih letih, kot so si prizadevala spletna mesta za zbiranje velikih fotografij in komercialnih slik. Metode za prepoznavanje vsebine, ki je bila ponovno uporabljena brez dovoljenja.

FakeTagger skuša vdelati obnovljive značilnosti ID iz različnih procesov deepfake.

Razvoj in testiranje

Raziskovalci so testirali FakeTagger proti številnim programskim aplikacijam deepfake v zgoraj omenjenih štirih pristopih, vključno z najbolj razširjenim repozitorijem, DeepFaceLab; Stanfordov Face2Face, ki lahko prenese obrazno mimiko prek slik in identitet; in STGAN, ki lahko ureja obrazne atribute.

Testiranje je bilo opravljeno z CelebA-HQ, priljubljeno postrgano javno skladišče, ki vsebuje 30,000 slik obrazov slavnih v različnih ločljivostih do 1024 x 1024 slikovnih pik.

Raziskovalci so kot izhodišče sprva testirali običajne tehnike slikovnega vodnega žiga, da bi ugotovili, ali bodo vsiljene oznake preživele postopke usposabljanja potekov dela deepfake, vendar metode niso uspele pri vseh štirih pristopih.

Vdelani podatki FakeTaggerja so bili vstavljeni na stopnji kodirnika v slike nastavljenih obrazov z uporabo arhitekture, ki temelji na U-Net konvolucijsko omrežje za segmentacijo biomedicinske slike, izdano leta 2015. Nato se odsek dekodirnika ogrodja usposobi za iskanje vdelanih informacij.

Postopek je bil preizkušen v simulatorju GAN, ki je izkoristil zgoraj omenjene aplikacije/algoritme FOSS, v nastavitvi črne skrinjice brez ločenega ali posebnega dostopa do delovnih tokov vsakega sistema. Naključni signali so bili priloženi slikam slavnih in zabeleženi kot povezani podatki za vsako sliko.

Pri nastavitvi črne skrinjice je FakeTagger uspel doseči natančnost, ki presega 88.95 % v pristopih štirih aplikacij. V vzporednem scenariju bele škatle se je natančnost povečala na skoraj 100 %. Ker pa to nakazuje prihodnje ponovitve programske opreme deepfake, ki neposredno vključuje FakeTagger, je to malo verjeten scenarij v bližnji prihodnosti.

Štetje stroškov

Raziskovalci ugotavljajo, da je najzahtevnejši scenarij za FakeTagger popolna sinteza slike, kot je generiranje abstrakta na podlagi CLIP, saj so vhodni podatki o usposabljanju v takem primeru predmet najgloblje ravni abstrakcije. Vendar to ne velja za globoko ponarejene poteke dela, ki prevladujejo na naslovnicah v zadnjih nekaj letih, saj so ti odvisni od zveste reprodukcije značilnosti obraza, ki določajo identiteto.

Prispevek tudi ugotavlja, da bi nasprotni napadalci morda poskušali dodati motnje, kot sta umetni šum in zrnatost, da bi preprečili tak sistem označevanja, čeprav bi to verjetno škodljivo vplivalo na pristnost izhoda deepfake.

Nadalje ugotavljajo, da mora FakeTagger posnetkom dodati odvečne podatke, da zagotovi preživetje oznak, ki jih vdela, in da bi to lahko imelo znatne računske stroške v obsegu.

Avtorji zaključijo z ugotovitvijo, da ima lahko FakeTagger potencial za sledenje porekla na drugih področjih, kot je npr. nasprotni napadi z dežjem in druge vrste napadov, ki temeljijo na slikah, kot npr kontradiktorna izpostavljenost, haze, blur, vinjetiranje in barvno tresenje.