Indkodning af billeder mod brug i Deepfake- og billedsynthesesystemer

Den mest kendte forskningsretning i den voksende anti-deepfake-sektor omfatter systemer, der kan genkende artefakter eller andre formodede karakteristika for deepfakede, syntetiserede eller på anden måde falske eller ‘redigerede’ ansigter i video- og billedindhold.

Sådanne tilgange anvender en række taktikker, herunder dybde-detektion, video-reguleringsforstyrrelse, variationer i monitorbelysning (i potentiel deepfakede live-videoopkald), biometriske træk, ydre ansigtsområder og endda de skjulte kræfter i det menneskelige underbevidsthedssystem.

Det, disse og lignende metoder har til fælles, er, at når de deployes, har de centrale mekanismer, de kæmper imod, allerede været succesfuldt trænet på tusinder eller hundredtusinder af billeder, der er scraped fra internettet – billeder, som autoencoder-systemer let kan udlede nøglefunktioner fra, og oprette modeller, der kan påføre en falsk identitet i videooptagelser eller syntetiserede billeder – selv i realtid.

Kort sagt, når sådanne systemer er aktive, er hesten allerede stukket.

Billeder, der er fjendtlige over for Deepfake/Syntese-arkitekturer

Ved at have en mere forebyggende holdning til truslen om deepfakes og billedsynthese, omfatter en mindre kendt forskningsretning i denne sektor mulighederne, der er indeholdt i at gøre alle disse kildebilleder uvenlige over for AI-billedsynthesesystemer, normalt på uhørlige eller knap hørlige måder.

Eksempler omfatter FakeTagger, et forslag fra 2021 fra forskellige institutioner i USA og Asien, som koder meddelelser ind i billeder; disse kodinger er resistent over for generaliseringsprocessen og kan herefter genkaldes, selv efter billederne er blevet scraped fra internettet og trænet ind i et Generativt Adversarial Network (GAN) af den type, der er mest berømt repræsenteret af thispersondoesnotexist.com og dets talrige afledninger.

FakeTagger koder information, der kan overleve generaliseringsprocessen, når der trænes en GAN, og gør det muligt at vide, om et bestemt billede bidrog til systemets generative evner. Kilde: https://arxiv.org/pdf/2009.09869.pdf

Til ICCV 2021 fremlagde en international indsats lignende kunstige fingeraftryk til generative modeller, (se billedet nedenfor) som igen producerer genkaldelige ‘fingeraftryk’ fra outputtet af en billedsynthese-GAN som StyleGAN2.

Selv under en række ekstreme manipulationer, beskæring og ansigtsskift, forbliver fingeraftrykkene, der er sendt gennem ProGAN, genkaldelige. Kilde: https://arxiv.org/pdf/2007.08457.pdf

Andre iterationer af dette koncept omfatter et projekt fra 2018 fra IBM og en digital vandmærkningsordning samme år fra Japan.

Endnu mere innovativt var et initiativ fra 2021 fra Nanjing University of Aeronautics and Astronautics, der søger at ‘kryptere’ træningsbilleder på en sådan måde, at de kun kan trænes effektivt på autoriserede systemer, men vil fejle katastrofalt, hvis de bruges som kildebilleder i en generisk billedsyntræningspipeline.

Effektivt alle disse metoder falder under kategorien steganografi, men i alle tilfælde skal den unikke identificerende information i billederne kodes som en sådan essentiel ‘funktion’ af et billede, at der ikke er nogen chance for, at en autoencoder eller GAN-arkitektur vil afvise sådanne fingeraftryk som ‘støj’ eller outlier og ikke-essentiel data, men i stedet vil kode det sammen med andre ansigtstræk.

Samtidig kan processen ikke tillades at forvrænge eller på anden måde visuelt påvirke billedet så meget, at det opfattes af tilfældige seere som havende fejl eller at være af lav kvalitet.

TAFIM

Nu har en ny tysk forskningsindsats (fra Technical University of Munich og Sony Europe RDC Stuttgart) foreslået en billedkodningsteknik, hvor deepfake-modeller eller StyleGAN-lignende rammer, der er trænet på bearbejdede billeder, vil producere ubrugelige blå eller hvide output, henholdsvis.

TAFIM’s lavniveaubeskidninger af billeder adresserer flere mulige typer af ansigtforvrængning/erstatning, og tvinger modeller, der er trænet på billederne, til at producere forvrængede output, og er ifølge forfatterne anvendelige, selv i realtids-scenarier som DeepFaceLive’s realtids-deepfake-streaming. Kilde: https://arxiv.org/pdf/2112.09151.pdf

Den artikel, med titlen TAFIM: Targeted Adversarial Attacks against Facial Image Manipulations, anvender et neuralt netværk til at kode næsten uhørlige forstyrrelser ind i billeder. Efter billederne er trænet og generaliseret ind i en syntese-arkitektur, vil den resulterende model producere misfarvede output for input-identiteten, hvis den bruges i enten stil-mixing eller direkte ansigtsskift.

Om-kodning af internettet..?

Men i dette tilfælde er vi ikke her for at undersøge detaljerne og arkitekturen i den seneste version af dette populære koncept, men snarere for at overveje praktikabiliteten af hele idéen – især i lyset af den voksende kontrovers om brugen af offentligt scrapede billeder til at drive billedsynthesesystemer som Stable Diffusion, og de efterfølgende downstream-juridiske implikationer af at udvikle kommerciel software fra indhold, der måske (i nogle jurisdiktioner) på sigt vil vise sig at have retlig beskyttelse mod ingestion i AI-syntese-arkitekturer.

Proaktive, kodningsbaserede tilgange af den type, der er beskrevet ovenfor, kommer ikke uden omkostninger. I hvert fald ville de kræve institution af nye og udvidede kompressionsrutiner i standard web-baserede procesbiblioteker som ImageMagick, som driver en stor del af upload-processer, herunder mange sociale medie-upload-grænseflader, der er ansvarlige for at konvertere for store originale bruger-billeder til optimerede versioner, der er bedre egnede til let deling og netværksdistribution, og også for at udføre transformationer som beskæring og andre forbedringer.

Den primære spørgsmål, det rejser, er, om en sådan ordning ville blive implementeret ‘fremad’, eller om en bredere og retroaktiv udrulning ville være tiltænkt, der omfatter historisk medie, der måske har været tilgængelig, ‘ukorrupt’, i årtier?

Platforme som Netflix er ikke modvillige over for omkostningerne ved at om-kode en tilbagekatalog med nye codecs, der kan være mere effektive eller give bruger- eller udbyderfordele; ligesom YouTube’s konvertering af sin historiske indhold til H.264-kodeken, apparentligt for at tilpasse Apple TV, en logistisk monumental opgave, blev ikke betragtet som forbudt vanskeligt, på trods af skalaen.

Ironisk nok, selv hvis store dele af medieindhold på internettet blev genkodet i et format, der modsætter sig træning, ville den begrænsede kreds af indflydelsesrige computer vision-datasets forblive uberørt. Men systemer, der bruger dem som upstream-data, ville begynde at formindske i kvalitet af output, da vandmærket indhold ville forstyrre arkitekturens transformative processer.

Politisk Konflikt

I politiske termer er der en åbenbar spænding mellem regeringers beslutning om ikke at falde bagud i AI-udvikling og at gå med på offentlige bekymringer om den tilfældige brug af åbent tilgængeligt lyd-, video- og billedindhold på internettet som en overflod af ressourcer til transformative AI-systemer.

Officielt er vestlige regeringer tilbøjelige til at være tilbageholdende med hensyn til computer vision-forskningssektorens evne til at bruge offentligt tilgængeligt medie, ikke mindst fordi nogle af de mere autoritære asiatiske lande har langt større mulighed for at forme deres udviklingsworkflows på en måde, der gavner deres egne forskningsindsats – blot ét af faktorerne, der forslår, at Kina bliver den globale leder i AI.

I april 2022 fastslog den amerikanske appeldomstol , at offentligt tilgængelige webdata er fair game for forskningsformål, på trods af LinkedIn’s fortsatte protester, der ønsker, at deres brugerprofiler beskyttes mod sådanne processer.

Hvis AI-resistente billeder derfor ikke skal blive en systemomfattende standard, er der intet, der forhindrer nogle af de største kilder af træningsdata i at implementere sådanne systemer, så deres egen output bliver unproduktiv i den latente rum.

Den væsentlige faktor i sådanne virksomheds-specifikke udrulninger er, at billeder skal være indfødt resistente over for træning. Blockchain-baserede provenance-teknikker og bevægelser som Content Authenticity Initiative er mere fokuseret på at bevise, at billeder er blevet falske eller ‘styleGANned’, snarere end at forhindre mekanismerne, der gør sådanne transformationer mulige.

Casual Inspektion

Selv om forslag er blevet fremlagt for at bruge blockchain-metoder til at autentificere den sande proveniens og udseende af et kildebillede, der senere er blevet indtaget i en træningsdataset, forhindrer dette ikke i sig selv træningen af billeder eller giver nogen måde at bevise på, fra outputtet af sådanne systemer, at billederne var inkluderet i træningsdatasettet.

I en vandmærknings-tilgang til at udelukke billeder fra træning ville det være vigtigt ikke at afhænge af, at kildebillederne af en indflydelsesrig dataset er offentligt tilgængelige for inspektion. I respons til kunstneres udbrud om Stable Diffusions liberal ingestion af deres arbejde, tillader webstedet haveibeentrained.com brugerne at uploade billeder og tjekke, om de sandsynligvis er blevet inkluderet i LAION5B-datasettet, der driver Stable Diffusion:

‘Lenna’, bogstaveligt talt computer vision-forskningens plakatpige indtil for nylig, er bestemt en bidrager til Stable Diffusion. Kilde: https://haveibeentrained.com/

Men næsten alle traditionelle deepfake-datasets, for eksempel, er tilfældigt hentet fra udtræk af video og billeder på internettet til ikke-offentlige databaser, hvor kun en slags neuralt-resistent vandmærkning kunne muligvis afsløre brugen af bestemte billeder til at skabe de afledte billeder og video.

Yderligere er Stable Diffusion-brugere begyndt at tilføje indhold – enten gennem finjustering (at fortsætte træningen af den officielle modelcheckpoint med ekstra billed-/tekstpar) eller Tekstuel Inversion, som tilføjer et bestemt element eller person – som ikke vil være synligt i en søgning gennem LAION’s milliarder af billeder.

Indkodning af vandmærker ved kilde

En endnu mere ekstrem potentiel anvendelse af kildebilled-vandmærkning er at inkludere skjult og ikke-åbenlys information i de rå optagelser af kommercielle kameraer, video eller billeder. Selv om konceptet blev eksperimenteret med og endda implementeret med en vis energi i begyndelsen af 2000’erne som en respons på den opblomstrende ‘trussel’ om multimediepiratvirksomhed, er princippen teknisk anvendelig også til formålet med at gøre medieindhold modstandsdygtigt eller frastødende over for maskinelærings-træningssystemer.

En implementering, der blev foreslået i en patentansøgning fra slutningen af 1990’erne, foreslog at bruge Diskrete Kosine-Transformationer til at indkodere steganografiske ‘underbilleder’ i video og stillebilleder, og foreslog, at rutinen kunne ‘inkorporeres som en indbygget funktion for digitale optageenheder, såsom stille- og video-kameraer’.

I en patentansøgning fra slutningen af 1990’erne er Lenna indkodet med okkulte vandmærker, der kan genkaldes efter behov. Kilde: https://www.freepatentsonline.com/6983057.pdf

En mindre sofistikeret tilgang er at påføre klart synlige vandmærker på billeder på enhedsniveau – en funktion, der er upædagogisk for de fleste brugere, og overflødig i tilfælde af kunstnere og professionelle mediepraktikere, der kan beskytte kilde-data og tilføje sådant mærkning eller forbud, som de finder passende (især aktieselskaber med billeder).

Selv om mindst ét kamera i øjeblikket tillader valgfri logo-baseret vandmærknings-påføring, der kunne signalisere uautoriseret brug i en afledt AI-model, er logo-fjernelse via AI blevet meget trivial og endda kommercialiseret på en meget casual måde.

Offentliggjort første gang den 25. september 2022.