Koding av bilder mot bruk i deepfake- og bilde syntese systemer

Den mest kjente forskningsretningen i den voksende anti-deepfake-sektoren omfatter systemer som kan gjenkjenne artefakter eller andre påståtte kjennetegn ved deepfakede, syntetiske eller på andre måter falske eller “redigerte” ansikter i video- og bildeinnhold.

Slike tilnærminger bruker en rekke taktikker, inkludert dybdeavkoding, videojevnhetforstyrrelse, variasjoner i skjermlysning (i potensielt deepfakede videoopptak), biometriske trekk, ytre ansiktsområder og selv skjulte krefter i det menneskelige underbevissthetssystemet.

Det som disse, og lignende metoder, har til felles, er at de, når de blir innført, allerede har mistet kampen mot de sentrale mekanismene de kjemper mot, som allerede har blitt suksessfullt trent på tusenvis, eller hundredtusenvis av bilder skrapet fra nettet – bilder fra hvilke autoencoder-systemer lett kan avlede nøkkelEGENSkaper, og lage modeller som kan påtvinge en falsk identitet i videoopptak eller syntetiske bilder – selv i sanntid.

Kort sagt, når slike systemer er aktive, er hesten allerede stukket.

Bilder som er fiendtlige mot deepfake/syntese-arkitekturer

Ved å ta en mer forebyggende holdning til trusselen fra deepfakes og bilde syntese, omfatter en mindre kjent forskningsretning i denne sektoren mulighetene som ligger i å gjøre alle disse kildebildene uvennlige mot AI-bilde syntese systemer, vanligvis på en måte som er ubemerkelig eller knapt merkbar.

Eksempler inkluderer FakeTagger, et forslag fra 2021 fra flere institusjoner i USA og Asia, som koder meldinger inn i bilder; disse kodningene er resistente mot prosessen med generalisering, og kan deretter bli gjenopprettet selv etter at bildene har blitt skrapet fra nettet og trent inn i en Generativ Adversarial Network (GAN) av den type som er mest kjent gjennom thispersondoesnotexist.com og dens mange derivater.

FakeTagger koder informasjon som kan overleve prosessen med generalisering når en GAN blir trent, og gjør det mulig å vite om et bestemt bilde bidro til systemets generative evner. Kilde: https://arxiv.org/pdf/2009.09869.pdf

Til ICCV 2021, institusjonerte et annet internasjonalt forsøk kunstige fingeravtrykk for generative modeller, (se bildet under) som igjen produserer gjenopprettbare ‘fingeravtrykk’ fra utgangen av en bilde syntese GAN som StyleGAN2.

Selv under en rekke ekstreme manipulasjoner, beskjæring og ansiktsskifte, forblir fingeravtrykkene som er sendt gjennom ProGAN gjenopprettbare. Kilde: https://arxiv.org/pdf/2007.08457.pdf

Andre varianter av dette konseptet inkluderer et prosjekt fra 2018 fra IBM og en digital vannmerkingsskjema samme år, fra Japan.

Mer innovativt, søkte et initiativ fra 2021 fra Nanjing University of Aeronautics and Astronautics å “kryptere” treningbilder på en slik måte at de kun ville trenes effektivt på autoriserte systemer, men ville feile katastrofalt hvis de ble brukt som kilde data i en generisk bilde syntese-treningspipeline.

Effektivt alle disse metodene faller under kategorien steganografi, men i alle tilfeller må den unike identifiserende informasjonen i bildene bli kodet som en slik essensiell “EGENSkap” i et bilde at det ikke er noen mulighet for at en autoencoder eller GAN-arkitektur vil forkaste slike fingeravtrykk som “støy” eller outlier og ueSSensiell data, men heller vil kode det sammen med andre ansiktstrekk.

Samtidig kan prosessen ikke tillates å forvreng eller på annen måte visuelt påvirke bildet så mye at det oppfattes av tilfeldige seere som å ha feil eller å være av lav kvalitet.

TAFIM

Nå, et nytt tysk forskningsforsøk (fra Technical University of Munich og Sony Europe RDC Stuttgart) har foreslått en bilde-kodingsteknikk hvor deepfake-modeller eller StyleGAN-liknende rammer som blir trent på prosesserte bilder vil produsere ubrukbare blå eller hvite utgang, henholdsvis.

TAFIMs lav-nivå-bilde-forstyrrelser adresserer flere mulige typer ansiktforvrengning/erstatning, og tvinger modeller som er trent på bildene til å produsere forvrengt utgang, og rapporteres av forfatterne å være anvendelig selv i sanntids-scenarier som DeepFaceLives sanntids deepfake-streaming. Kilde: https://arxiv.org/pdf/2112.09151.pdf

Den artikkelen, med tittelen TAFIM: Targeted Adversarial Attacks against Facial Image Manipulations, bruker et neuralt nettverk til å kode knapt merkbar forstyrrelser inn i bilder. Etter at bildene er trent og generalisert inn i en syntese-arkitektur, vil den resulterende modellen produsere misfargede utgang for inndata-identiteten hvis den brukes i enten stil-blanding eller rett ansiktsskifte.

Om-koding av nettet..?

Men i dette tilfelle er vi ikke her for å undersøke detaljene og arkitekturen til den siste versjonen av dette populære konseptet, men heller for å vurdere praktisiteten til hele ideen – særlig i lys av den voksende kontroversen omkring bruken av offentlig tilgjengelige bilder til å drive bilde syntese-rammer som Stable Diffusion, og de påfølgende downstream juridiske implikasjonene av å utvikle kommersiell programvare fra innhold som kan (i noen jurisdiksjoner) til slutt vise seg å ha juridisk beskyttelse mot inntak i AI-syntese-arkitekturer.

Proaktive, koding-baserte tilnærminger av den type som beskrevet ovenfor, kommer ikke uten noen kostnader. I det minste ville de innebære å instituere nye og utvidede kompresjonsrutiner i standard nett-basert prosessering biblioteker som ImageMagick, som driver en stor del av opplastingsprosesser, inkludert mange sosiale medie-opplastingsgrensesnitt, som er ansvarlige for å konvertere over-størrelse originale bruker-bilder til optimerte versjoner som er mer egnet for lett deling og nett-distribusjon, og også for å utføre transformasjoner som beskjæring og andre forbedringer.

Hovedspørsmålet som dette reiser er: ville en slik skjema bli implementert “gående fremover”, eller ville en videre og retroaktivt utbredelse være ment, som omfatter historisk media som kan ha vært tilgjengelig, “uforvrengt”, i årevis?

Plattformer som Netflix er ikke avvisende overfor utgiftene til å om-kode en bak-katalog med nye kodeker som kan være mer effektive, eller kunne tilby bruker eller leverandør fordeler; likeså, YouTubes konvertering av sin historiske innhold til H.264-kodeken, apparently for å akkommodere Apple TV, en logistisk monumental oppgave, ble ikke ansett som prohibitivt vanskelig, til tross for skalaen.

Ironisk nok, selv om store deler av media-innhold på internett skulle bli gjort til å bli om-kodet til et format som motstår trening, ville den begrensede kaderen av innflytelsesrike datamengder forbli uforandret. Men, antagelig, systemer som bruker dem som oppstrøms data ville begynne å minske i kvalitet på utgangen, ettersom vannmerket innhold ville forstyrre arkitekturenes transformative prosesser.

Politisk konflikt

I politiske termer, er det en åpen spenning mellom regjeringers bestemmelse på ikke å bli forsinket i AI-utvikling, og å gi etter for offentlig bekymring om den ad-hoc bruken av åpenbart tilgjengelig audio-, video- og bilde-innhold på internettet som en overflod av ressurser for transformative AI-systemer.

Offisielt, er vestlige regjeringer tilbøyelige til å være ettergivende når det gjelder evnen til datavisjons-forskning-sektoren til å bruke offentlig tilgjengelig media, ikke minst fordi noen av de mer autoritære asiatiske landene har langt mer spelrom til å forme sine utviklings-workflows på en måte som er til deres egen fordel – bare ett av faktorene som antyder at Kina blir den globale lederen i AI.

I april 2022, fastslo den amerikanske anke-domstolen at offentlig tilgjengelig web-data er fritt spill for forskningsformål, til tross for den pågående protesten fra LinkedIn, som ønsker at deres brukerprofiler skal være beskyttet mot slike prosesser.

Hvis AI-motstandende bilder derfor ikke skal bli en system-wide standard, er det ingenting som kan forhindre noen av de største kildene til trening-data fra å implementere slike systemer, slik at deres eget utgang blir unytting i latent rom.

Den essensielle faktoren i slike selskaps-spesifikke deployeringer er at bildene skal være innately motstandende mot trening. Blockchain-baserte proveniens-teknikker, og bevegelser som Content Authenticity Initiative, er mer opptatt av å bevise at bilder har blitt forfalsket eller ‘styleGAN-ede’, snarere enn å forhindre mekanismene som gjør slike transformasjoner mulige.

Kasuell inspeksjon

Mens forslag har blitt fremmet for å bruke blockchain-metoder til å autentisere den sanne proveniens og utseendet til en kilde-bilde som kan ha blitt senere inntatt i en trening-dataset, gjør dette ikke i seg selv for å forhindre treningen av bilder, eller å gi noen måte å bevise, fra utgangen av slike systemer, at bildene var inkludert i trening-datasettet.

I en vannmerking-tilnærming til å ekskludere bilder fra trening, ville det være viktig ikke å stole på at kilde-bildene til en innflytelsesrik datasett var offentlig tilgjengelig for inspeksjon. I respons til kunstneres utrop om Stable Diffusions liberale inntak av deres arbeid, tillater nettstedet haveibeentrained.com brukerne å laste opp bilder og sjekke om de er sannsynlig å ha blitt inkludert i LAION5B-datasettet som driver Stable Diffusion:

‘Lenna’, bokstavelig talt plakaten for datavisjons-forskning inntil nylig, er absolutt en bidragsyter til Stable Diffusion. Kilde: https://haveibeentrained.com/

Men, nesten alle tradisjonelle deepfake-datasett, for eksempel, er kasuelt trukket fra ekstrahert video og bilder på internettet, inn i ikke-offentlige databaser hvor bare noen type neuralt-motstandskraftig vannmerking kunne muligens avsløre bruken av bestemte bilder for å skape de avledede bildene og videoene.

Videre, begynner Stable Diffusion-brukerne å legge til innhold – enten gjennom fin-justering (fortsettende trening av den offisielle modell-checkpoint med ekstra bilde/tekst-par) eller Tekstuell Inversjon, som legger til ett bestemt element eller person – som ikke vil dukke opp i noen søk gjennom LAIONs milliarder av bilder.

Innbettning av vannmerker ved kilde

En enda mer ekstrem potensiell anvendelse av kilde-bilde-vannmerking er å inkludere skjult og ikke-åpenbar informasjon i rå-utgangen, video eller bilder, av kommersielle kameraer. Selv om konseptet ble eksperimentert med og selv implementert med en viss iver i begynnelsen av 2000-tallet, som en respons på den nye “trusselen” fra multimedia-piratvirksomhet, er prinsippet teknisk anvendelig også for å gjøre media-innhold motstandskraftig eller frastøtende for maskinlærings-treningssystemer.

En implementering, foreslått i en patent-søknad fra slutten av 1990-årene, foreslo å bruke Discrete Cosine Transforms til å innbette steganografiske “sub-bilder” i video og stillebilder, og antydet at rutinen kunne “inkorporeres som en innebygd funksjon for digitale opptaksenheter, som stille- og video-kameraer”.

I en patent-søknad fra slutten av 1990-årene, er Lenna innført med okkulte vannmerker som kan bli gjenopprettet når som helst. Kilde: https://www.freepatentsonline.com/6983057.pdf

En mindre sofistikert tilnærming er å påføre tydelig synlige vannmerker på bilder på enhets-nivå – en funksjon som er upopulær blant de fleste brukerne, og overflødig i tilfelle av kunstnere og profesjonelle medie-praktikere, som er i stand til å beskytte kilde-data og legge til slik branding eller forbud som de finner passende (ikke minst, bildebyråer).

Though at least one camera currently allows for optional logo-based watermark imposition that could signal unauthorized use in a derived AI model, logo removal via AI is becoming quite trivial, and even casually commercialized.

Først publisert 25. september 2022.