Koda bilder mot användning i Deepfake- och bildsyntes-system

Den mest kända forskningslinjen inom den växande anti-deepfake-sektorn handlar om system som kan känna igen artefakter eller andra påstådda särdrag hos deepfaked, syntetiserade eller på annat sätt förfalskade eller “redigerade” ansikten i video- och bildinnehåll.

Sådana tillvägagångssätt använder en mängd olika taktiker, inklusive djupdetektering, videojämnhetstörning, variationer i monitorbelysning (i potentiellt deepfaked live-videokonferenser), biometriska egenskaper, yttre ansiktsområden och till och med den dolda kraften i det mänskliga undermedvetna systemet.

Vad dessa, och liknande metoder, har gemensamt är att de, när de väl är utvecklade, redan har tränats på tusentals, eller hundratusentals bilder som skrapats från webben – bilder från vilka autoencodersystem kan enkelt härleda nyckelfunktioner och skapa modeller som kan påtvinga en falsk identitet i videoinspelningar eller syntetiserade bilder – även i realtid.

För att förkorta, när sådana system är aktiva, har hästen redan flytt.

Bilder som är fientliga mot Deepfake/Syntes-arkitektur

Genom en mer förebyggande attityd till hotet om deepfakes och bildsyntes, finns en mindre känd forskningslinje inom denna sektor som handlar om möjligheterna att göra alla dessa källfoton ovänliga mot AI-bildsyntes-system, vanligtvis på outtalbara eller knappt märkbara sätt.

Exempel inkluderar FakeTagger, ett förslag från 2021 från olika institutioner i USA och Asien, som kodar meddelanden in i bilder; dessa kodningar är resistenta mot generaliseringsprocessen och kan sedan återvinnas även efter att bilderna har skrapats från webben och tränats in i ett Generativt Adversarial Network (GAN) av den typ som mest kända representeras av thispersondoesnotexist.com, och dess många derivat.

FakeTagger kodar information som kan överleva generaliseringsprocessen när man tränar en GAN, vilket gör det möjligt att veta om en specifik bild bidragit till systemets generativa förmågor. Källa: https://arxiv.org/pdf/2009.09869.pdf

För ICCV 2021, gjorde ett annat internationellt företag liknande artificiella fingeravtryck för generativa modeller, (se bild nedan) som åter producerar återvunna “fingeravtryck” från utdata av en bildsyntes-GAN som StyleGAN2.

Även under en mängd olika extrema manipulationer, beskärning och ansiktsutbyte, förblir fingeravtrycken som passerar genom ProGAN återvunna. Källa: https://arxiv.org/pdf/2007.08457.pdf

Andra iterationer av detta koncept inkluderar ett 2018-projekt från IBM och en digital vattenstämpel samma år, från Japan.

Mer innovativt, ett initiativ från 2021 från Nanjing University of Aeronautics and Astronautics försökte “kryptera” träningsbilder på ett sådant sätt att de endast skulle fungera effektivt på auktoriserade system, men skulle misslyckas katastrofalt om de användes som källdata i en generell bildsyntesträningspipeline.

I princip alla dessa metoder faller under kategorin steganografi, men i alla fall måste den unika identifieringsinformationen i bilderna kodas som en sådan essentiell “funktion” att det inte finns någon chans att en autoencoder eller GAN-arkitektur skulle kasta bort sådana fingeravtryck som “brus” eller ovidkommande data, utan snarare kommer att koda dem tillsammans med andra ansiktsfunktioner.

Samtidigt får processen inte tillåtas att förvränga eller på annat sätt synligt påverka bilden så mycket att den uppfattas av tillfälliga åskådare som att ha defekter eller vara av låg kvalitet.

TAFIM

Nu har ett nytt tyskt forskningsföretag (från Technical University of Munich och Sony Europe RDC Stuttgart) föreslagit en bildkodningsteknik som gör att deepfakes-modeller eller StyleGAN-liknande ramverk som tränas på bearbetade bilder kommer att producera oanvändbara blå eller vita utdata.

TAFIM:s lågnivåbildperturbationer hanterar flera möjliga typer av ansiktsförvrängning/ersättning, vilket tvingar modeller som tränats på bilderna att producera förvrängd utdata, och rapporteras av författarna vara tillämplig även i realtids-scenarier som DeepFaceLives realtids deepfake-strömning. Källa: https://arxiv.org/pdf/2112.09151.pdf

Artikeln fortsätter med att diskutera olika aspekter av bildkodning och dess potential att förhindra deepfakes och bildsyntes. Den tar också upp möjliga tillämpningar och begränsningar av tekniken, samt dess potential att påverka framtiden för AI-utveckling.

Re-Encoding the Web..?

Men i det här fallet är vi inte här för att undersöka detaljerna och arkitekturen i den senaste versionen av detta populära koncept, utan snarare för att överväga praktikaliteten i hela idén – särskilt i ljuset av den växande kontroversen om användningen av offentligt skrapade bilder för att driva bildsyntes-ramverk som Stable Diffusion, och de efterföljande rättsliga implikationerna av att utveckla kommersiell programvara från innehåll som kan (i vissa jurisdiktioner) visa sig ha rättsligt skydd mot att ingå i AI-syntes-arkitekturer.

Proaktiva, kodningsbaserade tillvägagångssätt av det slag som beskrivs ovan kommer med en inte obetydlig kostnad. Minst skulle de kräva införandet av nya och utökade komprimeringsrutiner i standardwebbaserade bearbetningsbibliotek som ImageMagick, som driver ett stort antal uppladdningsprocesser, inklusive många sociala medieuppladdningsgränssnitt, som är ansvariga för att konvertera för stora ursprungliga användarbilder till optimerade versioner som är lämpligare för lätta delningar och nätverksdistribution, och också för att utföra transformationer som beskärningar och andra tillägg.

Den primära frågan som detta väcker är: skulle ett sådant system implementeras “framåt” eller skulle en bredare och retroaktiv distribution avses, som hanterar historiskt media som kan ha varit tillgängligt, “orenat”, i decennier?

Plattformar som Netflix är inte avvisande till kostnaden av att omkoda en bak-katalog med nya kodrar som kan vara mer effektiva eller som kan ge användare eller leverantörer fördelar; likaså var YouTubes konvertering av sitt historiska innehåll till H.264-kodaren, tydligen för att anpassa sig till Apple TV, en logistiskt monumentalt uppgift, inte ansedd som förhindrande svår.

Ironiskt nog, även om stora delar av media-innehåll på internet skulle bli föremål för omkodning till ett format som motstår träning, skulle den begränsade kretsen av inflytelserika datorseende-datasets förbli opåverkade. Men förmodligen skulle system som använder dem som uppströmsdata börja minska i kvalitet på utdata, eftersom vattenmärkt innehåll skulle störa arkitekturens transformerande processer.

Politisk konflikt

I politiska termer finns en uppenbar spänning mellan regeringars beslut att inte halka efter i AI-utveckling och att göra eftergifter för allmänhetens oro över den ad hoc-användningen av öppet tillgängligt ljud-, video- och bildinnehåll på internet som en rik tillgång för transformerande AI-system.

Officiellt är västerländska regeringar benägna till mildhet när det gäller datorseende-forskningssektorns möjlighet att använda offentligt tillgängligt media, inte minst för att vissa av de mer auktoritära asiatiska länderna har mycket större möjlighet att forma sina utvecklingsarbetsflöden på ett sätt som gynnar deras egna forskningsinsatser – bara en av de faktorer som föreslår att Kina blir den globala ledaren inom AI.

I april 2022 bekräftade den amerikanska överdomstolen att offentligt webbdata är en rättvis spelplan för forskningsändamål, trots den pågående protesten från LinkedIn, som önskar att deras användarprofiler ska skyddas från sådana processer.

Om AI-motståndiga bilder därför inte ska bli en systemomfattande standard, finns det inget som hindrar några av de stora källorna till träningsdata från att implementera sådana system, så att deras eget utdata blir odugligt i den latenta rymden.

Den väsentliga faktorn i sådana företags-specifika distributioner är att bilderna ska vara medfödda motståndskraftiga mot träning. Blockchain-baserade bevis-tekniker och rörelser som Content Authenticity Initiative är mer inriktade på att bevisa att bilder har blivit förfalskade eller “stilGANade”, snarare än att förhindra de mekanismer som gör sådana transformationer möjliga.

Casual Inspection

Medan förslag har lagts fram för att använda blockchain-metoder för att autentisera den sanna provenansen och utseendet på en källbild som kan ha ingått i en träningsdataset, förhindrar detta inte i sig träningsbilder eller ger något sätt att bevisa, från utdata av sådana system, att bilderna ingick i träningsdatasetet.

I en vattenmärkningsansats för att utesluta bilder från träning, vore det viktigt att inte förlita sig på att källbilderna för en inflytelserik dataset är offentligt tillgängliga för inspektion. Som svar på konstnärers utrop om Stable Diffusions liberala ingående av deras arbete, tillåter webbplatsen haveibeentrained.com användare att ladda upp bilder och kontrollera om de troligen har ingått i LAION5B-dataset som driver Stable Diffusion:

‘Lenna’, bokstavligen den mest kända tjejen för datorseende-forskning tills nyligen, är säkerligen en bidragsgivare till Stable Diffusion. Källa: https://haveibeentrained.com/

Men nästan alla traditionella deepfakes-datasets, till exempel, är slumpmässigt hämtade från extraherat video- och bilder på internet, till icke-offentliga databaser där endast någon form av neuralt motståndskraftig vattenstämpel skulle kunna avslöja användningen av specifika bilder för att skapa de härledda bilderna och videon.

Ytterligare, Stable Diffusion-användare börjar lägga till innehåll – antingen genom finjustering (fortsätter utbildningen av den officiella modellkontrollpunkten med ytterligare bild/textpar) eller Textual Inversion, som lägger till ett specifikt element eller person – som inte kommer att visas i någon sökning genom LAIONs miljarder bilder.

Att infoga vattenstämplar i källan

En ännu mer extrem potential tillämpning av källbildvattenstämpel är att inkludera dold och icke-uppenbar information i råinspelningen av kommersiella kameror. Även om konceptet experimenterades med och till och med implementerades med en viss kraft i början av 2000-talet, som en reaktion på den framväxande “hotet” om multimediepiratverksamhet, är principen tekniskt tillämplig också för att göra media-innehåll motståndskraftigt eller avvisande för maskinlärningstränings-system.

En implementering, diskuterad i en patentansökan från slutet av 1990-talet, föreslog att använda diskret kosinustransform för att infoga steganografiska “underbilder” i video och stillbilder, och föreslog att rutinen kunde “inkorporeras som en inbyggd funktion för digitala inspelningsenheter, såsom still- och videokameror”.

I en patentansökan från slutet av 1990-talet, ges ‘Lenna’ en dold vattenstämpel som kan återvinnas när som helst. Källa: https://www.freepatentsonline.com/6983057.pdf

En mindre sofistikerad metod är att pålägga tydligt synliga vattenstämplar på bilder på enhetsnivå – en funktion som är oattraktiv för de flesta användare och onödig i fallet med konstnärer och professionella mediapraktiker, som kan skydda källdata och lägga till sådan märkning eller förbud som de anser lämpligt (inte minst, aktiebolag för bild).

Även om minst en kamera för närvarande tillåter valfri logobaserad vattenstämpel som kunde signalera obehörig användning i en härledd AI-modell, blir logoborttagning via AI ganska trivial, och till och med kommersiellt.

Publicerad första gången den 25 september 2022.