Beeldcodering tegen gebruik in Deepfake- en beeldsynthesesystemen

Het meest bekende onderzoekslijn in de groeiende anti-deepfakeonderzoekssector houdt zich bezig met systemen die artefacten of andere vermeende onderscheidende kenmerken van deepfakes, gesynthesiseerde of vervalste of ‘bewerkte’ gezichten in video- en beeldinhoud kunnen herkennen.

Dergelijke benaderingen gebruiken verschillende tactieken, waaronder dieptedetectie, videoregelmatigheidsverstoring, variaties in monitorverlichting (in potentieel diepfake live-videogesprekken), biometrische kenmerken, buitengebieden van het gezicht en zelfs de verborgen krachten van het menselijke onderbewustzijn.

Wat deze, en soortgelijke methoden, gemeen hebben, is dat ze tegen de tijd dat ze worden ingezet, de centrale mechanismen waar ze tegen strijden, al met succes zijn getraind op duizenden, of honderdduizenden, afbeeldingen die van het web zijn gescraped – afbeeldingen waaruit auto-encoder-systemen gemakkelijk sleutelkenmerken kunnen afleiden en modellen kunnen creëren die een valse identiteit in video-opnames of gesynthesiseerde afbeeldingen kunnen opleggen – zelfs in real-time.

Kort samengevat, tegen de tijd dat dergelijke systemen actief zijn, is de paard al uit de stal.

Afbeeldingen die vijandig zijn tegenover Deepfake/Synthesearchitecturen

In een meer preventieve houding ten aanzien van de dreiging van deepfakes en beeldsynthese, is er een minder bekende onderzoekslijn in deze sector die de mogelijkheden onderzoekt om alle bronafbeeldingen onvriendelijk te maken voor AI-beeldsynthesesystemen, meestal op onmerkbare of nauwelijks waarneembare wijze.

Voorbeelden zijn FakeTagger, een voorstel uit 2021 van verschillende instellingen in de VS en Azië, dat berichten in afbeeldingen codeert; deze coderingen zijn bestand tegen het proces van generalisatie en kunnen later worden hersteld, zelfs nadat de afbeeldingen van het web zijn gescraped en getraind in een Generatief Adversariaal Netwerk (GAN) van het type dat het meest beroemd wordt geïncarneerd door thispersondoesnotexist.com en zijn talrijke afgeleiden.

FakeTagger codeert informatie die het proces van generalisatie kan overleven bij het trainen van een GAN, waardoor het mogelijk is om te weten of een bepaalde afbeelding heeft bijgedragen aan de generatieve mogelijkheden van het systeem. Bron: https://arxiv.org/pdf/2009.09869.pdf

Voor ICCV 2021 heeft een internationale inspanning eveneens kunstmatige vingerafdrukken voor generatieve modellen ingesteld, (zie afbeelding hieronder) die opnieuw herstelbare ‘vingerafdrukken’ produceert uit de output van een beeldsynthesegenerator zoals StyleGAN2.

Zelfs onder een verscheidenheid aan extreme manipulaties, bijsnijden en gezichtsverwisseling, blijven de vingerafdrukken die via ProGAN zijn doorgegeven, herstelbaar. Bron: https://arxiv.org/pdf/2007.08457.pdf

Andere iteraties van dit concept omvatten een project uit 2018 van IBM en een digitale watermerkschema in hetzelfde jaar, uit Japan.

Nog innovatiever is een initiatief uit 2021 van de Nanjing University of Aeronautics and Astronautics, dat ernaar streefde om trainingsafbeeldingen te ‘versleutelen’ op een manier die het alleen effectief zou trainen op geautoriseerde systemen, maar zou falen bij het gebruik als brondata in een generieke beeldsynthesetrainingpijplijn.

Effectief vallen al deze methoden onder de categorie steganografie, maar in alle gevallen moet de unieke identificerende informatie in de afbeeldingen zo worden gecodeerd dat er geen kans is dat een auto-encoder of GAN-architectuur deze vingerafdrukken als ‘ruis’ of outlier en onnodige gegevens zou verwijderen, maar ze in plaats daarvan zou coderen samen met andere gezichtskenmerken.

Tegelijkertijd mag het proces de afbeelding niet zo veel verstoren of visueel beïnvloeden dat deze door casual kijkers als defect of van lage kwaliteit wordt waargenomen.

TAFIM

Nu heeft een nieuw Duits onderzoeksinitiatief (van de Technische Universiteit van München en Sony Europe RDC Stuttgart) een beeldcoderingstechniek voorgesteld waarbij deepfakemodellen of StyleGAN-achtige kaders die getraind zijn op verwerkte afbeeldingen, onbruikbare blauwe of witte output produceren.

TAFIM’s lage-niveau-beeldverstoringen richten zich op verschillende mogelijke soorten gezichtsvervorming/vervanging, waardoor modellen die op deze afbeeldingen zijn getraind, verstoorde output produceren, en wordt door de auteurs gemeld dat het zelfs toepasbaar is in real-time-scenario’s zoals DeepFaceLive’s real-time deepfake-streaming. Bron: https://arxiv.org/pdf/2112.09151.pdf

Het artikel, getiteld TAFIM: Gerichte Adversarial Attacks tegen Gezichtsbeelden, gebruikt een neurale netwerk om nauwelijks waarneembare verstoringen in afbeeldingen te coderen. Nadat de afbeeldingen zijn getraind en gegeneraliseerd in een synthesearchitectuur, zal het resulterende model voor de invoeridentiteit verkleurde output produceren als het wordt gebruikt in stijlvermenging of rechtstreekse gezichtsverwisseling.

Het opnieuw coderen van het web..?

Echter, in dit geval zijn we hier niet om de details en architectuur van de laatste versie van dit populaire concept te onderzoeken, maar om de praktische haalbaarheid van het gehele idee te overwegen – met name in het licht van de groeiende controverse over het gebruik van openbaar beschikbare afbeeldingen op het internet als een overvloedige bron voor transformatieve AI-systemen.

Proactieve, coderingsgebaseerde benaderingen van het type dat hierboven wordt beschreven, komen niet zonder kosten. Ten minste zouden ze het invoeren van nieuwe en uitgebreide compressieroutines in standaard web-gebaseerde verwerkingbibliotheken zoals ImageMagick vereisen, die een groot aantal uploadprocessen aandrijven, waaronder veel sociale media-uploadinterfaces, die zijn belast met het omzetten van te grote oorspronkelijke gebruikersafbeeldingen in geoptimaliseerde versies die geschikter zijn voor lichtgewicht delen en netwerkdistributie, en ook voor het uitvoeren van transformaties zoals bijsnijden en andere aanpassingen.

De primaire vraag die dit oproept is: zou een dergelijk schema ‘going forward’ worden geïmplementeerd, of zou een bredere en retroactieve implementatie zijn gepland, die historische media aanspreekt die mogelijk al decennialang ‘onbesmet’ beschikbaar zijn?

Platforms zoals Netflix zijn niet afkerig van de kosten van het opnieuw coderen van een back-catalogus met nieuwe codecs die efficiënter kunnen zijn, of andere voordelen kunnen bieden voor gebruikers of aanbieders; evenzo was de conversie van de historische inhoud van YouTube naar de H.264-codec, ogenschijnlijk om Apple TV te accommoderen, een logistiek monumentale taak, die niet als prohibitief moeilijk werd beschouwd, ondanks de omvang.

Ironisch genoeg, zelfs als grote delen van mediainhoud op het internet zouden worden onderworpen aan opnieuw coderen in een formaat dat training weerstaat, zouden de beperkte kader van invloedrijke computerzichtdatasets onaangetast blijven. Echter, systemen die deze als upstream-gegevens gebruiken, zouden beginnen te verminderen in kwaliteit van output, aangezien gewatermerkte inhoud de transformatieve processen van de architectuur zou verstoren.

Politieke strijd

In politieke termen is er een schijnbare spanning tussen de beslissing van regeringen om niet achter te blijven in AI-ontwikkeling en om toegevingen te doen aan openbare bezorgdheid over het ad-hocgebruik van openbaar beschikbare audio-, video- en beeldinhoud op het internet als een overvloedige bron voor transformatieve AI-systemen.

Officieel zijn westerse regeringen geneigd tot soepelheid met betrekking tot de mogelijkheid van de computerzichtonderzoekssector om gebruik te maken van openbaar beschikbare media, niet in de laatste plaats omdat sommige van de meer autoritaire Aziatische landen veel meer ruimte hebben om hun ontwikkelingswerkstromen te vormen op een manier die hun eigen onderzoeksinspanningen ten goede komt – slechts een van de factoren die suggereren dat China de wereldleider in AI wordt.

In april 2022 heeft het Amerikaanse Hof van Beroep bevestigd dat openbaar toegankelijke webgegevens een eerlijk spel zijn voor onderzoeksdoeleinden, ondanks de voortdurende protesten van LinkedIn, dat wilt dat zijn gebruikersprofielen worden beschermd tegen dergelijke processen.

Als AI-resistente beelden dus niet een systeemwijde standaard worden, is er niets dat voorkomt dat sommige van de belangrijkste bronnen van trainingsgegevens dergelijke systemen implementeren, zodat hun eigen output onproductief wordt in de latentruimte.

Het essentiële element in dergelijke bedrijfsspecifieke implementaties is dat afbeeldingen van nature resistent moeten zijn tegen training. Blockchain-gebaseerde provenance-technieken en bewegingen zoals de Content Authenticity Initiative zijn meer bezig met het aantonen dat afbeeldingen zijn vervalst of ‘styleGANned’, in plaats van het voorkomen van de mechanismen die dergelijke transformaties mogelijk maken.

Casuele inspectie

Terwijl voorstellen zijn gedaan om blockchain-methoden te gebruiken om de ware provenance en verschijning van een bronafbeelding te verifiëren die later in een trainingsdataset is opgenomen, voorkomt dit op zich niet het trainen van afbeeldingen, noch biedt het enige middel om te bewijzen, vanuit de output van dergelijke systemen, dat de afbeeldingen zijn opgenomen in de trainingsdataset.

Bij een watermerkbenadering om afbeeldingen uit te sluiten van training, zou het belangrijk zijn om niet te vertrouwen op de bronafbeeldingen van een invloedrijke dataset die openbaar beschikbaar zijn voor inspectie. Als reactie op kunstenaarsuitbarstingen over Stable Diffusion’s liberale inname van hun werk, laat de website haveibeentrained.com gebruikers toe om afbeeldingen te uploaden en te controleren of ze waarschijnlijk zijn opgenomen in de LAION5B-dataset die Stable Diffusion aandrijft:

‘Lenna’, letterlijk het postermeisje voor computerzichtonderzoek tot voor kort, is zeker een bijdrager aan Stable Diffusion. Bron: https://haveibeentrained.com/

Evenwel zijn bijna alle traditionele deepfakedatasets, bijvoorbeeld, casueel ontleend aan geëxtraheerde video en afbeeldingen op het internet, in niet-openbare databases waar alleen een soort neurale watermerken mogelijk de gebruikmaking van specifieke afbeeldingen om afgeleide afbeeldingen en video te creëren, kunnen onthullen.

Verder beginnen Stable Diffusion-gebruikers inhoud toe te voegen – hetzij door fine-tuning (het voortzetten van de training van het officiële modelcheckpoint met extra afbeelding/textparen) of Textual Inversion, die één specifiek element of persoon toevoegt – die niet zal verschijnen in enige zoekopdracht door LAION’s miljarden afbeeldingen.

Watermerken inbedden bij de bron

Een nog extremer potentieel toepassingsgebied van bronafbeeldingwatermerken is om verborgen en niet-obvious informatie in de rauwe capture-output op te nemen, video of afbeeldingen, van commerciële camera’s. Hoewel het concept in de vroege jaren 2000 werd geëxperimenteerd en zelfs met enige ijver werd geïmplementeerd als reactie op de opkomende ‘dreiging’ van multimediapiraterij, is het principe technisch toepasbaar voor het maken van mediainhoud resistent of afstotend voor machine learning-trainingsystemen.

Een implementatie, gemeld in een octrooiaanvraag uit de late jaren 90, stelde voor om Discrete Cosine Transforms te gebruiken om steganografische ‘subafbeeldingen’ in video en stilstaande afbeeldingen in te bedden, suggererend dat de routine ‘kan worden opgenomen als een ingebouwd kenmerk voor digitale opnameapparaten, zoals stilstaande en videocamera’s’.

In een octrooiaanvraag uit de late jaren 90 is Lenna voorzien van occulte watermerken die noodzakelijkerwijs kunnen worden hersteld. Bron: https://www.freepatentsonline.com/6983057.pdf

Een minder geavanceerde benadering is om duidelijk zichtbare watermerken op afbeeldingen aan te brengen op apparaatniveau – een functie die onaanlokkelijk is voor de meeste gebruikers, en overbodig is in het geval van kunstenaars en professionele mediapraktijken, die in staat zijn om de brondata te beschermen en dergelijke branding of verboden toe te voegen zoals ze dat goeddunken (niet in de laatste plaats, stockafbeeldingsbedrijven).

Hoewel ten minste één camera momenteel de optie biedt om een logo-gebaseerd watermerk op te leggen dat onbevoegd gebruik in een afgeleid AI-model zou kunnen signaleren, wordt logo-verwijdering via AI tamelijk triviaal en zelfs casual commercieel.

Publicatie op 25 september 2022.