Den flyktige definisjonen av ‘Deepfake’

En overbevisende ny studie fra Tyskland kritiserte EU AI-aktens definisjon av begrepet ‘deepfake’ som for vag, særlig i sammenheng med digital bildebehandling. Forfatterne argumenterer for at aktens fokus på innhold som ligner virkelige personer eller hendelser – men potensielt kan se falske ut – mangler klart definisjon.

De fremhever også at aktens unntak for ‘standard redigering’ (dvs. angivelig mindre AI-basert modifikasjon av bilder) ikke tar hensyn til både den omfattende innflytelsen av AI i forbrukerapplikasjoner og den subjektive naturen til kunstneriske konvensjoner som forutgår AI.

Upresis lovgivning på disse områdene gir opphav til to nøkkelrisikoer: en ‘kjøleffekt’, der lovens brede tolkningsområde hemmer innovasjon og innføring av nye systemer; og en ‘scofflaw-effekt’, der loven blir ignorert som overrekkende eller irrelevant.

I begge tilfeller, vag lovgivning overfører effektivt ansvaret for å etablere praktiske juridiske definisjoner til fremtidige rettsavgjørelser – en forsiktig og risikofylt tilnærming til lovgivning.

AI-basert bildebehandlings-teknologi er fremdeles bemerkelsesverdig foran lovgivningens evne til å håndtere dem, det ser ut til. For eksempel er et bemerkelsesverdig eksempel på den voksende elastisiteten til konseptet om AI-drevet ‘automatisk’ etterbehandling, ifølge papiret, funksjonen ‘Scene Optimizer’ i nyere Samsung-kameraer, som kan erstatte brukertatt bilder av månen (et utfordrende motiv), med et AI-drevet, ‘forbedret’ bilde:

Øverst til venstre, et eksempel fra den nye studien av et ekte brukertatt bilde av månen, til venstre for en Samsung-forbedret versjon som er automatisk skapt med Scene Optimizer; Høyre, Samsungs offisielle illustrasjon av prosessen bak dette; nederst til venstre, eksempler fra Reddit-brukeren u/ibreakphotos, som viser (til venstre) et bevisst uskarpt bilde av månen og (til høyre), Samsungs gjenoppbygging av dette bildet – selv om kildebildet var et bilde av en skjerm, og ikke den virkelige månen. Kilder (med uret fra topp til venstre): https://arxiv.org/pdf/2412.09961; https://www.samsung.com/uk/support/mobile-devices/how-galaxy-cameras-combine-super-resolution-technologies-with-ai-to-produce-high-quality-images-of-the-moon/; https://reddit.com/r/Android/comments/11nzrb0/samsung_space_zoom_moon_shots_are_fake_and_here/

I den nederste venstre delen av bildet ovenfor, ser vi to bilder av månen. Det til venstre er et bilde tatt av en Reddit-bruker. Her er bildet blitt bevisst uskarpt og nedskalert av brukeren.

Til høyre ser vi et bilde av det samme degraderte bildet tatt med et Samsung-kamera med AI-drevet etterbehandling aktivert. Kameraet har automatisk ‘forbedret’ det gjenkjente ‘måne’-objektet, selv om det ikke var den virkelige månen.

Papiret retter dyper kritikk mot Best Take-funksjonen i Googles nyere smarttelefoner – en kontroversiell AI-funksjon som redigerer sammen de ‘beste’ delene av en gruppefoto, scannende flere sekunder av en fotosekvens så at smil flyttes frem eller tilbake i tid som nødvendig – og ingen blir vist i midten av å blinke.

Papiret hevder at denne type komposisjonsprosess har potensialet til å misrepresentere hendelser:

‘[I] en typisk gruppefoto-situasjon, ville en gjennomsnittlig seer sannsynligvis fortsatt betrakte det resulterende bildet som ekte. Smilet som er satt inn eksisterte innenfor noen sekunder fra det resterende bildet ble tatt.

‘På den andre siden, er ti sekunders tidsramme for Best Take-funksjonen tilstrekkelig for en humørforandring. En person kan ha sluttet å smile mens resten av gruppen ler om en vits på deres bekostning.

‘Som en konsekvens, antar vi at en slik gruppefoto kan meget vel utgjøre en deep fake.’

Den nye studien har tittelen Hva utgjør en Deep Fake? Den uklare linjen mellom legitim prosessering og manipulering under EU AI-akt, og kommer fra to forskere ved Computational Law Lab ved Universitetet i Tübingen, og Saarland Universitet.

Gamle triks

Manipulering av tid i fotografering er langt eldre enn forbruker-nivå AI. Forfatterne av den nye studien noterer eksistensen av mye eldre teknikker som kan argumenteres som ‘uautentiske’, som sammenføyning av flere sekvensielle bilder til et High Dynamic Range (HDR)-bilde, eller et ‘sydd’ panoramabilde.

Ja, noen av de eldste og morsomste fotografiske falsknerier ble tradisjonelt skapt av skolebarn som løp fra den ene enden av en skolegruppe til den andre, foran banen til de spesielle panoramakameraene som en gang ble brukt til sports- og skolegruppefotografering – noe som gjorde det mulig for eleven å dukke opp to ganger i samme bilde:

Fristelsen til å lure panoramakameraer under gruppefotografering var for stor for mange studenter, som var villige til å risikere en dårlig sesjon i rektors kontor for å ‘klone’ seg selv i skolefotografer. Kilde: https://petapixel.com/2012/12/13/double-exposure-a-clever-photo-prank-from-half-a-century-ago/

Med mindre du tar et bilde i RAW-modus, som grunnleggende dumpes kameraobjektivets sensor til en svært stor fil uten noen form for tolkning, er det sannsynlig at dine digitale bilder ikke er fullstendig autentiske. Kamera-systemer anvender rutinemessig ‘forbedrings’-algoritmer som bilde-skjerping og hvit-balans, som standard – og har gjort det siden opphavet til forbruker-nivå digital fotografering.

Forfatterne av den nye studien argumenterer for at selv disse eldre typene digitale bildeforbedring ikke representerer ‘realitet’, siden slike metoder er designet for å gjøre bilder mer tiltalende, ikke mer ‘ekte’.

Studien foreslår at EU AI-akt, selv med senere endringer som recitals 123–27, plasserer all fotografisk utgang i et bevisst rammeverk som ikke er egnet til konteksten hvor bilder produseres i dag, i motsetning til den (nominelt objektive) naturen til sikkerhetskamera-fotografering eller rettsmedisinsk fotografering. De fleste bilder som omfattes av AI-akt er mer sannsynlig å opphav fra kontekster hvor produsenter og nettverksplattformer aktivt fremmer kreative foto-tolkning, inkludert bruk av AI.

Forskerne foreslår at bilder ‘har aldri vært en objektiv fremstilling av virkeligheten’. Overveielser som kameraets plassering, dybdevalg og lysvalg, bidrar alle til å gjøre et fotografi dypt subjektivt.

Papiret observerer at rutinemessige ‘opprensknings’-oppgaver – som fjerning av sensordusk eller uønskede kraftledninger fra en ellers velkomponert scene – bare var semi-automatiserte før AI-tiden: brukerne måtte manuelt velge en region eller initiere en prosess for å oppnå ønsket resultat.

I dag er disse operasjonene ofte utløst av en brukers tekst-prompt, særlig i verktøy som Photoshop. På forbruker-nivå er slike funksjoner stadig mer automatiserte uten bruker-inngrep – et resultat som åpenbart regnes som ‘åpenbart ønskelig’ av produsenter og plattformer.

Den utydelige betydningen av ‘Deepfake’

En sentral utfordring for lovgivning rundt AI-endret og AI-generert bilde er den tvetydige betydningen av begrepet ‘deepfake’, som har hatt sin betydning betydelig utvidet de siste to årene.

Opprinnelig ble begrepene bare brukt på video-utgang fra autoencoder-baserte systemer som DeepFaceLab og FaceSwap, begge avledet fra anonym kode postet på Reddit i slutten av 2017.

Fra 2022, kom Latent Diffusion Models (LDMs) som Stable Diffusion og Flux, samt tekst-til-video-systemer som Sora, som også tillot identitet-utveksling og tilpasning, med forbedret oppløsning, fleksibilitet og trofasthet. Nå var det mulig å skape diffusjons-baserte modeller som kunne avbilde kjendiser og politikere. Siden begrepet ‘deepfake’ allerede var en overskrift-gjennomtrengende skatt for mediaprodusenter, ble det utvidet til å dekke disse systemene.

Senere, både i media og i forskningslitteraturen, ble begrepet også inkludert tekst-basert personliggjøring. På dette tidspunktet var den opprinnelige betydningen av ‘deepfake’ nesten tapt, mens den utvidede betydningen var stadig i utvikling og stadig mer utydelig.

Men siden ordet var så brennende og galvaniserende, og nå var et kraftig politisk og medie-landemerke, viste det seg umulig å gi det opp. Det tiltalte lesere til nettsider, midler til forskere og oppmerksomhet til politikere. Denne leksikalske tvetydigheten er hovedfokus for den nye forskningen.

Som forfatterne observerer, omfatter artikkel 3(60) i EU AI-akt fire betingelser som definerer en ‘deepfake’.

1: Ekte Måne

Først og fremst må innholdet være generert eller manipulert, dvs. enten skapt fra scratch med AI (generering) eller endret fra eksisterende data (manipulering). Papiret fremhever vanskeligheten med å skille mellom ‘akseptable’ bilde-redigeringsresultater og manipulative deepfakes, gitt at digitale bilder i alle fall aldri er sanne representasjoner av virkeligheten.

Papiret hevder at en Samsung-generert måne er åpenbart ekte, siden månen er usannsynlig å endre utseende, og siden AI-generert innhold, trent på ekte månebilder, derfor sannsynligvis er nøyaktig.

Men forfatterne påpeker også at siden Samsung-systemet har vist seg å generere et ‘forbedret’ bilde av månen i et tilfelle hvor kildebildet ikke var månen selv, ville dette være betraktet som en ‘deepfake’.

Det ville være upraktisk å lage en omfattende liste over ulike bruksområder rundt denne type ad hoc-funksjonalitet. Derfor synes det at ansvaret for definisjon igjen overføres til domstolene.

2: Tekstfakes

For det andre må innholdet være i form av bilde, lyd eller video. Tekst-innhold, selv om det er underlagt andre transparens-forpliktelser, regnes ikke som en deepfake under AI-akt. Dette dekkes ikke i detalj i den nye studien, selv om det kan ha en merkbar innvirkning på effektiviteten til visuelle deepfakes (se nedenfor).

3: Virkelige Verdensproblemer

For det tredje må innholdet ligne eksisterende personer, objekter, steder, enheter eller hendelser. Denne betingelsen etablerer en tilknytning til den virkelige verden, noe som betyr at ren fiktivt bilde, selv om det er fotorealistisk, ikke kvalifiserer som en deepfake. Recital 134 i EU AI-akt understreker ‘lignende’-aspektet ved å legge til ordet ‘appreciably’ (en åpenbar henvisning til senere juridiske avgjørelser).

Forfatterne, som sitater tidligere arbeid, overveier om et AI-generert ansikt må tilhøre en virkelig person, eller om det bare må være tilstrekkelig liknende en virkelig person, for å oppfylle denne definisjonen.

For eksempel, hvordan kan en bestemme om en sekvens av fotorealistiske bilder som avbilder politikeren Donald Trump har intensjonen å personliggjøre, hvis bildene (eller vedlagte tekster) ikke spesifikt nevner ham? Ansiktsgjenkjenning? Brukersundersøkelser? En dommers definisjon av ‘sunn fornuft’?

Ved å returnere til ‘Tekstfakes’-problemet (se ovenfor), utgjør ord ofte en betydelig del av handlingen til en visuell deepfake. For eksempel er det mulig å ta et (uendret) bilde eller video av ‘person a’, og si, i en undertekst eller en sosial medie-post, at bildet er av ‘person b’ (antagelig de to personene ligner hverandre).

I et slikt tilfelle trengs ingen AI, og resultatet kan være slående effektivt – men utgjør en slik lavteknologisk tilnærming også en ‘deepfake’?

4: Retusj, Ombygging

Til slutt må innholdet se ekte eller sannferdig ut for en person. Denne betingelsen understreker persepsjonen av menneskelige seere. Innhold som bare blir gjenkjent som representasjon av en virkelig person eller objekt av en algoritme, ville ikke bli betraktet som en deepfake.

Av alle betingelsene i 3(60), er denne den som mest åpenbart henviser til senere domstolsavgjørelser, da den ikke tillater noen tolkning via tekniske eller mekaniserte midler.

Det er åpenbart noen innebygde vanskeligheter med å nå enighet om en så subjektiv bestemmelse. Forfatterne påpeker for eksempel at forskjellige mennesker, og forskjellige typer mennesker (slik som barn og voksne), kan være forskjellige tilbøyelige til å tro på en bestemt deepfake.

Forfatterne påpeker videre at de avanserte AI-egenskapene til verktøy som Photoshop utfordrer tradisjonelle definisjoner av ‘deepfake.’ Mens disse systemene kan inkludere grunnleggende sikkerhetstiltak mot kontroversielt eller forbudt innhold, utvider de dramatisk konseptet ‘retusjering.’ Brukere kan nå legge til eller fjerne objekter på en overbevisende, fotorealistisk måte, og oppnå et profesjonelt nivå av ekthet som omdefinerer grensene for bildebehandling.

Forfatterne hevder:

‘Vi argumenterer for at den nåværende definisjonen av deep fakes i AI-akt og de tilhørende forpliktelser ikke er tilstrekkelig spesifisert for å håndtere utfordringene som deep fakes stiller. Ved å analysere livssyklusen til et digitalt bilde fra kamera-sensoren til digitale redigeringsfunksjoner, finner vi at:’

‘(1.) Deep fakes er dårlig definert i EU AI-akt. Definisjonen lar for mye rom for hva en deep fake er.’

‘(2.) Det er uklart hvordan redigeringsfunksjoner som Googles “best take”-funksjon kan regnes som unntak fra transparens-forpliktelser.’

‘(3.) Unntaket for vesentlig redigerte bilder reiser spørsmål om hva som utgjør vesentlig redigering av innhold og om denne redigeringen må være merkbart for en menneskelig person.’

Unntak

EU AI-akt inneholder unntak som, ifølge forfatterne, kan være svært tillatende. Artikkel 50(2), hevder de, tilbyr et unntak i tilfeller hvor majoriteten av et originalt kildebilde ikke er endret. Forfatterne påpeker:

‘Hva kan regnes som innhold i forstand til artikkel 50(2) i tilfeller av digital lyd, bilder og videoer? For eksempel, i tilfelle av bilder, må vi overveie piksel-rommet eller det synlige rommet som er merkbart for mennesker? Vesentlige manipulasjoner i piksel-rommet kan ikke endre menneskelig persepsjon, og på den andre siden kan små forstyrrelser i piksel-rommet endre persepsjonen dramatisk.’

Forskerne gir eksempelet på å legge til en håndvåpen til bildet av en person som peker på noen. Ved å legge til våpenet, endrer man bare 5% av bildet; likevel er den semantiske betydningen av den endrede delen betydelig. Derfor ser det ut til at dette unntaket ikke tar hensyn til noen ‘sunn fornuft’-forståelse av virkningen en liten detalj kan ha på den overordnede betydningen av et bilde.

Artikkel 50(2) tillater også unntak for en ‘assistiv funksjon for standard redigering’. Siden akten ikke definerer hva ‘standard redigering’ betyr, ser det ut til at selv post-prosessering-funksjoner som Googles Best Take ville være beskyttet av dette unntaket, ifølge forfatterne.

Konklusjon

Den uttalte intensjonen med det nye arbeidet er å fremme tverrfaglig studie rundt regulering av deepfakes, og å fungere som et utgangspunkt for nye dialoger mellom datavitenskapsmenn og jurister.

Likevel, papiret selv lider under tautologi på flere punkter: det bruker ofte begrepet ‘deepfake’ som om dens betydning var selvinnlysende, samtidig som det kritiserte EU AI-akt for ikke å definere hva som faktisk utgjør en deepfake.

Forfatterne konkluderer med at det er nødvendig å etablere en mer presis og konsistent definisjon av deepfakes for å kunne håndtere de utfordringer som disse teknologiene stiller.