Hvordan stoppe AI med at afbilde iPhones i fortidens epoker

Hvordan forestiller AI-billedgenereringsmodeller sig fortiden? Nyt forskning viser, at de indsætter smartphones i 1700-tallet, indsætter bærbare computere i 1930’ernes scener og placerer støvsugere i 1800-tallets hjem, hvilket rejser spørgsmål om, hvordan disse modeller forestiller sig historien – og om de overhovedet er i stand til at forestille sig historisk præcision.

Tidligt i 2024 kom Google’s Gemini multimodale AI-model under kritik for at påføre demografisk lighed i upassende sammenhænge, såsom generering af tyske soldater fra 2. verdenskrig med usandsynlig oprindelse:

Demografisk usandsynlige tyske militærpersoner, som forestillet af Google’s Gemini multimodale model i 2024. Kilde: Gemini AI/Google via The Guardian

Dette var et eksempel, hvor bestræbelserne på at rette bias i AI-modeller ikke tog hensyn til den historiske kontekst. I dette tilfælde blev problemet løst kort efter. Men diffusionsbaserede modeller er stadig tilbøjelige til at generere versioner af historien, der forvirrer moderne og historiske aspekter og artefakter.

Dette skyldes delvist entanglement, hvor egenskaber, der ofte optræder sammen i træningsdata, bliver sammenflettet i modellens output. For eksempel, hvis moderne objekter som smartphones ofte optræder sammen med handlingen “at tale” eller “at lytte” i datasættet, kan modellen lære at associerer disse handlinger med moderne enheder, selv når prompten specificerer en historisk kontekst. Når disse associationer er indlejret i modellens interne repræsentationer, bliver det svært at adskille handlingen fra dens samtidige kontekst, hvilket fører til historisk upræcise resultater.

En ny rapport fra Schweiz, der undersøger fænomenet med sammenflettede historiske generationer i latente diffusionsmodeller, observerer, at AI-rammer, der er meget kapable til at skabe fotorealistiske mennesker, alligevel foretrækker at afbilde historiske figurer på en historisk måde:

Fra den nye rapport, diverse repræsentationer via LDM af prompten ‘En fotorealistisk billed af en person, der ler med en ven i [den historiske periode]’, med hver periode angivet i hver output. Som vi kan se, er mediet for perioden blevet associeret med indholdet. Kilde: https://arxiv.org/pdf/2505.17064

For prompten ‘En fotorealistisk billed af en person, der ler med en ven i [den historiske periode]’, ignorerer en af de tre testede modeller ofte den negative prompt ‘monokrom’ og bruger i stedet farvebehandlinger, der reflekterer den visuelle medie for perioden, for eksempel ved at efterligne de dæmpede toner fra celluloidfilm fra 1950’erne og 1970’erne.

Ved at teste de tre modeller for deres evne til at skabe anakronismer (ting, der ikke er fra målperioden, eller ‘udenfor tid’ – som kan være fra målperiodens framtid såvel som dens fortid), fandt de en generel tendens til at sammenblande tidløse aktiviteter (såsom ‘at synge’ eller ‘at lave mad’) med moderne kontekster og udstyr:

Diverse aktiviteter, der er fuldstændig gyldige for tidligere århundreder, afbildes med nuværende eller mere nylig teknologi og udstyr, imod ånden i den anmodede billed.

Bemærkelsesværdigt er, at smartphones er særligt svære at adskille fra idiom for fotografi, og fra mange andre historiske kontekster, da deres udbredelse og afbildning er godt repræsenteret i indflydelsesrige hyperskala-datasæt såsom Common Crawl:

I Flux generative tekst-til-billed-model, er kommunikation og smartphones tæt associerede begreber – selv når historisk kontekst ikke tillader det.

For at bestemme omfanget af problemet og give fremtidige forskningsindsatser en vej fremad med dette bestemte problem, udviklede rapportens forfattere et særligt datasæt, som de kunne teste generative systemer imod. I et øjeblik, skal vi tage et kig på dette nye arbejde, som hedder Synthetic History: Evaluating Visual Representations of the Past in Diffusion Models, og kommer fra to forskere ved Universitetet i Zürich. Datasættet og koden er offentligt tilgængelige.

En skrøbelig ‘sandhed’

Nogle af temaerne i rapporten berører kulturelt følsomme emner, såsom underrepræsentation af racer og køn i historiske repræsentationer. Mens Gemini’s påføring af racemæssig lighed i det groft ulige Tredje Rige er en absurd og krænkende historisk revision, ville genskabelse af ‘traditionelle’ racemæssige repræsentationer (hvor diffusionsmodeller har ‘opdateret’ disse) ofte effektivt ‘gen-hvidevask’ historien.

Mange nyere store historiske shows, såsom Bridgerton, udvisker historisk demografisk præcision på måder, der sandsynligvis vil påvirke fremtidige træningsdatasæt, hvilket komplicerer bestræbelserne på at tilpasse LLM-genererede periodebilleder med traditionelle standarder. Men dette er et komplekst emne, givet den historiske tendens til (vestlig) historie at favorisere rigdom og hvidhed, og at lade så mange ‘mindre’ historier ufortalt.

Med disse komplekse og skiftende kulturelle parametre i mente, skal vi tage et kig på forskernes nye tilgang.

Metode og tests

For at teste, hvordan generative modeller fortolker historisk kontekst, skabte forfatterne HistVis, et datasæt på 30.000 billeder produceret fra hundred prompts, der afbildede almindelige menneskelige aktiviteter, hver afbildet over ti forskellige tidsperioder:

Et eksempel fra HistVis-datasættet, som forfatterne har gjort tilgængeligt på Hugging Face. Kilde: https://huggingface.co/datasets/latentcanon/HistVis

Aktiviteterne, såsom madlavning, bøn eller lytning til musik, blev valgt for deres universalitet, og formuleret på en neutral måde for at undgå at fæstne modellen i en bestemt æstetik. Tidsperioder for datasættet strækker sig fra det 17. århundrede til i dag, med fokus på fem enkeltstående årtier fra det 20. århundrede.

30.000 billeder blev genereret ved hjælp af tre bredt anvendte åbne diffusionsmodeller: Stable Diffusion XL; Stable Diffusion 3; og FLUX.1. Ved at isolere tidsperioden som den eneste variabel, skabte forskerne en struktureret basis for at evaluere, hvordan historiske koder visuelt er indkodet eller ignoreret af disse systemer.

Visuel stil dominans

Forfatterne undersøgte først, om generative modeller som standard bruger bestemte visuelle stile, når de afbilder historiske perioder; fordi det syntes, at selv når prompts ikke indeholdt nogen omtale af medium eller æstetik, ville modellerne ofte associerer bestemte århundreder med karakteristiske stile:

Forventede visuelle stile for billeder genereret fra prompten ‘En person, der danser med en anden i [den historiske periode]’ (venstre) og fra den modificerede prompt ‘En fotorealistisk billed af en person, der danser med en anden i [den historiske periode]’ med ‘monokromt billede’ sat som en negativ prompt (højre).

For at måle denne tendens, trænede forfatterne en convolutional neural network (CNN) til at klassificere hvert billede i HistVis-datasættet i en af fem kategorier: tegning; gravering; illustration; maleri; eller fotografi. Disse kategorier var tiltænkt at reflektere almindelige mønstre, der opstår over tidsperioder, og som understøtter struktureret sammenligning.

Klassificatoren var baseret på en VGG16-model, der var fortrænet på ImageNet og finjusteret med 1.500 eksempler per klasse fra et WikiArt-afledt datasæt. Da WikiArt ikke skelner mellem monokrom og farvefotografi, blev en separat farvemættighedsscore brugt til at klassificere lav-sætning-billeder som monokrome.

Den trænede klassificator blev derefter anvendt på det fulde datasæt, og resultaterne viste, at alle tre modeller påfører konsistente stilistiske standarder pr. periode: SDXL associerer 17. og 18. århundreder med graveringer, mens SD3 og FLUX.1 tenderer mod malerier. I 20. århundrede tenderer SD3 mod monokromt fotografi, mens SDXL ofte returnerer moderne illustrationer.

Disse præferencer blev fundet at persistere, selv efter prompt-justeringer, hvilket tyder på, at modellerne indkoder faste sammenhænge mellem stil og historisk kontekst.

Forventede visuelle stile for genererede billeder over historiske perioder for hver diffusionsmodel, baseret på 1.000 eksempler pr. periode pr. model.

For at kvantificere, hvor stærkt en model kobler en historisk periode til en bestemt visuel stil, udviklede forfatterne en metode, som de kaldte Visuel Stil Dominans (VSD). For hver model og tidsperiode er VSD defineret som proportionen af outputs, der er forventet til at dele den mest almindelige stil:

Eksempler på stilistiske fordomme over modellerne.

En højere score indikerer, at en enkelt stil dominerer output for den periode, mens en lavere score peger på større variation. Dette gør det muligt at sammenligne, hvordan hver model holder fast i bestemte stilistiske konventioner over tid.

Applikation af den fulde HistVis-datasæt afslørede VSD-metrikken forskellige niveauer af konvergens, hvilket hjalp med at klargøre, hvor stærkt hver model indsnævrer sin visuelle fortolkning af fortiden:

Resultattabellen ovenfor viser VSD-scores over historiske perioder for hver model. I 17. og 18. århundreder tenderer SDXL til at producere graveringer med høj konsistens, mens SD3 og FLUX.1 favoriserer maleri. I 20. og 21. århundreder skifter SD3 og FLUX.1 til fotografi, mens SDXL viser mere variation, men ofte returnerer illustration.

Alle tre modeller viser en stærk præference for monokromt billedmateriale i tidlige årtier i 20. århundrede, især 1910’erne, 1930’erne og 1950’erne.

For at teste, om disse mønstre kunne mildnes, anvendte forfatterne prompt-engineering, hvor de udtrykkeligt anmodede om fotorealisme og diskuragerede monokromt output ved hjælp af en negativ prompt. I nogle tilfælde faldt dominans-scores, og den førende stil skiftede, for eksempel fra monokromt til maleri, i 17. og 18. århundreder.

Men disse interventioner producerede sjældent ægte fotorealistiske billeder, hvilket tyder på, at modellernes stilistiske standarder er dybt indlejret.

Historisk konsistens

Den næste linje af analyse så på historisk konsistens: om genererede billeder indeholdt objekter, der ikke passede til tidsperioden. I stedet for at bruge en fast liste over forbudte objekter udviklede forfatterne en fleksibel metode, der udnyttede store sprogmodeller (LLM’er) og vision-sprog-modeller (VLM’er) til at identificere elementer, der syntes at være forkerte, baseret på den historiske kontekst.

Detectionsmetoden fulgte samme format som HistVis-datasættet, hvor hver prompt kombinerede en historisk periode med en menneskelig aktivitet. For hver prompt genererede GPT-4o en liste over objekter, der ville være forkerte i den angivne tidsperiode; og for hvert foreslået objekt producerede GPT-4o et ja-eller-nej-spørgsmål, der var designet til at kontrollere, om det objekt optrådte i det genererede billede.

For eksempel, givet prompten ‘En person, der lytter til musik i 18. århundrede’, kunne GPT-4o identificere moderne lydenheder som historisk upræcise, og producere spørgsmålet Bruger personen hovedtelefoner eller en smartphone, der ikke eksisterede i 18. århundrede?.

Disse spørgsmål blev returneret til GPT-4o i en visuel spørgsmål-svar-opstilling, hvor modellen gennemgik billedet og returnerede et ja eller nej svar for hvert. Denne pipeline muliggjorde detektion af historisk uforklarlige indhold uden at afhænge af en foruddefineret taksonomi over moderne objekter:

Eksempler på genererede billeder, der er markeret af den to-trins detectionsmetode, viser anakronistiske elementer: hovedtelefoner i 18. århundrede; en støvsuger i 19. århundrede; en bærbar computer i 1930’erne; og en smartphone i 1950’erne.

For at måle, hvor ofte anakronismer optrådte i de genererede billeder, introducerede forfatterne en simpel metode til at score frekvens og alvorlighed. Først tog de højde for mindre ordvalgsforskelle i, hvordan GPT-4o beskrev det samme objekt.

For eksempel blev moderne lydenhed og digital lydenhed behandlet som ækvivalente. For at undgå dobbelttælling blev et fuzzy-matching-system brugt til at gruppere disse overfladiske variationer uden at påvirke ægte forskellige begreber.

Når alle foreslåede anakronismer var normaliseret, blev to metrikker beregnet: frekvens målte, hvor ofte et givent objekt optrådte i billeder for en specifik tidsperiode og model; og alvorlighed målte, hvor pålideligt det objekt optrådte, når det først var blevet foreslået af modellen.

Hvis en moderne telefon blev markeret ti gange og optrådte i ti genererede billeder, fik den en alvorlighedsscore på 1,0. Hvis den kun optrådte i fem, var alvorlighedsscoren 0,5. Disse scores hjalp med at identificere ikke kun, om anakronismer optrådte, men også, hvor fast de var indlejret i modellens output for hver periode:

De femten mest almindelige anakronistiske elementer for hver model, plotteret efter frekvens på x-aksen og alvorlighed på y-aksen. Cirkler markerer elementer, der er rangeret i top 15 efter frekvens, trekanter efter alvorlighed, og diamanter efter begge.

Ovenfor ser vi de femten mest almindelige anakronismer for hver model, rangeret efter, hvor ofte de optrådte, og hvor konsekvent de matchede prompts.

Tøj var hyppigt, men spredt, mens objekter som lydenheder og strygeudstyr optrådte mindre ofte, men med høj konsekvens – mønstre, der antyder, at modellerne ofte reagerer mere på aktiviteten i prompten end på tidsperioden.

SD3 viste den højeste rate af anakronismer, især i 19. århundrede og 1930’ernes billeder, efterfulgt af FLUX.1 og SDXL.

For at teste, hvor godt detectionsmetoden matchede menneskelig vurdering, gennemførte forfatterne en brugerundersøgelse, der omfattede 1.800 tilfældigt udvalgte billeder fra SD3 (modellen med den højeste anakronismehyppighed), hvor hvert billede blev vurderet af tre crowd-arbejdere. Efter filtrering for pålidelige svar blev 2.040 vurderinger fra 234 brugere inkluderet, og metoden var enig med flertalsafstemningen i 72 procent af tilfældene.

GUI for den menneskelige vurderingsstudie, der viser opgaveinstruktioner, eksempler på præcise og anakronistiske billeder, og ja-nej-spørgsmål til identifikation af temporale inkonsistenser i genererede outputs.

Demografisk

Den sidste analyse så på, hvordan modellerne afbildede race og køn over tid. Ved hjælp af HistVis-datasættet sammenlignede forfatterne modellens output med baseline-estimater genereret af en sprogmodel. Disse estimater var ikke præcise, men gav en omtrentlig fornemmelse af historisk plausibilitet, hvilket hjalp med at afsløre, om modellerne tilpassede afbildninger til den ønskede periode.

For at evaluere disse afbildninger i stor skala byggede forfatterne en pipeline, der sammenlignede modellens demografiske output med omtrentlige forventninger for hver tid og aktivitet. De brugte først FairFace-klassificatoren, en ResNet34-baseret værktøj, der var trænet på over 100.000 billeder, til at detektere køn og race i de genererede output, hvilket muliggjorde måling af, hvor ofte ansigter i hver scene blev klassificeret som mand eller kvinde, og for at spore racemæssige kategorier over perioder.

Eksempler på genererede billeder, der viser demografisk overrepræsentation over forskellige modeller, tidsperioder og aktiviteter.

Lav-konfidens-resultater blev filtreret ud for at reducere støj, og forudsigelser blev gennemsnittet over alle billeder, der var knyttet til en specifik tid og aktivitet. For at kontrollere FairFace-læsningernes pålidelighed blev et andet system baseret på DeepFace anvendt på en stikprøve af 5.000 billeder. De to klassificatorer viste stærk enighed, hvilket understøttede konsistensen af de demografiske læsninger, der blev brugt i studiet.

For at sammenligne modellens output med historisk plausibilitet bad forfatterne GPT-4o om at estimere den forventede køn- og racefordeling for hver aktivitet og tidsperiode. Disse estimater fungerede som omtrentlige baseline-værdier snarere end sandheds-værdier. To metrikker blev derefter brugt: underrepræsentation og overrepræsentation, der målte, hvor meget modellens output afveg fra LLM’ernes forventninger.

Resultaterne viste tydelige mønstre: FLUX.1 overrepræsenterede ofte mænd, selv i scenarier som madlavning, hvor kvinder var forventet; SD3 og SDXL viste lignende tendenser over kategorier som arbejde, uddannelse og religion; hvide ansigter optrådte mere end forventet generelt, selv om denne bias faldt i senere perioder; og visse kategorier viste uventede stigninger i ikke-hvide repræsentationer, hvilket antyder, at modellens adfærd kan reflektere datasætskorrelationer snarere end historisk kontekst:

Køn og racemæssig overrepræsentation og underrepræsentation i FLUX.1-outputs over århundreder og aktiviteter, vist som absolutte forskelle fra GPT-4o-demografiske estimater.

Forfatterne konkluderer:

‘Vores analyse viser, at [Tekst-til-billede/TTI]-modeller afhænger af begrænsede stilistiske kodninger snarere end nuancerede forståelser af historiske perioder. Hver æra er stærkt knyttet til en bestemt visuel stil, hvilket resulterer i en-dimensionelle portrætter af historien.

‘Bemærkelsesværdigt er, at fotorealistiske afbildninger af mennesker kun optræder fra det 20. århundrede og frem, med kun få undtagelser i FLUX.1 og SD3, hvilket antyder, at modellerne forstærker lænte associationer snarere end tilpasse sig fleksibelt til historiske kontekster, og fastholder forestillingen om, at realisme er en moderne egenskab.

‘Desuden antyder hyppige anakronismer, at historiske perioder ikke er renligt adskilt i de latente rum af disse modeller, da moderne artefakter ofte optræder i før-moderne sammenhænge, hvilket undergraver tilliden til TTI-systemer i uddannelses- og kulturarvssammenhænge.’

Konklusion

Under træningen af en diffusionsmodel sætter nye begreber sig ikke nøjagtigt i foruddefinerede huller i det latente rum. I stedet danner de kluster, der er formet af, hvor ofte de optræder, og af deres nærhed til relaterede ideer. Resultatet er en løst organiseret struktur, hvor begreber eksisterer i forhold til deres frekvens og typisk kontekst, snarere end ved en ren eller empirisk adskillelse.

Dette gør det svært at isolere, hvad der tæller som ‘historisk’ i et stort, generelt datasæt. Som fundene i den nye rapport antyder, er mange tidsperioder mere repræsenteret af udseendet på mediet, der bruges til at afbilde dem, end af nogen dybere historisk detalje.

Dette er en af årsagerne til, at det stadig er svært at generere et fotorealistisk billede af en person fra (for eksempel) det 19. århundrede; i de fleste tilfælde vil modellen afhænge af visuelle klicheer fra film og tv. Når disse klicheer ikke matcher anmodningen, er der lidt andet i datasættet, der kan kompensere. At brokke denne kløft vil sandsynligvis afhænge af fremtidige forbedringer i at adskille overlappende begreber.

Først udgivet mandag, den 26. maj 2025