Hoe stop je AI om iPhones af te beelden in bijgone tijden

Hoe beelden AI-afbeeldingsgeneratoren de geschiedenis af? Nieuw onderzoek toont aan dat ze smartphones in de 18e eeuw droppen, laptops in scènes uit de jaren 30 van de 20e eeuw plaatsen en stofzuigers in 19e-eeuwse huizen, waardoor vragen rijzen over hoe deze modellen de geschiedenis voorstellen – en of ze in staat zijn tot contextuele historische nauwkeurigheid.

Vroeg in 2024 kwam de beeldgeneratiecapaciteit van Google’s Gemini multimodale AI-model onder vuur te liggen vanwege het opleggen van demografische eerlijkheid in ongepaste contexten, zoals het genereren van Duitse soldaten uit de Tweede Wereldoorlog met onwaarschijnlijke herkomst:

Demografisch onwaarschijnlijke Duitse militairen, zoals voorgesteld door Google’s Gemini multimodale model in 2024. Bron: Gemini AI/Google via The Guardian

Dit was een voorbeeld waarin pogingen om vooroordeel in AI-modellen te corrigeren, geen rekening hielden met de historische context. In dit geval werd het probleem kort daarna opgelost. Echter, diffusiegebaseerde modellen blijven vatbaar voor het genereren van versies van de geschiedenis die moderne en historische aspecten en artefacten door elkaar halen.

Dit komt deels door entanglement, waarbij eigenschappen die vaak samen voorkomen in de trainingsdata, in de output van het model samengevoegd worden. Als moderne objecten zoals smartphones vaak samen voorkomen met het actief luisteren of praten in de dataset, kan het model leren om deze activiteiten te associëren met moderne apparaten, zelfs als de prompt een historische setting specificeert. Zodra deze associaties in de interne representaties van het model zijn ingebed, wordt het moeilijk om de activiteit te scheiden van de hedendaagse context, wat leidt tot historisch onnauwkeurige resultaten.

Een nieuw onderzoek uit Zwitserland, dat het fenomeen van verstrengelde historische generaties in latent diffusiemodellen onderzoekt, stelt vast dat AI-kaders die zeer goed in staat zijn om fotorealistische mensen te creëren niettemin de voorkeur geven aan het afbeelden van historische figuren op historische wijze:

Uit het nieuwe onderzoek, diverse representaties via LDM van de prompt ‘Een fotorealistische afbeelding van een persoon die lacht met een vriend in [de historische periode]’, met elke periode aangegeven in elke output. Zoals we kunnen zien, is het medium van de tijdperk geassocieerd met de inhoud. Bron: https://arxiv.org/pdf/2505.17064

Voor de prompt ‘Een fotorealistische afbeelding van een persoon die lacht met een vriend in [de historische periode]’, negeert een van de drie geteste modellen vaak de negatieve prompt ‘monochrome’ en gebruikt in plaats daarvan kleurbehandelingen die de visuele media van de gespecificeerde tijdperk weerspiegelen, bijvoorbeeld door de gedempte tonen van celluloidfilm uit de jaren 50 en 70 na te bootsen.

Bij het testen van de drie modellen op hun vermogen om anachronismen (dingen die niet van de doelperiode zijn, of ‘uit de tijd’ – die kunnen zijn uit de toekomst of het verleden van de doelperiode) te creëren, vonden ze een algemene neiging om tijdloze activiteiten (zoals ‘zingen’ of ‘koken’) te combineren met moderne contexten en apparatuur:

Diverse activiteiten die perfect geldig zijn voor eerdere eeuwen, worden afgebeeld met hedendaagse of recentere technologie en parafernalia, tegen de geest van de gevraagde beelden.

Van belang is dat smartphones bijzonder moeilijk te scheiden zijn van de idioom van de fotografie, en van veel andere historische contexten, aangezien hun verspreiding en afbeelding goed vertegenwoordigd is in invloedrijke hyperschaal datasets zoals Common Crawl:

In het Flux generatieve tekst-naar-afbeelding model, zijn communicatie en smartphones nauw geassocieerde concepten – zelfs als de historische context dit niet toestaat.

Om de omvang van het probleem te bepalen en om toekomstig onderzoek een manier te geven om deze specifieke fout aan te pakken, ontwikkelden de auteurs van het nieuwe onderzoek een aangepaste dataset om generatieve systemen te testen. We zullen straks naar dit nieuwe onderzoek kijken, dat getiteld is Synthetic History: Evaluating Visual Representations of the Past in Diffusion Models, en afkomstig is van twee onderzoekers aan de Universiteit van Zürich. De dataset en code zijn openbaar beschikbaar.

Een kwetsbare ‘waarheid’

Sommige thema’s in het onderzoek raken aan cultureel gevoelige kwesties, zoals de ondervertegenwoordiging van rassen en geslacht in historische voorstellingen. Terwijl Gemini’s oplegging van raciale gelijkheid in het sterk ongelijke Derde Rijk een absurde en beledigende historische revisie is, zou het herstellen van ‘traditionele’ raciale voorstellingen (waar diffusiemodellen ‘geüpdatet’ hebben) vaak effectief ‘witwassen’ van de geschiedenis betekenen.

Veel recente historische shows, zoals Bridgerton, vertroebelen historische demografische nauwkeurigheid op manieren die waarschijnlijk toekomstige trainingsdatasets zullen beïnvloeden, waardoor het moeilijker wordt om LLM-gegenereerde periodebeelden aan te passen aan traditionele standaarden. Echter, dit is een complex onderwerp, gezien de historische neiging van (westerse) geschiedenis om de voorkeur te geven aan rijkdom en blankheid, en om zoveel ‘minder’ verhalen onverteld te laten.

Bij het in gedachten houden van deze moeilijke en steeds veranderende culturele parameters, laten we eens kijken naar de nieuwe benadering van de onderzoekers.

Methode en tests

Om te testen hoe generatieve modellen historische context interpreteren, creëerden de auteurs HistVis, een dataset van 30.000 afbeeldingen gegenereerd uit honderd prompts die gewone menselijke activiteiten afbeelden, elk weergegeven in tien verschillende tijdperken:

Een voorbeeld uit de HistVis-dataset, die de auteurs beschikbaar hebben gesteld op Hugging Face. Bron: https://huggingface.co/datasets/latentcanon/HistVis

De activiteiten, zoals koken, bidden of luisteren naar muziek, werden gekozen vanwege hun universaliteit, en geformuleerd in een neutrale vorm om te voorkomen dat het model in een bepaalde esthetiek werd verankerd. De tijdperken voor de dataset variëren van de zeventiende eeuw tot de huidige dag, met extra aandacht voor vijf individuele decennia uit de twintigste eeuw.

30.000 afbeeldingen werden gegenereerd met behulp van drie breed gebruikte open-source diffusiemodellen: Stable Diffusion XL; Stable Diffusion 3; en FLUX.1. Door de tijdperk te isoleren als de enige variabele, creëerden de onderzoekers een gestructureerde basis voor het evalueren van hoe historische cues visueel worden gecodeerd of genegeerd door deze systemen.

Visuele stijl dominantie

De auteur onderzocht aanvankelijk of generatieve modellen standaard visuele stijlen gebruiken bij het afbeelden van historische perioden; omdat het leek dat zelfs als prompts geen melding maakten van medium of esthetiek, de modellen vaak bepaalde eeuwen associeerden met karakteristieke stijlen:

Voorspelde visuele stijlen voor afbeeldingen gegenereerd uit de prompt ‘Een persoon die danst met een ander in de [historische periode]’ (links) en uit de gewijzigde prompt ‘Een fotorealistische afbeelding van een persoon die danst met een ander in de [historische periode]’ met ‘monochrome afbeelding’ ingesteld als negatieve prompt (rechts).

Om deze neiging te meten, trainden de auteurs een convolutional neural network (CNN) om elke afbeelding in de HistVis-dataset te classificeren in een van de vijf categorieën: tekening; gravure; illustratie; schilderij; of fotografie. Deze categorieën waren bedoeld om gemeenschappelijke patronen te weerspiegelen die opkomen over tijdperken heen, en die gestructureerde vergelijkingen ondersteunen.

De classifier was gebaseerd op een VGG16 model dat was voorgetraind op ImageNet en fijn afgesteld met 1.500 voorbeelden per klasse uit een WikiArt-afgeleide dataset. Aangezien WikiArt geen onderscheid maakt tussen monochrome en kleurenfotografie, werd een aparte kleurrijkheidsscore gebruikt om afbeeldingen met lage verzadiging te labelen als monochrome.

De getrainde classifier werd vervolgens toegepast op de volledige dataset, met resultaten die aantoonden dat alle drie de modellen consistent stylistische standaarden opleggen per periode: SDXL associeert de 17e en 18e eeuw met gravures, terwijl SD3 en FLUX.1 de voorkeur geven aan schilderijen. In de 20e-eeuwse decennia heeft SD3 de voorkeur voor monochrome fotografie, terwijl SDXL vaak moderne illustraties teruggeeft.

Deze voorkeuren bleken te persistent te zijn, zelfs bij aanpassingen van de prompts, wat suggereert dat de modellen diepe associaties tussen stijl en historische context hebben ingebed.

Voorspelde visuele stijlen van gegenereerde afbeeldingen over historische perioden voor elk diffusiemodel, gebaseerd op 1.000 samples per periode per model.

Om te kwantificeren hoe sterk een model een historische periode koppelt aan een bepaalde visuele stijl, ontwikkelden de auteurs een meting die ze Visuele Stijl Dominantie (VSD) noemden. Voor elk model en tijdperk wordt VSD gedefinieerd als het percentage outputs dat de meest voorkomende stijl deelt:

Voorbeelden van stylistische voorkeuren over de modellen.

Een hogere score geeft aan dat een enkele stijl de outputs voor die periode domineert, terwijl een lagere score wijst op grotere variatie. Dit maakt het mogelijk om te vergelijken hoe sterk elk model zich houdt aan specifieke stylistische conventies over de tijd.

Toegepast op de volledige HistVis-dataset, onthult de VSD-meting verschillende niveaus van convergentie, waardoor duidelijker wordt hoe sterk elk model zijn visuele interpretatie van het verleden verengt:

De resultaatentabel hierboven toont VSD-scores over historische perioden voor elk model. In de 17e en 18e eeuw heeft SDXL de neiging om gravures te produceren met hoge consistentie, terwijl SD3 en FLUX.1 de voorkeur geven aan schilderijen. In de 20e en 21e eeuw verschuiven SD3 en FLUX.1 naar fotografie, terwijl SDXL meer variatie vertoont, maar vaak illustraties als standaard gebruikt.

Alle drie de modellen vertonen een sterke voorkeur voor monochrome beelden in eerdere decennia van de 20e eeuw, met name de jaren 10, 30 en 50.

Om te testen of deze patronen konden worden gemilderd, gebruikten de auteurs prompt engineering, waarbij ze expliciet om fotorealisme vroegen en monochrome output ontmoedigden met een negatieve prompt. In sommige gevallen daalde de dominantiescore en verschoof de leidende stijl, bijvoorbeeld van monochrome naar schilderij, in de 17e en 18e eeuw.

Echter, deze interventies produceerden zelden echt fotorealistische beelden, wat aangeeft dat de stylistische standaarden van de modellen diep ingebed zijn.

Historische consistentie

De volgende lijn van analyse keek naar historische consistentie: of gegenereerde beelden objecten bevatten die niet bij de tijdperk pasten. In plaats van een vaste lijst van verboden items te gebruiken, ontwikkelden de auteurs een flexibele methode die grote taalmodellen (LLM’s) en visuele taalmodellen (VLM’s) gebruikte om elementen te detecteren die uit de historische context leken te komen, op basis van de historische context.

De detectiemethode volgde hetzelfde formaat als de HistVis-dataset, waarbij elke prompt een historische periode combineerde met een menselijke activiteit. Voor elke prompt genereerde GPT-4o een lijst met objecten die uit de historische periode zouden zijn, en voor elk voorgesteld object produceerde GPT-4o een ja/nee-vraag om te controleren of dat object in de gegenereerde afbeelding voorkwam.

Als voorbeeld, voor de prompt ‘Een persoon die luistert naar muziek in de 18e eeuw’, zou GPT-4o moderne audioapparaten kunnen identificeren als historisch onnauwkeurig, en de vraag produceren Gebruikt de persoon een koptelefoon of een smartphone die niet bestond in de 18e eeuw?.

Deze vragen werden teruggegeven aan GPT-4o in een visuele vraagbeantwoordingssituatie, waar het model de afbeelding bekeek en een ja of nee antwoord gaf voor elk. Deze pipeline maakte het mogelijk om historisch onwaarschijnlijke inhoud te detecteren zonder te vertrouwen op een vooraf gedefinieerde taxonomie van moderne objecten:

Voorbeelden van gegenereerde afbeeldingen die zijn gemarkeerd door de tweestapsdetectiemethode, met anachronistische elementen: koptelefoons in de 18e eeuw; een stofzuiger in de 19e eeuw; een laptop in de jaren 30; en een smartphone in de jaren 50.

Om te meten hoe vaak anachronismen in de gegenereerde afbeeldingen voorkwamen, introduceerden de auteurs een eenvoudige methode om frequentie en ernst te scoren. Eerst werden kleine woordverschillen in hoe GPT-4o hetzelfde object beschreef, in overweging genomen.

Als voorbeeld, moderne audioapparaten en digitale audioapparaten werden als equivalent beschouwd. Om dubbele tellingen te voorkomen, werd een fuzzy matching systeem gebruikt om deze oppervlakkige variaties te groeperen zonder echt verschillende concepten te beïnvloeden.

Na het normaliseren van alle voorgestelde anachronismen, werden twee metingen berekend: frequentie mat hoe vaak een bepaald object in afbeeldingen voor een specifieke tijdperk en model voorkwam; en ernst mat hoe betrouwbaar dat object verscheen zodra het door het model was voorgesteld.

Als een moderne telefoon tien keer werd gemarkeerd en in tien gegenereerde afbeeldingen verscheen, kreeg het een ernstscore van 1,0. Als het slechts in vijf afbeeldingen verscheen, was de ernstscore 0,5. Deze scores hielpen bij het identificeren van niet alleen of anachronismen voorkwamen, maar ook hoe sterk ze in de output van het model voor elke periode waren ingebed:

Top vijftien anachronistische elementen voor elk model, geplotted door frequentie op de x-as en ernst op de y-as. Cirkels markeren elementen die zijn gerangschikt in de top vijftien door frequentie, driehoeken door ernst, en diamanten door beide.

Bovenaan zien we de vijftien meest voorkomende anachronismen voor elk model, gerangschikt naar hoe vaak ze voorkomen en hoe consistent ze overeenkomen met prompts.

Kleding was frequent maar verspreid, terwijl items als audioapparaten en strijkijzers minder vaak voorkwamen, maar met hoge consistentie – patronen die suggereren dat de modellen vaak meer reageren op de activiteit in de prompt dan op de tijdperk.

SD3 toonde de hoogste frequentie van anachronismen, vooral in 19e-eeuwse en 1930-afbeeldingen, gevolgd door FLUX.1 en SDXL.

Om te testen hoe goed de detectiemethode overeenkwam met menselijke beoordeling, voerden de auteurs een gebruikersstudie uit met 1.800 willekeurig geselecteerde afbeeldingen uit SD3 (het model met de hoogste anachronismefrequentie), waarbij elke afbeelding werd beoordeeld door drie crowd-workers. Na filtering voor betrouwbare antwoorden, werden 2.040 oordelen van 234 gebruikers opgenomen, en de methode kwam overeen met de meerderheidsstem in 72 procent van de gevallen.

GUI voor de menselijke evaluatiestudie, met instructies, voorbeelden van accurate en anachronistische afbeeldingen, en ja/nee-vragen voor het identificeren van temporele inconsistenties in gegenereerde outputs.

Demografie

De laatste analyse keek naar hoe modellen ras en geslacht over tijd weergeven. Met behulp van de HistVis-dataset, vergeleken de auteurs de outputs van de modellen met basisschattingen gegenereerd door een taalmodel. Deze schattingen waren niet precies, maar boden een ruwe indicatie van historische plausibiliteit, waardoor duidelijk werd of de modellen hun voorstellingen aanpasten aan de bedoelde periode.

Om deze voorstellingen op grote schaal te evalueren, bouwden de auteurs een pipeline die de demografische gegevens van de modeloutputs vergeleek met ruwe verwachtingen voor elke tijd en activiteit. Ze gebruikten eerst de FairFace classifier, een ResNet34-gebaseerd hulpmiddel getraind op meer dan honderdduizend afbeeldingen, om geslacht en ras in de gegenereerde outputs te detecteren, waardoor het mogelijk werd om te meten hoe vaak gezichten in elke scène als mannelijk of vrouwelijk werden geclassificeerd, en om de raciale categorieën over perioden heen te volgen.

Voorbeelden van gegenereerde afbeeldingen die demografische oververtegenwoordiging tonen over verschillende modellen, tijdperken en activiteiten.

Lage betrouwbaarheidsresultaten werden gefilterd om ruis te verminderen, en voorspellingen werden gemiddeld over alle afbeeldingen die aan een specifieke tijd en activiteit waren gekoppeld. Om de betrouwbaarheid van de FairFace-lezingen te controleren, werd een tweede systeem gebaseerd op DeepFace gebruikt op een steekproef van 5.000 afbeeldingen. De twee classificatoren toonden sterke overeenstemming, waardoor de consistentie van de demografische lezingen die in de studie werden gebruikt, werd ondersteund.

Om de modeloutputs te vergelijken met historische plausibiliteit, vroegen de auteurs GPT-4o om de verwachte geslachts- en raciale verdeling voor elke activiteit en tijdperk te schatten. Deze schattingen dienden als ruwe basismetingen in plaats van grondwaarheid. Twee metingen werden gebruikt: ondervertegenwoordiging en oververtegenwoordiging, die maten hoeveel de output van het model afweek van de verwachtingen van het LLM.

De resultaten toonden duidelijke patronen: FLUX.1 oververtegenwoordigde vaak mannen, zelfs in scenario’s zoals koken, waar vrouwen werden verwacht; SD3 en SDXL toonden soortgelijke trends over categorieën zoals werk, onderwijs en religie; witte gezichten verschenen vaker dan verwacht overall, hoewel deze voorkeur afnam in recentere perioden; en sommige categorieën toonden onverwachte pieken in niet-blanke vertegenwoordiging, wat suggereert dat het modelgedrag mogelijk datasetcorrelaties weerspiegelt in plaats van historische context:

Geslachts- en raciale oververtegenwoordiging en ondervertegenwoordiging in FLUX.1-outputs over eeuwen en activiteiten, weergegeven als absolute verschillen van GPT-4o-demografische schattingen.

De auteurs concluderen:

‘Onze analyse onthult dat [Tekst-naar-afbeelding/TTI]-modellen afhankelijk zijn van beperkte stylistische coderingen in plaats van genuanceerde begrip van historische perioden. Elke tijdperk is sterk gekoppeld aan een specifieke visuele stijl, wat resulteert in een dimensionale voorstelling van de geschiedenis.

‘Opvallend is dat fotorealistische voorstellingen van mensen alleen vanaf de 20e eeuw verschijnen, met slechts enkele uitzonderingen in FLUX.1 en SD3, wat suggereert dat modellen geleerde associaties versterken in plaats van flexibel aan te passen aan historische contexten, waardoor het idee wordt versterkt dat realisme een modern kenmerk is.

‘Bovendien suggereren frequente anachronismen dat historische perioden niet schoon zijn gescheiden in de latente ruimtes van deze modellen, aangezien moderne artefacten vaak opduiken in pre-moderne settings, waardoor de betrouwbaarheid van TTI-systemen in onderwijs- en cultureel erfgoedcontexten in twijfel wordt getrokken.’

Conclusie

Tijdens de training van een diffusiemodel, komen nieuwe concepten niet netjes te ruste in vooraf gedefinieerde slots binnen de latente ruimte. In plaats daarvan vormen ze clusters die worden gevormd door hoe vaak ze voorkomen en door hun nabijheid tot verwante ideeën. Het resultaat is een losjes georganiseerde structuur waarin concepten bestaan in relatie tot hun frequentie en typische context, in plaats van door een schone of empirische scheiding.

Dit maakt het moeilijk om te isoleren wat als ‘historisch’ wordt beschouwd binnen een grote, algemene dataset. Zoals de bevindingen in het nieuwe onderzoek suggereren, worden veel tijdperken meer door de uitstraling van de media weergegeven dan door enige diepere historische details.

Dit is een van de redenen waarom het nog steeds moeilijk is om een fotorealistische afbeelding van een karakter uit (bijvoorbeeld) de 19e eeuw te genereren; in de meeste gevallen zal het model vertrouwen op visuele tropen uit film en televisie. Wanneer deze niet overeenkomen met het verzoek, is er weinig anders in de data om te compenseren. Het overbruggen van deze kloof zal waarschijnlijk afhankelijk zijn van toekomstige verbeteringen in het ontkoppelen van overlappende concepten.

Publicatie op maandag 26 mei 2025