Wie man verhindert, dass KI iPhones in vergangenen Epochen darstellt

Wie stellen KI-Bildgeneratoren die Vergangenheit dar? Neue Forschungsergebnisse zeigen, dass sie Smartphones ins 18. Jahrhundert einfügen, Laptops in Szenen der 1930er Jahre einsetzen und Staubsauger in Häusern des 19. Jahrhunderts platzieren, was Fragen über die Fähigkeit dieser Modelle aufwirft, historische Genauigkeit zu erreichen – und ob sie überhaupt in der Lage sind, historische Kontexte zu verstehen.

Anfang 2024 standen die Bildgenerierungs-Fähigkeiten von Googles Gemini-Multimodal-AI-Modell wegen der Aufdrängung von demografischer Fairness in unangemessenen Kontexten in der Kritik, wie z.B. bei der Generierung von Soldaten des Zweiten Weltkriegs mit unwahrscheinlicher Herkunft:

Demografisch unwahrscheinliche deutsche Militärpersonen, wie sie von Googles Gemini-Multimodal-Modell 2024 dargestellt wurden. Quelle: Gemini AI/Google via The Guardian

Dies war ein Beispiel, bei dem Bemühungen, Voreingenommenheit in KI-Modellen zu korrigieren, nicht berücksichtigten, dass historischer Kontext wichtig ist. In diesem Fall wurde das Problem kurz nach seiner Entdeckung behoben. Allerdings bleiben diffusionsbasierte Modelle anfällig für die Generierung von Versionen der Geschichte, die moderne und historische Aspekte und Artefakte verwirren.

Dies liegt teilweise an Verflechtung, bei der Eigenschaften, die häufig zusammen im Trainingsdatensatz erscheinen, im Modell-Output verflochten werden. Wenn beispielsweise moderne Objekte wie Smartphones oft mit dem Akt des Sprechens oder Zuhörens im Datensatz zusammen erscheinen, kann das Modell lernen, diese Aktivitäten mit modernen Geräten zu assoziieren, auch wenn der Prompt einen historischen Kontext angibt. Sobald diese Assoziationen im Modell-Output verankert sind, wird es schwierig, die Aktivität von ihrem zeitgenössischen Kontext zu trennen, was zu historisch ungenauen Ergebnissen führt.

Ein neues Papier aus der Schweiz, das das Phänomen verflochtener historischer Generationen in latenten Diffusionsmodellen untersucht, zeigt, dass KI-Rahmen, die sehr gut darin sind, photorealistische Menschen zu erstellen, dennoch historische Figuren auf historische Weise darstellen:

Aus dem neuen Papier, vielfältige Darstellungen via LDM des Prompts ‘Ein photorealistisches Bild einer Person, die mit einem Freund in [der historischen Periode] lacht’, mit jeder Periode in jedem Output angegeben. Quelle: https://arxiv.org/pdf/2505.17064

Für den Prompt ‘Ein photorealistisches Bild einer Person, die mit einem Freund in [der historischen Periode] lacht’ ignoriert eines der drei getesteten Modelle oft die negative Prompt ‘Monochrom’ und verwendet stattdessen Farbverarbeitungen, die der visuellen Medien der spezifizierten Ära entsprechen, beispielsweise indem es die gedämpften Töne des Celluloid-Films der 1950er und 1970er Jahre nachahmt.

Bei der Überprüfung der drei Modelle auf ihre Fähigkeit, Anachronismen (Dinge, die nicht der Zielperiode angehören oder ‘aus der Zeit’) zu erstellen, fanden sie eine allgemeine Neigung, zeitlose Aktivitäten (wie ‘Singend’ oder ‘Kochen’) mit modernen Kontexten und Ausrüstungen zu verbinden:

Vielfältige Aktivitäten, die für vorherige Jahrhunderte perfekt gültig sind, werden mit aktueller oder neuerer Technologie und Ausrüstung dargestellt.

Es ist bemerkenswert, dass Smartphones besonders schwer von der Idiomatik der Fotografie und von vielen anderen historischen Kontexten zu trennen sind, da ihre Verbreitung und Darstellung in einflussreichen Hyperscale-Datensätzen wie Common Crawl gut repräsentiert sind:

Im Flux-Generativ-Text-Bild-Modell sind Kommunikation und Smartphones eng miteinander verbundene Konzepte – auch wenn der historische Kontext dies nicht erlaubt.

Um den Umfang des Problems zu bestimmen und zukünftigen Forschungsbemühungen eine Möglichkeit zu geben, dieses spezifische Problem zu bekämpfen, entwickelten die Autoren des neuen Papiers einen speziellen Datensatz, um generative Systeme zu testen. In einem Moment werden wir uns dieses neuen Werks ansehen, das den Titel Synthetic History: Evaluating Visual Representations of the Past in Diffusion Models trägt und von zwei Forschern der Universität Zürich stammt. Der Datensatz und der Code sind öffentlich zugänglich.

Ein fragile ‘Wahrheit’

Einige der Themen im Papier berühren kulturell sensible Themen, wie die Unterrepräsentation von Rassen und Geschlechtern in historischen Darstellungen. Während Geminis Aufdrängung von Rassengleichheit im grob ungleichen Dritten Reich eine absurde und beleidigende historische Revision ist, würde die Wiederherstellung von ‘traditionellen’ Rassendarstellungen (wo Diffusionsmodelle diese ‘aktualisiert’ haben) oft dazu führen, Geschichte ‘weißzuwaschen’.

Viele aktuelle historische Shows, wie Bridgerton, verschwimmen historische demografische Genauigkeit auf Weise, die wahrscheinlich zukünftige Trainingsdatensätze beeinflussen wird, was es schwierig macht, LLM-generierte Periodenbilder mit traditionellen Standards in Einklang zu bringen. Dies ist jedoch ein komplexes Thema, da die (westliche) Geschichte tendenziell reich und weiß bevorzugt und so viele ‘weniger’ Geschichten unerzählt lässt.

Bei Berücksichtigung dieser heiklen und ständig wechselnden kulturellen Parameter betrachten wir den neuen Ansatz der Forscher.

Methode und Tests

Um zu testen, wie generative Modelle historischen Kontext interpretieren, erstellten die Autoren HistVis, einen Datensatz von 30.000 Bildern, die aus hundert Prompts erstellt wurden, die alltägliche menschliche Aktivitäten darstellen, jeweils in zehn verschiedenen Zeiträumen:

Ein Beispiel aus dem HistVis-Datensatz, den die Autoren auf Hugging Face verfügbar gemacht haben. Quelle: https://huggingface.co/datasets/latentcanon/HistVis

Die Aktivitäten, wie Kochen, Beten oder Musik hören, wurden aufgrund ihrer Universalität ausgewählt und in einer neutralen Formulierung angegeben, um das Modell nicht in einer bestimmten Ästhetik zu verankern. Die Zeiträume für den Datensatz reichen vom 17. Jahrhundert bis zur Gegenwart, mit besonderem Fokus auf fünf einzelne Jahrzehnte des 20. Jahrhunderts.

30.000 Bilder wurden mit drei weit verbreiteten Open-Source-Diffusionsmodellen generiert: Stable Diffusion XL; Stable Diffusion 3; und FLUX.1. Durch die Isolierung des Zeitraums als einzige Variable schufen die Forscher eine strukturierte Grundlage für die Bewertung, wie historische Hinweise visuell kodiert oder ignoriert werden:

Visuelle Stil-Dominanz

Die Autoren untersuchten zunächst, ob generative Modelle standardmäßig bestimmte visuelle Stile verwenden, wenn sie historische Perioden darstellen; da es schien, dass die Modelle auch dann bestimmte Jahrhunderte mit charakteristischen Stilen assoziieren, wenn der Prompt keine Erwähnung von Medium oder Ästhetik enthielt:

Vorhergesagte visuelle Stile für Bilder, die aus dem Prompt ‘Eine Person, die mit einer anderen in der [historischen Periode] tanzt’ (links) und aus dem modifizierten Prompt ‘Ein photorealistisches Bild einer Person, die mit einer anderen in der [historischen Periode] tanzt’ mit ‘Monochrom-Bild’ als negativem Prompt (rechts) generiert wurden.

Um diese Tendenz zu messen, trainierten die Autoren ein Convolutional Neural Network (CNN), um jedes Bild im HistVis-Datensatz in eine von fünf Kategorien einzuteilen: Zeichnung; Stich; Illustration; Malerei; oder Fotografie. Diese Kategorien sollten gemeinsame Muster widerspiegeln, die über Zeiträume hinweg auftauchen und strukturierte Vergleiche ermöglichen.

Der Klassifizierer basierte auf einem VGG16-Modell, das auf ImageNet vor trainiert und mit 1.500 Beispielen pro Klasse aus einem WikiArt-abgeleiteten Datensatz fein abgestimmt wurde. Da WikiArt Monochrom-Fotografie nicht von Farbfotografie unterscheidet, wurde ein Farbigkeit-Score verwendet, um Bilder mit niedriger Sättigung als Monochrom zu kennzeichnen.

Der trainierte Klassifizierer wurde dann auf den gesamten Datensatz angewendet, mit Ergebnissen, die zeigten, dass alle drei Modelle konsistente stilistische Standards pro Periode aufdrängen: SDXL assoziiert das 17. und 18. Jahrhundert mit Stichen, während SD3 und FLUX.1 tendenziell Malerei bevorzugen. In den Jahrzehnten des 20. Jahrhunderts bevorzugt SD3 Monochrom-Fotografie, während SDXL oft moderne Illustrationen zurückgibt.

Diese Präferenzen blieben bestehen, obwohl der Prompt angepasst wurde, was darauf hindeutet, dass die Modelle tief verwurzelte Verbindungen zwischen Stil und historischem Kontext aufweisen.

Vorhergesagte visuelle Stile von generierten Bildern über historische Perioden für jedes Diffusionsmodell, basierend auf 1.000 Samples pro Periode pro Modell.

Um zu quantifizieren, wie stark ein Modell einen historischen Zeitraum mit einem bestimmten visuellen Stil verbindet, entwickelten die Autoren eine Metrik, die sie Visuelle Stil-Dominanz (VSD) nennen. Für jedes Modell und jeden Zeitraum wird VSD als der Anteil der Ausgaben definiert, die den häufigsten Stil aufweisen:

Beispiele für stilistische Voreingenommenheiten über die Modelle hinweg.

Ein höherer Score zeigt an, dass ein einzelner Stil die Ausgaben für diese Periode dominiert, während ein niedrigerer Score auf eine größere Variation hindeutet. Dies ermöglicht es, zu vergleichen, wie stark jedes Modell bestimmte stilistische Konventionen über die Zeit hinweg beibehält:

Die Ergebnistabelle zeigt VSD-Scores über historische Perioden für jedes Modell. Im 17. und 18. Jahrhundert tendiert SDXL dazu, Stiche mit hoher Konsistenz zu produzieren, während SD3 und FLUX.1 Malerei bevorzugen. Im 20. und 21. Jahrhundert wechseln SD3 und FLUX.1 zu Fotografie, während SDXL mehr Variation zeigt, aber oft zu Illustrationen tendiert.

Alle drei Modelle zeigen eine starke Präferenz für monochrome Bilder in den frühen Jahrzehnten des 20. Jahrhunderts, insbesondere in den 1910er, 1930er und 1950er Jahren.

Um zu testen, ob diese Muster gemildert werden könnten, verwendeten die Autoren Prompt-Engineering, um explizit Photorealismus zu fordern und monochrome Ausgaben zu diskriminieren, indem sie einen negativen Prompt verwendeten. In einigen Fällen verringerten sich die Dominanz-Scores, und der führende Stil wechselte, beispielsweise von Monochrom zu Malerei im 17. und 18. Jahrhundert.

Allerdings produzierten diese Eingriffe selten wirklich photorealistische Bilder, was darauf hindeutet, dass die stilistischen Standards der Modelle tief verwurzelt sind.

Historische Konsistenz

Die nächste Analyse untersuchte historische Konsistenz: Ob generierte Bilder Objekte enthalten, die nicht in die Zeitperiode passen. Anstatt eine feste Liste von verbotenen Gegenständen zu verwenden, entwickelten die Autoren eine flexible Methode, die große Sprachmodelle (LLMs) und visuell-sprachliche Modelle (VLMs) nutzte, um Elemente zu erkennen, die aus dem historischen Kontext herausragten:

Die Erkennungsmethode folgte dem gleichen Format wie der HistVis-Datensatz, bei dem jeder Prompt eine historische Periode mit einer menschlichen Aktivität kombinierte. Für jeden Prompt generierte GPT-4o eine Liste von Objekten, die in der spezifizierten Zeitperiode fehl am Platz wären; und für jedes vorgeschlagene Objekt produzierte GPT-4o eine Ja-oder-Nein-Frage, die überprüfte, ob das Objekt im generierten Bild erschien:

Beispielsweise könnte GPT-4o für den Prompt ‘Eine Person, die in der 18. Jahrhundert Musik hört’ moderne Audio-Geräte als historisch ungenau identifizieren und die Frage Verwendet die Person Kopfhörer oder ein Smartphone, das im 18. Jahrhundert nicht existierte? produzieren.

Diese Fragen wurden an GPT-4o in einer visuellen Frage-Antwort-Konfiguration zurückgegeben, bei der das Modell das Bild überprüfte und für jede Frage eine Ja– oder Nein-Antwort zurückgab. Diese Pipeline ermöglichte die Erkennung historisch unplausibler Inhalte ohne eine vordefinierte Taxonomie moderner Objekte:

Beispiele für generierte Bilder, die von der zweistufigen Erkennungsmethode gekennzeichnet wurden, zeigen anachronistische Elemente.

Um zu messen, wie häufig Anachronismen in den generierten Bildern auftauchen, führten die Autoren eine einfache Methode zur Bewertung von Häufigkeit und Schwere ein. Zuerst berücksichtigten sie kleine Wortunterschiede in der Art und Weise, wie GPT-4o das gleiche Objekt beschrieb.

Beispielsweise wurden modernes Audio-Gerät und digitales Audio-Gerät als äquivalent behandelt. Um Doppelzählungen zu vermeiden, wurde ein Fuzzy-Matching-System verwendet, um diese oberflächlichen Variationen zu gruppieren, ohne tatsächlich unterschiedliche Konzepte zu beeinträchtigen.

Sobald alle vorgeschlagenen Anachronismen normalisiert waren, wurden zwei Metriken berechnet: Häufigkeit maß, wie oft ein bestimmtes Objekt in Bildern für eine bestimmte Zeitperiode und ein bestimmtes Modell auftrat; und Schwere maß, wie zuverlässig das Objekt auftrat, nachdem es vom Modell vorgeschlagen worden war:

Wenn ein modernes Telefon zehn Mal gekennzeichnet und in zehn generierten Bildern auftrat, erhielt es einen Schwere-Score von 1,0. Wenn es nur in fünf auftrat, betrug der Schwere-Score 0,5. Diese Scores halfen dabei, nicht nur zu erkennen, ob Anachronismen auftraten, sondern auch, wie fest sie im Modell-Output für jede Periode verankert waren:

Die fünfzehn häufigsten anachronistischen Elemente für jedes Modell, nach Häufigkeit auf der x-Achse und Schwere auf der y-Achse aufgetragen.

SD3 zeigte die höchste Rate an Anachronismen, insbesondere in Bildern des 19. Jahrhunderts und der 1930er Jahre, gefolgt von FLUX.1 und SDXL.

Um zu testen, wie gut die Erkennungsmethode mit menschlicher Beurteilung übereinstimmt, führten die Autoren eine Benutzerstudie mit 1.800 zufällig ausgewählten Bildern von SD3 (dem Modell mit der höchsten Anachronismus-Rate) durch, wobei jedes Bild von drei Crowd-Workern bewertet wurde. Nach der Filterung zuverlässiger Antworten wurden 2.040 Urteile von 234 Benutzern einbezogen, und die Methode stimmte in 72 Prozent der Fälle mit dem Mehrheitsvotum überein:

GUI für die menschliche Bewertungsstudie, die Anweisungen, Beispiele für genaue und anachronistische Bilder sowie Ja-Nein-Fragen zur Identifizierung temporaler Inkonsistenzen in generierten Ausgaben zeigt.

Demografische Aspekte

Die abschließende Analyse untersuchte, wie Modelle Rasse und Geschlecht über die Zeit hinweg darstellen. Mit dem HistVis-Datensatz verglichen die Autoren die Modell-Ausgaben mit Basis-Schätzungen, die von einem Sprachmodell generiert wurden. Diese Schätzungen waren nicht genau, aber sie boten einen groben Eindruck von historischer Plausibilität, was half, zu zeigen, ob die Modelle ihre Darstellungen an die beabsichtigte Periode anpassten:

Um diese Darstellungen im großen Maßstab zu bewerten, bauten die Autoren eine Pipeline, die Modell-Generierungen mit groben Erwartungen für jede Zeit und Aktivität verglich. Zuerst verwendeten sie den FairFace-Klassifizierer, ein ResNet34-basiertes Werkzeug, das auf über 100.000 Bildern trainiert wurde, um Geschlecht und Rasse in den generierten Ausgaben zu erkennen, was die Messung ermöglichte, wie oft Gesichter in jeder Szene als männlich oder weiblich klassifiziert wurden und für die Verfolgung von Rassenkategorien über Perioden hinweg:

Beispiele für generierte Bilder, die demografische Überrepräsentation über verschiedene Modelle, Zeitperioden und Aktivitäten hinweg zeigen.

Ergebnisse mit niedrigem Vertrauen wurden gefiltert, um Rauschen zu reduzieren, und Vorhersagen wurden über alle Bilder gemittelt, die mit einer bestimmten Zeit und Aktivität verbunden waren. Um die Zuverlässigkeit der FairFace-Lesungen zu überprüfen, wurde ein zweites System auf der Grundlage von DeepFace auf einer Stichprobe von 5.000 Bildern verwendet. Die beiden Klassifizierer zeigten eine starke Übereinstimmung, was die Konsistenz der demografischen Lesungen, die in der Studie verwendet wurden, unterstützte.

Um Modell-Ausgaben mit historischer Plausibilität zu vergleichen, baten die Autoren GPT-4o, die erwartete Verteilung von Geschlecht und Rasse für jede Aktivität und jeden Zeitraum zu schätzen. Diese Schätzungen dienten als grobe Baseline und nicht als Grundwahrheit. Zwei Metriken wurden verwendet: Unterrepräsentation und Überrepräsentation, die messen, wie sehr die Modell-Ausgaben von den Erwartungen des Sprachmodells abwichen:

Die Ergebnisse zeigten klare Muster: FLUX.1 überrepräsentierte oft Männer, sogar in Szenarien wie Kochen, wo Frauen erwartet wurden; SD3 und SDXL zeigten ähnliche Trends in Kategorien wie Arbeit, Bildung und Religion; weiße Gesichter erschienen häufiger als erwartet, obwohl diese Voreingenommenheit in jüngeren Perioden abnahm; und einige Kategorien zeigten unerwartete Spitzen in nicht-weißer Repräsentation, was darauf hindeutet, dass das Modellverhalten möglicherweise Datensatz-Korrelationen widerspiegelt, anstatt historischen Kontext:

Geschlechtliche und rassische Überrepräsentation und Unterrepräsentation in FLUX.1-Ausgaben über Jahrhunderte und Aktivitäten hinweg, als absolute Differenzen von GPT-4o-Demografieschätzungen dargestellt.

Die Autoren schlussfolgern:

‘Unsere Analyse zeigt, dass [Text-Bild/TTI]-Modelle auf begrenzte stilistische Kodierungen angewiesen sind, anstatt nuancierte Verständnisse historischer Perioden zu haben. Jede Ära ist stark mit einem bestimmten visuellen Stil verbunden, was zu eindimensionalen Darstellungen der Geschichte führt.

‘Bemerkenswerterweise erscheinen photorealistische Darstellungen von Menschen nur ab dem 20. Jahrhundert, mit nur wenigen Ausnahmen in FLUX.1 und SD3, was darauf hindeutet, dass Modelle gelernte Assoziationen verstärken, anstatt sich flexibel an historische Kontexte anzupassen, und die Vorstellung perpetuieren, dass Realismus ein modernes Merkmal ist.

‘Darüber hinaus deuten häufige Anachronismen darauf hin, dass historische Perioden nicht sauber in den latenten Räumen dieser Modelle getrennt sind, da moderne Artefakte oft in vor-modernen Kontexten auftauchen, was die Zuverlässigkeit von TTI-Systemen in Bildung und kulturellem Erbe untergräbt.’

Schlussfolgerung

Während der Trainingsphase eines Diffusionsmodells setzen sich neue Konzepte nicht ordnungsgemäß in vordefinierte Slots im latenten Raum. Stattdessen bilden sie Cluster, die durch ihre Häufigkeit und typischen Kontext geprägt sind. Das Ergebnis ist eine lose organisierte Struktur, in der Konzepte in Beziehung zu ihrer Häufigkeit und typischem Kontext existieren, anstatt durch eine saubere oder empirische Trennung.

Dies macht es schwierig, zu bestimmen, was als ‘historisch’ in einem großen, allgemeinen Datensatz gilt. Wie die Ergebnisse im neuen Papier nahelegen, werden viele Zeiträume mehr durch das Aussehen der Medien dargestellt, die sie darstellen, als durch tiefergehende historische Details.

Dies ist einer der Gründe, warum es schwierig bleibt, ein photorealistisches Bild einer Figur aus dem 19. Jahrhundert zu generieren; in den meisten Fällen wird das Modell auf visuelle Klischees aus Film und Fernsehen zurückgreifen. Wenn diese nicht mit der Anfrage übereinstimmen, gibt es wenig anderes in den Daten, um auszugleichen. Die Überbrückung dieser Lücke wird wahrscheinlich von zukünftigen Verbesserungen in der Entflechtung überlappender Konzepte abhängen.

Erstveröffentlichung am Montag, den 26. Mai 2025