Jak zastavit umělou inteligenci, aby zobrazovala iPhony v minulých érách

Jak umělá inteligence zobrazuje minulost? Nová studie ukazuje, že umisťuje chytré telefony do 18. století, vkládá notebooky do scén z 30. let a umisťuje vysavače do domácností 19. století, což vyvolává otázky o tom, jak tyto modely chápou historii a zda jsou vůbec schopny historické přesnosti.

Na počátku roku 2024 byla kritizována multimodální umělá inteligence Google Gemini za to, že v některých kontextech uplatňovala demografickou spravedlnost, například generovala německé vojáky z druhé světové války s nepravděpodobným původem:

Demograficky nepravděpodobní němečtí vojáci, jak je vidí multimodální model Google Gemini v roce 2024. Zdroj: Gemini AI/Google via The Guardian

Toto byl příklad toho, jak se pokusy o nápravu předpojatosti v modelech umělé inteligence nezohlednily historický kontext. V tomto případě byl problém brzy vyřešen. Nicméně difuzní modely zůstávají náchylné k vytváření verzí historie, které spojují moderní a historické aspekty a artefakty.

To je částečně způsobeno propojením, kdy vlastnosti, které se často objevují společně v trénovacích datech, se spojují ve výstupu modelu. Například, pokud moderní objekty, jako jsou chytré telefony, často souvisejí s aktivitami, jako je mluvení nebo poslouchání v datech, model se může naučit spojovat tyto aktivity s moderními zařízeními, i když prompt specifikuje historické prostředí. Jakmile jsou tyto asociace zabudovány do interních reprezentací modelu, stává se obtížným oddělit aktivitu od jejího současného kontextu, což vede k historicky nepřesným výsledkům.

Nová studie ze Švýcarska, která zkoumá jev propojených historických generací v latentních difuzních modelech, zjistila, že rámce umělé inteligence, které jsou schopné vytvářet fotorealistické obrazy lidí, preferují zobrazovat historické postavy v historických způsobem:

Z nové studie, rozmanité reprezentace pomocí LDM promptu ‘Fotorealistický obraz člověka, který se směje s přítelem v [historickém období]’, s každým obdobím uvedeným v každém výstupu. Jak můžeme vidět, médium éry se stalo spojeným s obsahem. Zdroj: https://arxiv.org/pdf/2505.17064

Pro prompt ‘Fotorealistický obraz člověka, který se směje s přítelem v [historickém období]’, jeden z tří testovaných modelů často ignoruje negativní prompt ‘černobílý’ a místo toho používá barevné zpracování, které odráží vizuální médium éry, například napodobuje tlumené tóny filmu z 50. a 70. let.

Při testování tří modelů na jejich schopnost vytvářet anachronismy (věci, které nejsou z cílového období, nebo ‘mimo čas’ – které mohou být z budoucnosti i z minulosti cílového období), zjistili obecnou tendenci spojovat časově nezávislé aktivity (jako ‘zpívání’ nebo ‘vaření’) s moderními kontexty a vybavením:

Různé aktivity, které jsou zcela platné pro předchozí století, jsou zobrazeny s současnou nebo nedávnější technologií a příslušenstvím, proti duchu požadovaného obrazu.

Zajímavé je, že chytré telefony jsou zvláště obtížné oddělit od idiomu fotografie a od mnoha dalších historických kontextů, protože jejich rozšíření a zobrazení je dobře reprezentováno v vlivných hyperscale datech, jako je Common Crawl:

V generativním text-to-image modelu Flux, komunikace a chytré telefony jsou úzce spojené koncepty – i když historický kontext to nedovoluje.

Aby se určilo rozsah problému a aby se budoucím výzkumným úsilím dala cesta vpřed s touto konkrétní vadou, autoři nové studie vytvořili speciální dataset pro testování generativních systémů. Za chvíli se podíváme na tuto novou práci, která se nazývá Syntetická historie: Hodnocení vizuálních reprezentací minulosti v difuzních modelech a pochází od dvou výzkumníků z Curyšské univerzity. Dataset a kód jsou veřejně dostupné.

Křehká ‘pravda’

Některá témata v článku se dotýkají kulturně citlivých otázek, jako je podrepresentation ras a pohlaví v historických reprezentacích. Zatímco ukládání rasové rovnosti v Třetí říši je absurdní a urážející historickou revizí, obnovení ‘tradičních’ rasových reprezentací (kde difuzní modely ‘aktualizovaly’ tyto) by často vedlo k ‘zbělení’ historie.

Mnohé nedávné úspěšné historické pořady, jako Bridgerton, rozmazávají historickou demografickou přesnost způsoby, které pravděpodobně ovlivňují budoucí trénovací sady, komplikují snahu sladit LLM-generované periodické obrazy s tradičními standardy. Nicméně toto je složitá otázka, vzhledem k historické tendenci (západní) historie upřednostňovat bohatství a bělost a zanechávat tolik ‘menších’ příběhů nevyřčených.

S ohledem na tyto komplikované a neustále se měnící kulturní parametry se podívejme na nový přístup výzkumníků.

Metoda a testy

Aby otestovali, jak generativní modely interpretují historický kontext, autoři vytvořili HistVis, dataset 30 000 obrazů vygenerovaných z 100 promptů zobrazujících běžné lidské aktivity, každá zobrazená v deseti různých časových obdobích:

Ukázka z datasetu HistVis, který autoři zpřístupnili na Hugging Face. Zdroj: https://huggingface.co/datasets/latentcanon/HistVis

Aktivita, jako je vaření, modlení nebo poslouchání hudby, byly vybrány pro svou univerzálnost a formulovány v neutrálním formátu, aby se model neukotvil v určitém estetickém stylu. Časová období pro dataset sahají od 17. století do současnosti, s přidáním zaměření na pět jednotlivých desetiletí z 20. století.

30 000 obrazů bylo vygenerováno pomocí tří široce používaných open-source difuzních modelů: Stable Diffusion XL; Stable Diffusion 3; a FLUX.1. Izolováním časového období jako jediné proměnné autoři vytvořili strukturovanou základnu pro hodnocení, jak historické podněty jsou vizuálně zakódovány nebo ignorovány těmito systémy.

Visuální styl dominance

Autoři se nejprve zaměřili na to, zda generativní modely výchozí visuální styl při zobrazování historických období; protože se zdálo, že i když prompt neobsahoval žádné zmínky o médiu nebo estetice, modely často spojily určitá století s charakteristickými styly:

Předpokládané vizuální styly pro obrazy vygenerované z promptu ‘Osoba tančí s jinou osobou v [historickém období]’ (vlevo) a z modifikovaného promptu ‘Fotorealistický obraz osoby tančící s jinou osobou v [historickém období]’ s ‘černobílý obraz’ nastavený jako negativní prompt (vpravo).

Aby se měřila tato tendence, autoři trénovali konvoluční neuronovou síť (CNN), aby klasifikovala každý obraz v datasetu HistVis do jedné z pěti kategorií: kresba; rytina; ilustrace; malba; nebo fotografie. Tyto kategorie byly určeny k odrážení běžných vzorců, které se objevují v čase, a které podporují strukturované srovnání.

Klasifikátor byl založen na VGG16 modelu, který byl předtrénován na ImageNet a jemně upraven s 1 500 příklady za třídu z WikiArt-odvozeného datasetu. Jelikož WikiArt nerozlišuje černobílou fotografii, byl použit samostatný barevný skóre, aby se označily nízké sytosti obrázků jako černobílé.

Trénovaný klasifikátor se pak aplikoval na celý dataset, s výsledky, které ukazují, že všechny tři modely ukládají konzistentní stylistické výchozí hodnoty podle období: SDXL spojuje 17. a 18. století s rytinami, zatímco SD3 a FLUX.1 se naklánějí k malbám. V desetiletích 20. století SD3 upřednostňuje černobílou fotografii, zatímco SDXL často vrací moderní ilustrace.

Tato preference se ukázala jako trvalá, navzdory úpravám promptů, což naznačuje, že modely zakódované spojení mezi stylem a historickým kontextem.

Předpokládané vizuální styly vygenerovaných obrazů napříč historickými obdobími pro každý difuzní model, založené na 1 000 vzorcích za období za model.

Aby se kvantifikovala síla, s jakou model spojuje historické období s určitým visuálním stylem, autoři vyvinuli metriku, kterou nazvali Visuální styl dominance (VSD). Pro každý model a časové období je VSD definován jako podíl výstupů, které sdílejí nejčastější styl:

Příklady stylistických předpojatostí napříč modely.

Vyšší skóre naznačuje, že jeden styl dominuje výstupům pro toto období, zatímco nižší skóre naznačuje větší variaci. To umožňuje srovnání toho, jak pevně se každý model drží specifických stylistických konvencí napříč časem.

Aplikováno na celý dataset HistVis, metrika VSD odhaluje různé úrovně konvergence, což pomáhá objasnit, jak silně každý model zužuje svou vizuální interpretaci minulosti:

Tabulka výsledků výše ukazuje skóre VSD napříč historickými obdobími pro každý model. V 17. a 18. století SDXL tenduje k produkci rytin s vysokou konzistencí, zatímco SD3 a FLUX.1 se naklánějí k malbám. Ve 20. a 21. století SD3 a FLUX.1 přecházejí k fotografii, zatímco SDXL ukazuje více variace, ale často se vrací k ilustraci.

Všechny tři modely ukazují silnou preferenci pro černobílé obrazy v raných desetiletích 20. století, zejména v 10., 30. a 50. letech.

Aby se otestovalo, zda tyto vzorce lze zmírnit, autoři použili inženýrství promptů, výslovně žádající o fotorealistiku a odrazující černobílé výstupy pomocí negativního promptu. V některých případech se skóre dominance snížilo a vedoucí styl se posunul, například z černobílé na malbu, v 17. a 18. století.

Nicméně tyto zásahy zřídka vedly k skutečně fotorealistickým obrazům, což naznačuje, že stylistické výchozí hodnoty modelů jsou hluboce zabudovány.

Historická konzistence

Další analýza se zaměřila na historickou konzistenci: zda vygenerované obrazy obsahují objekty, které nejsou vhodné pro dané období. Místo použití pevného seznamu zakázaných položek autoři vyvinuli flexibilní metodu, která využila velké jazykové modely (LLM) a vizuálně-jazykové modely (VLM), aby identifikovaly prvky, které se zdály být mimo místo, na základě historického kontextu.

Metoda detekce následovala stejný formát jako dataset HistVis, kde každý prompt kombinoval historické období s lidskou aktivitou. Pro každý prompt GPT-4o generoval seznam objektů, které by byly nevhodné pro zadané časové období; a pro každý navrhovaný objekt GPT-4o produkoval ano-ne otázku, která měla ověřit, zda se objekt objevil ve vygenerovaném obraze.

Příklad: pro prompt ‘Osoba poslouchá hudbu v 18. století’, GPT-4o by mohl identifikovat moderní audio zařízení jako historicky nepřesné a vyprodukoval otázku Je osoba používající sluchátka nebo chytrý telefon, který neexistoval v 18. století?.

Tyto otázky se vrátily k GPT-4o ve vizuálním otázkovacím nastavení, kde model prohlédl obraz a vrátil ano nebo ne odpověď pro každý. Tento pipeline umožnil detekci historicky nevhodného obsahu bez použití předem definované taxonomie moderních objektů:

Příklady vygenerovaných obrazů označených dvoustupňovou detekční metodou, zobrazující anachronistické prvky: sluchátka v 18. století; vysavač v 19. století; notebook v 30. letech; a chytrý telefon v 50. letech.

Aby se změřilo, jak často se anachronismy objevují ve vygenerovaných obrazech, autoři zavedli jednoduchou metodu pro hodnocení frekvence a závažnosti. Nejprve zohlednili malé rozdíly ve znění, jak GPT-4o popisoval stejný objekt.

Příklad: moderní audio zařízení a digitální audio zařízení byly považovány za ekvivalentní. Aby se zabránilo dvojímu počítání, byl použit fuzzy matching systém, aby se seskupily povrchové variace bez ovlivnění skutečně odlišných konceptů.

Jakmile byly všechny navrhované anachronismy normalizovány, byly vypočteny dvě metriky: frekvence měřila, jak často se daný objekt objevil v obrazech pro konkrétní časové období a model; a závažnost měřila, jak spolehlivě se objekt objevil, jednou byl navržen modelem.

Pokud byl moderní telefon označen desetkrát a objevil se v deseti vygenerovaných obrazech, obdržel závažnost skóre 1,0. Pokud se objevil pouze v pěti, závažnost skóre bylo 0,5. Tyto skóre pomohly identifikovat nejen to, zda anachronismy nastaly, ale také to, jak pevně byly zabudovány do výstupu modelu pro každé období:

Prvních patnáct anachronistických prvků pro každý model, zobrazených podle frekvence na ose x a závažnosti na ose y. Kruhy označují prvky, které se umístily v první patnáctce podle frekvence, trojúhelníky podle závažnosti a diamanty podle obou.

Vidíme zde patnáct nejčastějších anachronismů pro každý model, seřazených podle frekvence a konzistence.

Oblečení se objevilo často, ale rozptýleně, zatímco položky, jako jsou audio zařízení a žehličky, se objevily méně často, ale s vysokou konzistencí – vzorce, které naznačují, že modely často reagují na aktivitu v promptu více než na časové období.

SD3 ukázal nejvyšší míru anachronismů, zejména v obrazech z 19. století a 30. let, následovaný FLUX.1 a SDXL.

Aby se otestovala shoda detekční metody s lidským úsudkem, autoři provedli uživatelskou studii se 1 800 náhodně vybranými obrázky ze SD3 (model s nejvyšší mírou anachronismů), s každým obrázkem hodnoceným třemi crow-workery. Po filtrování spolehlivých odpovědí bylo zahrnuto 2 040 hodnocení od 234 uživatelů, a metoda se shodla s většinovým hlasem v 72 % případů.

GUI pro uživatelskou studii, zobrazující instrukce, příklady přesných a anachronistických obrazů a ano-ne otázky pro identifikaci temporálních nesrovnalostí ve vygenerovaných výstupech.

Demografie

Poslední analýza se zaměřila na to, jak modely zobrazují rasu a pohlaví v čase. Používaje dataset HistVis, autoři porovnali výstupy modelů s odhady generovanými jazykovým modelem. Tyto odhady nebyly přesné, ale poskytly hrubou představu o historické pravděpodobnosti, což pomohlo odhalit, zda modely přizpůsobily své zobrazení podle zamýšleného období.

Aby se tyto zobrazení vyhodnotila ve velkém měřítku, autoři vytvořili pipeline, který porovnával výstupy modelů s hrubými odhady pro každé období a aktivitu. Nejprve použili FairFace klasifikátor, nástroj založený na ResNet34, který byl trénován na více než 100 000 obrázcích, aby detekoval pohlaví a rasu ve vygenerovaných obrazech, umožňující měření, jak často se tváře v každé scéně klasifikují jako mužské nebo ženské, a sledování rasových kategorií napříč obdobími.

Příklady vygenerovaných obrazů zobrazujících demografickou nadreprezentaci napříč modely, obdobími a aktivitami.

Nízké důvěryhodné výsledky byly filtrovány, aby se snížila šum, a předpovědi byly průměrovány přes všechny obrazy spojené s konkrétním obdobím a aktivitou. Aby se ověřila spolehlivost FairFace čtení, byl použit druhý systém založený na DeepFace na vzorku 5 000 obrázků. Obě klasifikátory ukázaly silnou shodu, což podporovalo konzistenci demografických čtení použitých ve studii.

Aby se porovnaly výstupy modelů s historickou pravděpodobností, autoři požádali GPT-4o, aby odhadoval očekávané rozdělení pohlaví a rasy pro každou aktivitu a časové období. Tyto odhady sloužily jako hrubé odhady spíše než ground truth. Byly použity dvě metriky: podreprezentace a nadreprezentace, měřící, jak moc se výstupy modelů odchylují od očekávání LLM.

Výsledky ukázaly zřetelné vzorce: FLUX.1 často nadreprezentoval muže, dokonce i ve scénách, jako je vaření, kde se očekávaly ženy; SD3 a SDXL ukazovaly podobné trendy napříč kategoriemi, jako práce, vzdělání a náboženství; bílé tváře se objevily častěji, než se očekávalo, ačkoli tato předpojatost klesala v pozdějších obdobích; a některé kategorie ukázaly neočekávané skoky v nadreprezentaci menšinových ras, naznačující, že chování modelu může odrážet korelace v datech spíše než historický kontext:

Pohlavní a rasová nadreprezentace a podreprezentace ve výstupech FLUX.1 napříč staletími a aktivitami, zobrazené jako absolutní rozdíly od demografických odhadů GPT-4o.

Autoři závěrem uvádějí:

‘Naše analýza odhaluje, že [Text-to-image/TTI] modely spoléhají na omezené stylistické kódování spíše než na jemné pochopení historických období. Každá éra je silně spojena s konkrétním vizuálním stylem, což vede k jedno-rozměrným zobrazením historie.

‘Zejména fotorealistické zobrazení lidí se objevuje pouze od 20. století, s výjimkou vzácných případů u FLUX.1 a SD3, naznačujících, že modely upevňují naučené asociace spíše než flexibilně přizpůsobují historickým kontextům, prohlubují představu, že realismus je moderní rys.

‘Kromě toho časté anachronismy naznačují, že historická období nejsou jasně oddělena v latentních prostorech těchto modelů, protože moderní artefakty se často objevují v předmoderních prostředích, podkopávajících spolehlivost TTI systémů ve vzdělávacích a kulturním dědictví kontextech.’

Závěr

Během trénování difuzního modelu se nové koncepty neusazují pěkně do předdefinovaných slotů v latentním prostoru. Místo toho vytvářejí klastry tvarované podle frekvence a blízkosti souvisejících myšlenek. Výsledkem je volně organizovaná struktura, kde koncepty existují ve vztahu k jejich frekvenci a typickému kontextu, spíše než podle čisté nebo empirické separace.

To činí obtížným izolovat, co se počítá jako ‘historické’ v rámci velkého, obecného datasetu. Jak naznačují výsledky nové studie, mnoho časových období je reprezentováno více ‘vzhledem’ média, které je zobrazuje, než jakoukoli hlubší historickou detailností.

To je jeden z důvodů, proč zůstává obtížné vygenerovat fotorealistický obraz postavy z 19. století; v meisten případech se model spoléhá na vizuální tropes z filmu a televize. Když tyto tropes nesplňují požadavek, je málo jiného v datech, co by mohlo kompenzovat. Překlenutí této mezery bude pravděpodobně záviset na budoucích vylepšeních v oddělování překrývajících se konceptů.

Poprvé publikováno v pondělí, 26. května 2025