Jak przestać używać AI do przedstawiania iPhone’ów w minionych erach

Jak AI generuje obrazy przeszłości? Nowe badania wskazują, że umieszczają one smartfony w XVIII wieku, wkładają laptopy do scen z lat 30. XX wieku i umieszczają odkurzacze w domach z XIX wieku, podnosząc pytania o to, jak te modele wyobrażają sobie historię – i czy są w stanie osiągnąć kontekstową dokładność historyczną w ogóle.

Na początku 2024 roku możliwości generowania obrazów modelu Gemini multimodalnego AI firmy Google zostały skrytykowane za narzucanie sprawiedliwości demograficznej w nieodpowiednich kontekstach, takich jak generowanie żołnierzy niemieckich z II wojny światowej o nieprawdopodobnym pochodzeniu:

Niemogący się wydarzyć niemieccy żołnierze, wyobrażeni przez model Gemini multimodalny w 2024 roku. Źródło: Gemini AI/Google za pośrednictwem The Guardian

To był przykład, w którym starania, aby usunąć sukcesy w modelach AI, nie wzięły pod uwagę kontekstu historycznego. W tym przypadku problem został rozwiązany krótko po tym. Jednak modele oparte na dyfuzji nadal są skłonne generować wersje historii, które łączą współczesne i historyczne aspekty i artefakty.

Jest to częściowo spowodowane splątaniem, gdzie cechy, które często pojawiają się razem w danych szkoleniowych, stają się splecione w danych wyjściowych modelu. Na przykład, jeśli współczesne obiekty, takie jak smartfony, często współwystępują z działaniem rozmawiania lub słuchania w zestawie danych, model może nauczyć się kojarzyć te działania z współczesnymi urządzeniami, nawet gdy podpowiedź określa historyczne ustawienie. Gdy te skojarzenia są osadzone w wewnętrznych reprezentacjach modelu, staje się trudne oddzielić działanie od jego współczesnego kontekstu, prowadząc do historycznie niedokładnych wyników.

Nowy artykuł ze Szwajcarii, badający zjawisko splątanych historycznych generacji w modelach dyfuzyjnych, obserwuje, że ramy AI, które są bardzo zdolne do tworzenia fotorealistycznych ludzi, nadal preferują przedstawianie postaci historycznych w historyczny sposób:

Z nowego artykułu, różnorodne reprezentacje za pomocą LDM podpowiedzi ‘Fotorealistyczny obraz osoby śmiejącej się z przyjacielem w [okresie historycznym]’, z każdym okresem wskazanym w każdym wyjściu. Jak widać, medium epoki stało się skojarzone z treścią. Źródło: https://arxiv.org/pdf/2505.17064

Dla podpowiedzi ‘Fotorealistyczny obraz osoby śmiejącej się z przyjacielem w [okresie historycznym]’, jeden z trzech przetestowanych modeli często ignoruje negatywną podpowiedź ‘monochromatyczny’ i zamiast tego używa kolorowych efektów, które odzwierciedlają wizualne medium epoki, na przykład naśladując stonowane tony filmu celuloidowego z lat 50. i 70. XX wieku.

Podczas testowania trzech modeli pod kątem ich zdolności do tworzenia anachronizmów (rzeczy, które nie są z okresu docelowego, lub ‘poza czasem’ – które mogą być z przyszłości lub przeszłości okresu docelowego), stwierdzono ogólną skłonność do łączenia wiecznych działań (takich jak ‘śpiewanie’ lub ‘gotowanie’) z współczesnymi kontekstami i sprzętem:

Różnorodne działania, które są absolutnie ważne dla poprzednich stuleci, są przedstawiane z bieżącą lub bardziej niedawną technologią i akcesoriami, wbrew duchowi żądanej grafiki.

Godne uwagi jest to, że smartfony są szczególnie trudne do oddzielenia od idiomy fotografii, a także od wielu innych kontekstów historycznych, ponieważ ich rozpowszechnienie i przedstawienie jest dobrze reprezentowane w wpływowych zestawach danych, takich jak Common Crawl:

W modelu Flux generatywnym tekst-obraz, komunikacja i smartfony są ściśle związane pojęcia – nawet wtedy, gdy kontekst historyczny nie pozwala na to.

Aby określić zakres problemu i dać przyszłym badaniom sposób do przodu z tym konkretnym błędem, autorzy nowego artykułu opracowali specjalny zestaw danych, za pomocą którego można przetestować systemy generatywne. Wkrótce przyjrzymy się tej nowej pracy, która nosi tytuł Synthetic History: Evaluating Visual Representations of the Past in Diffusion Models i pochodzi od dwóch badaczy z Uniwersytetu w Zurychu. Zestaw danych i kod są dostępne publicznie.

Kruchy ‘Prawda’

Niektóre z tematów w artykule dotykają wrażliwych kwestii kulturowych, takich jak nierównomierne przedstawienie ras i płci w historycznych reprezentacjach. Podczas gdy nakładanie równości rasowej w Trzeciej Rzeszy przez Gemini jest absurdalną i obraźliwą rewizją historyczną, przywrócenie ‘tradycyjnych’ rasowych reprezentacji (gdzie modele dyfuzyjne ‘zaktualizowały’ te) często skutkowałoby ‘przywróceniem białej’ historii.

Wiele ostatnich popularnych historycznych programów, takich jak Bridgerton, rozmywają historyczną dokładność demograficzną w sposób, który może wpłynąć na przyszłe zestawy danych szkoleniowych, utrudniając wysiłki, aby wyrównać LLM-wygenerowane obrazy okresu z tradycyjnymi standardami. Jednak jest to złożony temat, biorąc pod uwagę historyczną tendencję (zachodniej) historii do faworyzowania bogactwa i białej rasy, oraz pozostawiania wielu ‘mniejszych’ historii niewyjaśnionych.

Biorąc pod uwagę te delikatne i zmiennące się parametry kulturowe, przyjrzymy się nowemu podejściu badaczy.

Metoda i testy

Aby przetestować, jak modele generatywne interpretują kontekst historyczny, autorzy stworzyli HistVis, zestaw danych 30 000 obrazów wygenerowanych z 100 podpowiedzi przedstawiających wspólne ludzkie działania, każde z nich przedstawione w 10 różnych okresach historycznych:

Przykład z zestawu danych HistVis, który autorzy udostępnili na Hugging Face. Źródło: https://huggingface.co/datasets/latentcanon/HistVis

Działania, takie jak gotowanie, modlitwa lub sluchanie muzyki, zostały wybrane ze względu na ich powszechność i sformułowane w neutralny sposób, aby uniknąć kotwiczenia modelu w jakimś konkretnym estetyzmie. Okresy czasowe dla zestawu danych obejmują od XVII wieku do dnia dzisiejszego, z dodatkowym naciskiem na pięć poszczególnych dekad z XX wieku.

30 000 obrazów zostało wygenerowanych przy użyciu trzech powszechnie stosowanych modeli dyfuzyjnych: Stable Diffusion XL; Stable Diffusion 3; i FLUX.1. Izolując okres czasu jako jedyną zmienną, badacze stworzyli strukturalną podstawę do oceny, jak historyczne wskazówki są wizualnie zakodowane lub ignorowane przez te systemy.

Dominacja stylu wizualnego

Początkowo autorzy sprawdzili, czy modele generatywne domyślnie używają określonych stylów wizualnych przy przedstawianiu okresów historycznych; ponieważ wydawało się, że nawet gdy podpowiedzi nie zawierały żadnej wzmianki o medium lub estetyce, modele często kojarzyły określone stulecia ze specyficznymi stylami:

Przewidywane style wizualne dla obrazów wygenerowanych z podpowiedzi ‘Osoba tańcząca z inną osobą w [okresie historycznym]’ (po lewej) i z modyfikowanej podpowiedzi ‘Fotorealistyczny obraz osoby tańczącej z inną osobą w [okresie historycznym]’ z ‘monochromatyczny obraz’ ustawiony jako negatywna podpowiedź (po prawej).

Aby zmierzyć tę tendencję, autorzy wytrenowali sieć neuronową wytrenowaną w stylu CNN (CNN) do klasyfikacji każdego obrazu w zestawie danych HistVis do jednej z pięciu kategorii: rysowanie; grawerowanie; ilustracja; malarstwo; lub fotografia. Te kategorie zostały zaprojektowane w celu odzwierciedlenia wspólnych wzorców, które pojawiają się w czasie, i które wspierają strukturalne porównanie.

Klasyfikator został oparty na modelu VGG16 wstępnie wytrenowanym na ImageNet i dostosowanym z 1500 przykładami na klasę z zestawu danych WikiArt. Ponieważ WikiArt nie rozróżnia monochromatycznej fotografii od kolorowej, oddzielny współczynnik kolorowości został użyty do oznaczenia niskonasyconych obrazów jako monochromatyczne.

Wytrenowany klasyfikator został następnie zastosowany do pełnego zestawu danych, a wyniki pokazały, że wszystkie trzy modele narzucają spójne domyślne style według okresu: SDXL kojarzy XVII i XVIII wiek z grawerowaniem, podczas gdy SD3 i FLUX.1 skłaniają się ku malarstwu. W dekadach XX wieku SD3 faworyzuje monochromatyczną fotografię, podczas gdy SDXL często zwraca nowoczesne ilustracje.

Wszystkie trzy modele wykazują silną preferencję dla monochromatycznych obrazów w wcześniejszych dekadach XX wieku, szczególnie w latach 10., 30. i 50. XX wieku.

Aby przetestować, czy te wzorce mogą być złagodzone, autorzy użyli inżynierii podpowiedzi, wyraźnie żądając fotorealizmu i odstraszając monochromatyczne dane wyjściowe przy użyciu negatywnej podpowiedzi. W niektórych przypadkach wskaźniki dominacji zmniejszyły się, a wiodący styl się zmienił, na przykład z monochromatycznego na malarstwo, w XVII i XVIII wieku.

Jednak te interwencje rzadko produkowały prawdziwie fotorealistyczne obrazy, wskazując, że domyślne style modeli są głęboko osadzone.

Spójność historyczna

Następna linia analizy dotyczyła spójności historycznej: czy wygenerowane obrazy zawierały obiekty, które nie pasowały do okresu czasu. Zamiast używać ustalonej listy zabronionych elementów, autorzy opracowali elastyczną metodę, która wykorzystywała duże językowe modele (LLM) i modele językowo-wizualne (VLM), aby zidentyfikować elementy, które wydawały się nie na miejscu, w oparciu o kontekst historyczny.

Metoda wykrywania postępowała w tym samym formacie, co zestaw danych HistVis, gdzie każda podpowiedź łączyła okres historyczny z ludzką aktywnością. Dla każdej podpowiedzi GPT-4o generował listę obiektów, które byłyby nie na miejscu w określonym okresie czasu; i dla każdego proponowanego obiektu GPT-4o produkował tak-nie pytanie, które sprawdzało, czy dany obiekt pojawił się w wygenerowanym obrazie.

Na przykład, dla podpowiedzi ‘Osoba słuchająca muzyki w XVIII wieku’, GPT-4o mogło zidentyfikować współczesne urządzenia audio jako historycznie niedokładne i wyprodukować pytanie Czy osoba używa słuchawek lub smartfona, który nie istniał w XVIII wieku?.

Te pytania zostały przekazane z powrotem do GPT-4o w ustawieniu odpowiedzi wizualnej, gdzie model przeglądał obraz i zwracał tak lub nie odpowiedź dla każdego. Ten potok umożliwił wykrywanie historycznie niedokładnych treści bez polegania na jakiejkolwiek wstępnie zdefiniowanej taksonomii współczesnych obiektów:

Przykłady wygenerowanych obrazów oznaczonych przez dwuetapową metodę wykrywania, pokazujące anachroniczne elementy: słuchawki w XVIII wieku; odkurzacz w XIX wieku; laptop w latach 30. XX wieku; i smartphone w latach 50. XX wieku.

Aby zmierzyć, jak często anachronizmy pojawiają się w wygenerowanych obrazach, autorzy wprowadzili prostą metodę do oceny częstotliwości i ciężkości. Po pierwsze, uwzględnili drobne różnice w słownictwie, w jaki sposób GPT-4o opisywał ten sam obiekt.

Na przykład, nowoczesne urządzenie audio i cyfrowe urządzenie audio były traktowane jako równoważne. Aby uniknąć podwójnego liczenia, użyto systemu dopasowywania fuzzy, aby grupować te powierzchniowe różnice bez wpływu na rzeczywiście odrębne pojęcia.

Gdy wszystkie proponowane anachronizmy zostały zunifikowane, obliczono dwie metryki: częstotliwość mierzyła, jak często dany obiekt pojawiał się w obrazach dla określonego okresu czasu i modelu; i ciężkość mierzyła, jak niezawodnie ten obiekt pojawiał się, gdy został zasugerowany przez model.

Jeśli nowoczesny telefon został oznaczony dziesięć razy i pojawił się w dziesięciu wygenerowanych obrazach, otrzymał wynik ciężkości 1,0. Jeśli pojawił się tylko w pięciu, wynik ciężkości wyniósł 0,5. Te wyniki pomogły zidentyfikować nie tylko to, czy anachronizmy występują, ale także jak mocno są one osadzone w danych wyjściowych modelu dla każdego okresu:

Piętnaście najczęstszych anachronicznych elementów dla każdego modelu, wykreślonych według częstotliwości na osi x i ciężkości na osi y. Koła oznaczają elementy sklasyfikowane w piętnaście najlepszych według częstotliwości, trójkąty według ciężkości, i diamenty według obu.

Powyżej widzimy piętnaście najczęstszych anachronizmów dla każdego modelu, sklasyfikowanych według ich częstotliwości i zgodności z podpowiedziami.

Ubiór był częsty, ale rozproszony, podczas gdy przedmioty takie jak urządzenia audio i sprzęt do prasowania pojawiały się rzadziej, ale z wysoką zgodnością – wzorce, które sugerują, że modele często reagują bardziej na działanie w podpowiedzi niż na okres czasu.

SD3 wykazał najwyższy wskaźnik anachronizmów, szczególnie w obrazach z XIX wieku i z lat 30. XX wieku, a następnie FLUX.1 i SDXL.

Aby przetestować, jak dobrze metoda wykrywania zgadza się z ludzką oceną, autorzy przeprowadzili badanie z udziałem użytkowników, w którym 1800 losowo wybranych obrazów z SD3 (modelu z najwyższym wskaźnikiem anachronizmów) zostało ocenionych przez trzech pracowników. Po filtrowaniu niezawodnych odpowiedzi 2040 ocen z 234 użytkowników zostało uwzględnionych, a metoda zgadzała się z głosami większości w 72 procentach przypadków.

Interfejs użytkownika dla badania oceny ludzkiej, pokazujący instrukcje zadania, przykłady dokładnych i anachronicznych obrazów, oraz pytania tak-nie do identyfikacji niezgodności czasowych w danych wyjściowych.

Demografia

Ostatnia analiza dotyczyła tego, jak modele przedstawiają rasę i płeć w czasie. Używając zestawu danych HistVis, autorzy porównali dane wyjściowe modelu z szacunkami podstawowymi wygenerowanymi przez model językowy. Te szacunki nie były dokładne, ale zapewniały ogólne poczucie historycznej prawdopodobieństwa, pomagając ujawnić, czy modele adaptują przedstawienia do zamierzonego okresu.

Aby ocenić te przedstawienia w skali, autorzy zbudowali potok porównujący dane wyjściowe modelu z szacunkami demograficznymi dla każdego okresu i działania. Po pierwsze, użyli klasyfikatora FairFace, narzędzia opartego na ResNet34, wytrenowanego na ponad 100 000 obrazów, do wykrywania płci i rasy w danych wyjściowych, umożliwiając pomiar częstotliwości, z jaką twarze w każdej scenie były klasyfikowane jako męskie lub żeńskie, oraz śledzenie kategorii rasowych w czasie.

Przykłady wygenerowanych obrazów pokazujących nadreprezentację demograficzną w różnych modelach, okresach czasu i działaniach.

Wyniki niskiej pewności zostały odfiltrowane, aby zmniejszyć szum, a prognozy zostały uśrednione we wszystkich obrazach związanych z określonym okresem i działaniem. Aby sprawdzić niezawodność odczytów FairFace, drugi system oparty na DeepFace został użyty na próbce 5000 obrazów. Dwa klasyfikatory wykazały silną zgodność, wspierając spójność demograficznych odczytów użytych w badaniu.

Aby porównać dane wyjściowe modelu z historyczną prawdopodobieństwem, autorzy poprosili GPT-4o o oszacowanie oczekiwanego rozkładu płci i rasy dla każdego działania i okresu czasu. Te szacunki służyły jako szacunki podstawowe, a nie jako prawda. Użyto dwóch metryk: nierównomierne przedstawienie i nadreprezentacja, mierzących, jak bardzo dane wyjściowe modelu odbiegały od oczekiwań LLM.

Wyniki pokazały wyraźne wzorce: FLUX.1 często nadreprezentował mężczyzn, nawet w scenariuszach takich jak gotowanie, gdzie kobiety były oczekiwane; SD3 i SDXL wykazały podobne trendy w kategoriach takich jak praca, edukacja i religia; twarze białe pojawiały się częściej niż oczekiwano ogółem, chociaż ten bias zmniejszał się w bardziej współczesnych okresach; i niektóre kategorie wykazały nieoczekiwane wzrosty w nie-białej reprezentacji, sugerując, że zachowanie modelu może odzwierciedlać korelacje w zestawie danych, a nie kontekst historyczny:

Nadreprezentacja i niedoreprezentacja płci i rasy w danych wyjściowych FLUX.1 w różnych stuleciach i działaniach, wyrażone jako bezwzględne różnice od szacunków demograficznych GPT-4o.

Autorzy kończą:

‘Nasza analiza ujawnia, że [Tekst-do-obrazu/TTI] modele polegają na ograniczonych kodowaniach stylistycznych, a nie na subtelnych zrozumieniach okresów historycznych. Każda epoka jest silnie związana z określonym stylem wizualnym, w wyniku czego powstają jednowymiarowe przedstawienia historii.

‘Godne uwagi jest to, że fotorealistyczne przedstawienia ludzi pojawiają się dopiero od XX wieku, z rzadkimi wyjątkami w FLUX.1 i SD3, co sugeruje, że modele wzmacniają nauczone skojarzenia, a nie elastycznie adaptują się do kontekstów historycznych, utrwalaając pogląd, że realizm jest cechą nowoczesną.

‘Ponadto częste anachronizmy sugerują, że okresy historyczne nie są czysto oddzielone w przestrzeniach latentnych tych modeli, ponieważ współczesne artefakty często pojawiają się w przednowoczesnych ustawieniach, podważając wiarygodność systemów TTI w kontekstach edukacyjnych i dziedzictwa kulturowego.’

Wnioski

Podczas szkolenia modelu dyfuzyjnego nowe pojęcia nie osadzają się ładnie w wstępnie zdefiniowanych miejscach w przestrzeni latentnej. Zamiast tego tworzą klastry ukształtowane przez to, jak często pojawiają się i przez ich bliskość do pokrewnych idei. Wynikiem jest luźno zorganizowana struktura, w której pojęcia istnieją w relacji do ich częstotliwości i typowego kontekstu, a nie poprzez czyste lub empiryczne rozróżnienie.

To sprawia, że trudno jest izolować to, co stanowi ‘historyczne’ w dużym, ogólnym zestawie danych. Jak wynika z wniosków w nowym artykule, wiele okresów czasu jest reprezentowanych bardziej przez wygląd medium użytego do ich przedstawienia niż przez jakąkolwiek głębszą historyczną szczegółowość.

To jest jeden z powodów, dla których nadal trudno wygenerować fotorealistyczny obraz postaci z XIX wieku o jakości z 2025 roku; w większości przypadków model będzie polegał na wizualnych tropach z filmu i telewizji. Gdy te nie pasują do żądania, jest mało czegoś innego w danych, aby to zrekompensować. Przełamanie tej luki będzie prawdopodobnie zależało od przyszłych ulepszeń w rozplątywaniu nakładających się pojęć.

Pierwotnie opublikowane w poniedziałek, 26 maja 2025