Kuinka estää tekoäly kuvittelemasta iPhoneja menneisyyden aikakausina

Miten tekoälykuvageneraattorit kuvaavat menneisyyttä? Uusi tutkimus osoittaa, että ne upottavat älypuhelimet 1700-luvulle, lisäävät kannettavat tietokoneet 1930-luvun kohtauksiin ja asettavat imurointikoneet 1800-luvun koteihin, herättäen kysymyksiä siitä, miten nämä mallit kuvittelevat historiaa – ja ovatko ne kykeneviä saavuttamaan kontekstuaalisen historiallisen tarkkuuden lainkaan.

Alussa vuonna 2024 Google:n Gemini multimodaalisen tekoälymallin kuvagenerointikapasiteetit kritisoitiin siitä, että se pakotti demokraattista oikeudenmukaisuutta epäasiallisissa yhteyksissä, kuten generoimalla toisen maailmansodan aikaisia saksalaisia sotilaita, joilla oli epätodennäköinen alkuperä:

Demokraattisesti epätodennäköiset saksalaiset sotilasvirkamiehet, kuten Google:n Gemini multimodaalisen malli kuvitteli vuonna 2024. Lähde: Gemini AI/Google via The Guardian

Tämä oli esimerkki siitä, miten pyrkimykset korjata tekoälymallien harhaa eivät ottaneet huomioon historiallista kontekstia. Tässä tapauksessa ongelma korjattiin pian sen jälkeen. Kuitenkin diffuusiopohjaiset mallit ovat edelleen taipuvaisia generoimaan versioita historiaa, jotka sekoittavat modernit ja historialliset näkökulmat ja artefaktit.

Tämä johtuu osittain säikeistymisestä, jossa ominaisuudet, jotka usein esiintyvät yhdessä koulutusaineistossa, yhdistyvät mallin tulosteessa. Esimerkiksi, jos modernit esineet, kuten älypuhelimet, usein esiintyvät yhdessä puhumisen tai kuuntelun kanssa koulutusaineistossa, malli voi oppia liittämään nämä toiminnat moderniin laitteeseen, vaikka ohjelma määrittelee historiallisen asetelman. Kun nämä yhdistymiset on sisäänrakennettu mallin sisäisiin edustuksiin, on vaikea erottaa toimintaa sen nykyaikaisesta kontekstista, mikä johtaa historiallisesti epätarkoihin tuloksiin.

Uusi tutkimus Sveitsistä, joka tutkii ilmiötä historiallisten sukupolvien sekaantumisesta latenteissa diffuusiomalleissa, toteaa, että tekoälykehykset, jotka ovat hyvin kykeneviä luomaan fotorealistisia ihmisiä, kuitenkin suosivat kuvittelemista historiallisissa yhteyksissä:

Uudesta tutkimuksesta, moninaiset edustukset LDM:än avulla ohjelman “Fotorealistinen kuva henkilöstä, joka nauraa ystävän kanssa [historiallisessa ajassa]”, jossa jokainen ajanjakso on merkitty jokaisessa tulosteessa. Kuten voidaan nähdä, aikakauden medium on liittynyt sisältöön. Lähde: https://arxiv.org/pdf/2505.17064

Ohjelmalle ‘Fotorealistinen kuva henkilöstä, joka nauraa ystävän kanssa [historiallisessa ajassa]’, yksi kolmesta testatusta mallista usein jättää huomiotta negatiivisen ohjelman ‘monokromaattinen’ ja käyttää sen sijaan värinkäsittelyjä, jotka heijastelevat aikakauden visuaalista mediaa, esimerkiksi jäljitellen 1950- ja 1970-luvun selluloosafilmin hillittyjä sävyjä.

Testatessaan kolmea mallia niiden kyvystä luoda anakronismit (asiat, jotka eivät kuulu kohdekaudelle, tai “ajan ulkopuolelta” – jotka voivat olla kohdekauden tulevaisuudesta tai sen menneisyydestä), he löysivät yleisen taipumuksen sekoittaa ajattomia toimintoja (kuten “laulamista” tai “ruoanlaittoa”) moderniin kontekstiin ja laitteistoihin:

Moninaiset toiminnat, jotka ovat täysin päteviä edellisille vuosisadoille, kuvataan nykyisellä tai uudemmalla teknologialla ja varusteilla, vastoin pyydetyen kuvien henkeä.

On huomionarvoista, että älypuhelimet ovat erityisen vaikeita erottaa valokuvauksen ilmiöstä ja monista historiallisista konteksteista, koska niiden leviäminen ja kuvaaminen on hyvin edustettu vaikutusvaltaisissa hyperskaalaisissa aineistoissa, kuten Common Crawl:

Flux-generatiivisessa teksti-kuva-mallissa viestintä ja älypuhelimet ovat tiiviisti liitetyt käsitteet – jopa silloin, kun historiallinen konteksti ei salli sitä.

Määrittääkseen ongelman laajuuden ja antaakseen tuleville tutkimuksille tapa edetä tämän ongelmakohdan kanssa, uuden tutkimuksen tekijät kehittivät mukautetun aineiston, jota vastaan generatiiviset järjestelmät voitiin testata. Hetken kuluttua tarkastelemme tätä uutta tutkimusta, joka on nimeltään Synthetic History: Evaluating Visual Representations of the Past in Diffusion Models ja tulee kahdelta tutkijalta Zürichin yliopistosta. Aineisto ja koodi ovat julkaistu.

Hauras ‘totuus’

Jotkut tutkimuksen aiheista koskevat kulttuurisesti herkkäitä kysymyksiä, kuten rotujen ja sukupuolen aliedustusta historiallisissa edustuksissa. Vaikka Gemini:n pyrkimys asettaa rotuinen tasa-arvo toisen maailmansodan aikaiseen Saksan epätodennäköisiin yhteyksiin on absurdia ja loukkaavaa historiallista revisionismia, palauttaminen “perinteisiin” rotuisten edustuksiin (jotka diffuusiomallit ovat “päivittäneet”) johtaisi usein siihen, että historia “valkaisi” uudelleen.

Monet viimeaikaiset menestyksekkäät historialliset ohjelmat, kuten Bridgerton, sumeaavat historiallista demografista tarkkuutta tavoin, jotka ovat todennäköisesti vaikuttavia tuleviin koulutusaineistoihin, mikä vaikeuttaa pyrkimyksiä kohdistaa LLM-generoituja aikakauden kuvia perinteisiin standardeihin. Tämä on kuitenkin monimutkainen aihe, ottaen huomioon historiallisen taipumuksen (länsimaisessa historiassa) suosia varallisuutta ja valkoisuutta ja jättää monia “alempia” tarinoita kertomatta.

Pitäen mielessä nämä hankalat ja jatkuvasti muuttuvat kulttuuriset parametri, tarkastelemme tutkijoiden uutta lähestymistapaa.

Menetelmä ja testit

Testatakseen, miten generatiiviset mallit tulkitsevat historiallista kontekstia, tekijät loivat HistVis-aineiston, joka koostuu 30 000:sta kuvasta, jotka tuotettiin sadasta ohjelmasta, jotka kuvasivat yleisiä inhimillisiä toimintoja, joista jokainen renderöitiin kymmenessä eri aikakaudessa:

HistVis-aineiston näyte, jonka tekijät ovat julkaistu Hugging Facessa. Lähde: https://huggingface.co/datasets/latentcanon/HistVis

Toiminnot, kuten ruoanlaitto, rukous tai musiikin kuuntelu, valittiin niiden universaalisuuden vuoksi, ja ne muotoiltiin neutraalissa muodossa välttääkseen mallin kiinnittämistä tiettyyn estetiikkaan. Aikakaudet aineistossa ulottuivat 1600-luvulta nykypäivään, ja niissä oli erityinen painopiste viidellä eri vuosikymmenellä 1900-luvulta.

30 000 kuvaa generoitiin käyttäen kolmea laajasti käytettyä avoimen lähdekoodin diffuusiomallia: Stable Diffusion XL; Stable Diffusion 3; ja FLUX.1. Aikakauden erottaminen ainoana muuttujana loi järjestelmällisen perustan arvioimaan, miten historialliset vihjeet visualisoidaan tai ohitetaan näissä järjestelmissä.

Visuaalisen tyylin valtakunta

Tekijät tutkivat aluksi, onko generatiivisillä malleilla taipumus oletusarvoisesti tiettyyn visuaaliseen tyyliin, kun ne kuvaavat historiallisia aikakausia; koska näytti siltä, että vaikka ohjelmat eivät sisältäneet viittauksia mediumiin tai estetiikkaan, mallit usein liittivät tiettyjä vuosisatoja tiettyihin tyyleihin:

Ennustetut visuaaliset tyylit kuvista, jotka generoitiin ohjelmalla ‘Henkilö tanssii toisen kanssa [historiallisessa ajassa]’ (vasemmalla) ja muokatulla ohjelmalla ‘Fotorealistinen kuva henkilöstä, joka tanssii toisen kanssa [historiallisessa ajassa]’ negatiivisella ohjelmalla ‘monokromaattinen kuva’ (oikealla).

Mittaakseen tämän taipumuksen, tekijät kouluttivat konvoluutioneuroniverkon (CNN) luokittelemaan jokaisen kuvan HistVis-aineistossa yhteen viidestä luokasta: piirros; kaiverrus; illustraatio; maalaus; tai valokuva. Nämä luokat olivat tarkoitettu heijastelemaan yleisiä malleja, jotka ilmestyvät aikakausittain, ja jotka tukevat järjestelmällistä vertailua.

Luokittelija perustui VGG16-malliin, joka oli esikoulutettu ImageNet-aineistossa ja hienosäädetty 1 500 esimerkillä per luokka WikiArt-aineistosta. Koska WikiArt ei tee eroa monokromaattisen ja värillisen valokuvauksen välillä, erillinen värikkyyden arvo käytettiin merkitsemään matalan kyllästysasteen kuvia monokromaattisiksi.

Koulutettu luokittelija sovellettiin koko aineistoon, ja tulokset osoittivat, että kaikki kolme mallia määräävät johdonmukaiset tyylilliset oletukset aikakauden mukaan: SDXL liittää 1600- ja 1700-luvut kaiverruksiin, kun taas SD3 ja FLUX.1 suosivat maalauksia. 1900- ja 2000-luvun vuosikymmeninä SD3 suosii monokromaattista valokuvaa, kun taas SDXL usein palauttaa modernit illustraatiot.

Nämä preferenssit havaittiin säilyvän ohjelman muutoksista huolimatta, mikä viittaa siihen, että mallit koodaavat vahvoja yhteyksiä tyylille ja historialliselle kontekstille.

Ennustetut visuaaliset tyylit generoiduista kuvista aikakausittain kullekin diffuusiomallille, perustuen 1 000 otokseen per aikakausi per malli.

Keino, jota tekijät kehittivät, jota he kutsuvat Visuaalisen tyylin valtakunnaksi (VSD), mittaamaan, miten voimakkaasti malli liittää historiallisen aikakauden tiettyyn visuaaliseen tyyliin, on määritelty jokaiselle mallille ja aikakaudelle seuraavasti: VSD on suhteellinen osuus tulosteista, jotka on ennustettu jakavan yleisimmän tyylilajin:

Esimerkkejä tyylillistä harhaa malleissa.

Korkeampi arvo osoittaa, että yksittäinen tyyli hallitsee tulokset kyseisellä aikakaudella, kun taas matalampi arvo viittaa suurempaan vaihteluun. Tämä mahdollistaa vertailun siitä, miten voimakkaasti kunkin malli noudattaa tiettyjä tyylillisiä konventioita aikakauden mukaan:

Tulostaulukko yllä osoittaa VSD-arvot aikakausittain kullekin mallille. 1600- ja 1700-luvuilla SDXL tuottaa kaiverruksia hyvin johdonmukaisesti, kun taas SD3 ja FLUX.1 suosivat maalauksia. 1900- ja 2000-luvun vuosikymmeninä SD3 ja FLUX.1 siirtyvät valokuvaukseen, kun taas SDXL näyttää enemmän vaihtelua, mutta usein oletusarvoisesti illustraatioon.

Kaikki kolme mallia osoittavat vahvan preferenssin monokromaattiselle kuvamateriaalille varhaisissa vuosikymmeninä 1900-luvulla, erityisesti 1910-, 1930- ja 1950-luvuilla.

Testatakseen, voitaisiinko nämä mallit vähentää, tekijät käyttivät ohjelman suunnittelua, jossa nimenomaisesti pyydettiin fotorealismin ja estettiin monokromaattinen tuloste negatiivisella ohjelmalla. Joidenkin tapauksissa valtakunnan arvot laskivat, ja johtava tyyli muuttui, esimerkiksi 1600- ja 1700-luvuilla siirryttiin monokromaattisesta maalaukseen.

Kuitenkin nämä interventiot harvoin tuottivat aitoja fotorealistisia kuvia, mikä osoittaa, että mallien tyylilliset oletukset ovat syvään juurtuneita.

Historiallinen johdonmukaisuus

Seuraava analyysi käsitteli historiallista johdonmukaisuutta: onko generoituissa kuvissa esineitä, jotka eivät kuulu aikakaudelle. Sen sijaan, että olisi käytetty kiinteää luetteloa kiellettyjä kohteita, tekijät kehittivät joustavan menetelmän, joka hyödynsi suurten kielen (LLM) ja visuaalisen kielen malleja (VLM) havaitsemaan elementtejä, jotka näyttivät olevan aikakauden ulkopuolella, perustuen historialliseen kontekstiin.

Havainnon menetelmä seurasi samaa muotoa kuin HistVis-aineisto, jossa jokainen ohjelma yhdisti historiallisen aikakauden inhimilliseen toimintaan. Jokaiselle ohjelmalle GPT-4o generoi luettelon esineistä, jotka olisivat epähistoriallisia kyseisellä aikakaudella; ja jokaiselle ehdotetulle esineelle GPT-4o tuotti kyllä/ei-kysymyksen tarkistamaan, näkyykö esine generoidussa kuvassa.

Esimerkiksi, ohjelmalle ‘Henkilö kuuntelee musiikkia 1700-luvulla’, GPT-4o saattaisi tunnistaa nykyaikaiset äänentoistolaitteet historiallisesti epätarkoiksi, ja tuottaa kysymyksen Onko henkilö käyttämässä kuulokkeita tai älypuhelinta, jota ei ollut olemassa 1700-luvulla?

Nämä kysymykset palautettiin GPT-4o:lle visuaalisen kysymys-vastausasettelussa, jossa malli tarkasteli kuvaa ja palautti kyllä tai ei -vastauksen kullekin. Tämä putki mahdollisti historiallisesti epätarkkojen sisältöjen havainnon ilman, että tarvitsi nojata mihinkään ennalta määrättyyn taksonomiaan moderniin esineisiin:

Esimerkkejä generoiduista kuvista, joita kaksivaiheinen havainnomenetelmä on merkinnut anakronistisiksi elementeiksi: kuulokkeet 1700-luvulla; imuri 1800-luvulla; kannettava tietokone 1930-luvulla; ja älypuhelin 1950-luvulla.

Mittaakseen, miten usein anakronismit ilmestyvät generoiduissa kuvissa, tekijät esittivät yksinkertaisen menetelmän arvioimaan niiden frekvenssiä ja vakavuutta. Ensinnäkin he otettiin huomioon pienet sanamuodolliset erot siinä, miten GPT-4o kuvasi samaa esinettä.

Esimerkiksi moderni äänentoistolaite ja digitaalinen äänentoistolaite kohdeltiin vastaavina. Välttääkseen kaksoismerkintöjä, sumean vastaavuusjärjestelmä käytettiin ryhmitelläkseen nämä pinnanmuodolliset variatiot ilman, että vaikuttaisi aitoon konseptien erotteluun.

Kun kaikki ehdotetut anakronismit oli normalisoitu, kaksi mittaria laskettiin: frekvenssi mittasi, miten usein tietty esine esiintyi kuvissa tietyn aikakauden ja mallin kanssa; ja vakavuus mittasi, miten luotettavasti esine esiintyi, kun se oli mallin ehdottama.

Jos moderni puhelin merkittiin kymmenen kertaa ja se esiintyi kymmenessä generoidussa kuvassa, se sai vakavuusarvon 1,0. Jos se esiintyi vain viidessä, vakavuusarvo oli 0,5. Nämä arvot auttoivat tunnistamaan ei vain sitä, tapahtuuko anakronismit, vaan myös miten vahvasti ne olivat upotettuina mallin tulosteisiin kullekin aikakaudelle:

Kunkin mallin 15 yleisintä anakronistista elementtiä, piirretty frekvenssin mukaan x-akselilla ja vakavuuden mukaan y-akselilla. Ympyrät merkitsevät elementtejä, jotka sijoittuivat 15 parhaan joukkoon frekvenssin mukaan, kolmiot vakavuuden mukaan, ja timantit molempien mukaan.

Yllä nähdään kunkin mallin 15 yleisintä anakronismia, jotka on järjestetty frekvenssin ja vakavuuden mukaan.

Vaate oli yleinen mutta hajallaan, kun taas esineet kuten äänentoistolaitteet ja rautaimet esiintyivät vähemmän usein, mutta korkealla vakavuudella – mallit usein vastasivat toimintaan ohjelmassa enemmän kuin aikakauteen.

SD3 osoitti korkeimman anakronismien määrän, erityisesti 1800-luvun ja 1930-luvun kuvissa, seurattuna FLUX.1:llä ja SDXL:llä.

Testatakseen, miten hyvin havainnomenetelmä sopi ihmisen arviointiin, tekijät suorittivat käyttäjätutkimuksen, jossa 1 800 satunnaiseen otokseen SD3:sta (malli, jolla oli korkein anakronismien määrä) liittyi kolme joukkokäyttäjää. Sen jälkeen, kun luotettavat vastaukset oli suodatettu, 2 040 arviointia 234 käyttäjältä sisällytettiin, ja menetelmä sopi enemmistön äänen kanssa 72 prosentissa tapauksista.

Käyttöliittymä ihmisen arviointitutkimukselle, jossa on tehtävän ohjeet, esimerkkejä tarkasta ja anakronistisista kuvista, ja kyllä/ei-kysymyksiä anakronististen elementtien tunnistamiseksi generoiduissa tulosteissa.

Demografia

Viimeinen analyysi käsitteli, miten mallit esittävät rotua ja sukupuolta ajan myötä. Käyttäen HistVis-aineistoa, tekijät vertasivat mallien tulosteita kielen mallin generoimiin arvioihin. Nämä arviot eivät olleet tarkkoja, mutta ne tarjosivat karkean käsityksen historiallisesta todennäköisyydestä, auttaen paljastamaan, sopeutuivatko mallit esittämään rotua ja sukupuolta aikakauden mukaan.

Arvioakseen nämä esitykset laajassa mittakaavassa, tekijät rakensivat putken, joka vertasi mallien generoimia demografioita karkeisiin odotuksiin kullekin ajalle ja toiminnalle. He ensin käyttivät FairFace-luokittelijaa, joka on ResNet34:iin perustuva työkalu, joka on koulutettu yli 100 000 kuvan aineistossa, havaitsemaan sukupuolta ja rotua generoiduissa tulosteissa, mikä mahdollisti mittaamisen, miten usein kasvot jokaisessa kohtauksessa luokitellaan maskuliinisiksi tai feminiinisiksi, ja seurata rotuluokkia aikakausittain.

Esimerkkejä generoiduista kuvista, jotka osoittavat demografisen yli-edustuksen eri malleissa, aikakausina ja toimintoina.

Matalan luottamuksen tulokset suodatettiin pois vähentämään melua, ja ennusteet keskiarvoitettiin kaikissa kuvissa, jotka liittyivät tiettyyn ajalle ja toimintaan. Tarkastamaan FairFace-lukemien luotettavuutta, toinen järjestelmä, joka perustui DeepFaceen, käytettiin 5 000 kuvan otoksesta. Kaksi luokittelijaa osoitti vahvan sopimuksen, tukeakseen demografisten lukemien johdonmukaisuutta, joita tutkimuksessa käytettiin.

Vertaakseen mallien tulosteita historiallisen todennäköisyyden kanssa, tekijät pyysivät GPT-4o:ta arvioimaan odotetun sukupuolen ja rodun jakautumisen kullekin toiminnalle ja ajalle. Nämä arviot toimivat karkeina viitekehyksinä eivätkä välttämättä vastanneet todellista historiaa. Kaksi mittaria käytettiin: aliedustus ja yli-edustus, jotka mittasivat, miten paljon mallin tulosteet poikkesivat LLM:n odotuksista.

Tulokset osoittivat selviä malleja: FLUX.1 usein yli-edusti miehiä, jopa tilanteissa kuten ruoanlaitto, jossa naiset odotettiin; SD3 ja SDXL osoittivat samanlaisia suuntauksia kategorioiden kuten työ, koulutus ja uskonnon osalla; valkoiset kasvot esiintyivät useammin kuin odotettiin yleensä, vaikka tämä harha väheni myöhemmissä aikakausina; ja jotkut kategoriat osoittivat odottamattomia piikkejä ei-valkoisen edustuksessa, viitatessa siihen, että mallin käyttäytyminen saattaa heijastaa aineiston korrelaatioita eikä historiallista kontekstia:

Sukupuolen ja rodun yli-edustus ja aliedustus FLUX.1:n tulosteissa eri vuosisatojen ja toimintojen osalla, esitettyä absoluuttisina eroina GPT-4o:n demografisista arvioista.

Tekijät päättelevät:

‘Analyysimme paljastaa, että [Teksti-kuva/TTI]-mallit nojaavat rajoitettuihin tyylillisiin koodauksiin eikä hienostuneisiin ymmärryksiin historiallisista aikakausista. Jokainen aikakausi on vahvasti sidottu tiettyyn visuaaliseen tyyliin, johtuen yksioikoisista kuvaamisista historiaa.

‘Huomionarvoista on, että fotorealistiset kuvaamiset ihmisistä ovat olemassa vasta 1900-luvun jälkeen, ja vain harvoja poikkeuksia FLUX.1:ssä ja SD3:ssä, mikä viittaa siihen, että mallit vahvistavat oppimiaan yhteyksiä eikä sopeudu joustavasti historiallisiin konteksteihin, ylläpitäen käsitystä, että realismin on moderni piirre.

‘Lisäksi useat anakronismit osoittavat, että historialliset aikakaudet eivät ole puhtaan erottuneita mallejen latentissa avaruudessa, koska modernit artefaktit usein ilmestyvät esihistoriallisissa ympäristöissä, heikentäen TTI-järjestelmien luotettavuutta koulutuksessa ja kulttuuriperinnön yhteyksissä.’

Johtopäätös

Diffuusiomallin koulutuksen aikana uudet käsitteet eivät asetu siististi ennalta määrättyihin lokeroihin latentissa avaruudessa. Sen sijaan ne muodostavat klustereita, jotka muotoillaan niiden esiintymisen tiheyden ja niiden suhteen muiden käsitteiden kanssa. Tämä johtaa löyhästi järjestettyyn rakenteeseen, jossa käsitteet olemassa suhteessa niiden tiheyteen ja tyypilliseen kontekstiin, eikä puhdas, empiirinen erottelu.

Tämä tekee siitä vaikeaa erottaa, mitä voidaan pitää “historiallisena” laajassa, yleiskäyttöisessä aineistossa. Kuten uuden tutkimuksen löydökset viittaavat, monet aikakaudet edustetaan enemmän median ulkonäön kuin minkään syvemmän historiallisen yksityiskohdan kautta.

Tämä on yksi syy, miksi on edelleen haastavaa generoida 2025-luokan fotorealistinen kuva hahmosta (esimerkiksi) 1800-luvulta; useimmissa tapauksissa malli luottaa visuaalisiin tropeihin, jotka on poimittu elokuvista ja televisiosta. Kun nämä eivät vastaa pyyntöä, on vain vähän muuta aineistoa, jota korvaamaan voidaan.

Julkaistu ensimmäisen kerran maanantaina, 26. toukokuuta 2025