Hur man stoppar AI som avbildar iPhones i svunna tider

Hur avbildar AI-bildgeneratorer det förflutna? Ny forskning tyder på att de placerar smartphones i 18-talet, bärbara datorer i 1930-talsscener och dammsugare i 19-talshem, vilket väcker frågor om hur dessa modeller avbildar historia – och om de överhuvudtaget är kapabla till kontextuell historisk noggrannhet.

 

Tidigt 2024, bildgenereringsmöjligheterna hos Googles tvillingarna den multimodala AI-modellen kritiserades för att ha infört demografisk rättvisa i olämpliga sammanhang, som att generera tyska soldater från andra världskriget med osannolikt ursprung:

Detta var ett exempel där försök att åtgärda förspänning I AI-modeller tog man inte hänsyn till ett historiskt sammanhang. I det här fallet åtgärdades problemet kort därefter. Emellertid diffusionsbaserad modeller är fortfarande benägna att generera versioner av historien som förväxlar moderna och historiska aspekter och artefakter.

Detta beror delvis på intrassling, där egenskaper som ofta förekommer tillsammans i träningsdata sammansmälter i modellens utdata. Om till exempel moderna objekt som smartphones ofta förekommer samtidigt som man pratar eller lyssnar i datamängden, kan modellen lära sig att associera dessa aktiviteter med moderna enheter, även när prompten anger en historisk miljö. När dessa associationer är inbäddade i modellens interna representationer, blir det svårt att separera aktiviteten från dess samtida kontext, vilket leder till historiskt felaktiga resultat.

En ny artikel från Schweiz, som undersöker fenomenet med sammanflätade historiska generationer i latenta diffusionsmodeller, observerar att AI-ramverk som är ganska kapabel att skapa fotorealistiska människor föredrar ändå att skildra historiska personer på historiska sätt:

För prompten 'En fotorealistisk bild av en person som skrattar med en vän under [den historiska perioden]', en av de tre testade modellerna ignorerar ofta den negativa uppmaningen 'svartvit' och använder istället färgbehandlingar som återspeglar den visuella media från den angivna eran, till exempel genom att efterlikna de dämpade tonerna i celluloidfilm från 1950- och 1970-talen.

Vid testning av de tre modellernas förmåga att skapa anakronismer (saker som inte är från målperioden, eller 'förutom tid' – som kan vara från målperiodens framtida såväl som dess förflutna), fann de en allmän benägenhet att sammanblanda tidlösa aktiviteter (som "sång" eller "matlagning") med moderna sammanhang och utrustning:

Det är värt att notera att smartphones är särskilt svåra att separera från fotografiets idiom, och från många andra historiska sammanhang, eftersom deras spridning och avbildning är väl representerad i inflytelserika hyperskaliga datamängder som Vanlig genomsökning:

För att fastställa problemets omfattning och för att ge framtida forskningsinsatser en väg framåt med just detta problem, utvecklade författarna till den nya artikeln en skräddarsydd datamängd mot vilken generativa system kan testas. Om en stund ska vi titta på detta. nytt jobb, som heter Syntetisk historia: Utvärdering av visuella representationer av det förflutna i diffusionsmodeller, och kommer från två forskare vid Zürichs universitet. Datasetet och koden är offentligt tillgängliga.

En bräcklig 'sanning'

Några av teman i rapporten berör kulturellt känsliga frågor, såsom underrepresentation av raser och kön i historiska representationer. Medan Gemini införande av rasjämlikhet i det grovt orättvisa Tredje riket är en absurd och förolämpande historisk revision, skulle återställandet av "traditionella" rasrepresentationer (där diffusionsmodeller har "uppdaterat" dessa) ofta effektivt "återmåla" historien.

Många historiska succéprogram på senare tid, som till exempel bridgerton, sudda ut historisk demografisk noggrannhet på sätt som sannolikt kommer att påverka framtida träningsdataset, vilket komplicerar ansträngningarna att anpassa LLM-genererade periodbilder till traditionella standarder. Detta är dock ett komplext ämne, med tanke på historisk tendens av (västerländsk) historia för att gynna rikedom och vithet, och att lämna så många "mindre" berättelser oberättade.

Med tanke på dessa knepiga och ständigt föränderliga kulturella parametrar, låt oss ta en titt på forskarnas nya tillvägagångssätt.

Metod och tester

För att testa hur generativa modeller tolkar historisk kontext skapade författarna HistVis, en datauppsättning med 30,000 XNUMX bilder producerade från hundra uppmaningar som visar vanliga mänskliga aktiviteter, var och en renderad över tio distinkta tidsperioder:

Aktiviteterna, som till exempel kokning, bön- or lyssnar på musik, valdes för sin universalitet och formulerades i ett neutralt format för att undvika att förankra modellen i någon särskild estetik. Tidsperioder för datamängden sträcker sig från 1600-talet till nutid, med extra fokus på fem enskilda decennier från 1900-talet.

30,000 XNUMX bilder genererades med hjälp av tre allmänt använda diffusionsmodeller med öppen källkod: Stabil Diffusion XL; Stabil diffusion 3; Och FLUX.1Genom att isolera tidsperioden som enda variabel skapade forskarna en strukturerad grund för att utvärdera hur historiska signaler visuellt kodas eller ignoreras av dessa system.

Visuell stildominans

Författaren undersökte inledningsvis om generativa modeller som standard använder specifika visuella stilar när de avbildade historiska perioder; eftersom det verkade som att även när uppmaningarna inte nämnde något om medium eller estetik, associerade modellerna ofta specifika århundraden med karakteristiska stilar:

För att mäta denna tendens tränade författarna en convolutional neuralt nätverk (CNN) för att klassificera varje bild i HistVis-datasetet i en av fem kategorier: ritning; gravyr; illustration; målning; Eller fotografiDessa kategorier var avsedda att återspegla gemensamma mönster som framträder över tidsperioder, och som stöder strukturerad jämförelse.

Klassificeraren baserades på en VGG16 modell förtränad på IMAGEnet och finstämd med 1,500 XNUMX exempel per klass från en WikiArt-härledd datauppsättning. Eftersom WikiArt inte skiljer på monokrom fotografering från färgfotografering, en separat färggrannhetspoäng användes för att märka bilder med låg mättnad som monokroma.

Den tränade klassificeraren tillämpades sedan på hela datamängden, och resultaten visade att alla tre modellerna tillämpar konsekventa stilistiska standardvärden per period: SDXL associerar 17- och 18-talen med gravyrer, medan SD3 och FLUX.1 tenderar mot målningar. Under 3-talets decennier föredrar SDXNUMX monokrom fotografi, medan SDXL ofta använder moderna illustrationer.

Dessa preferenser visade sig bestå trots snabba justeringar, vilket tyder på att modellerna kodar för djupt rotade kopplingar mellan stil och historiskt sammanhang.

Att kvantifiera hur starkt en modell kopplar en historisk period till en viss visuell stil, utvecklade författarna ett mått som de kallar Visuell stildominans (VSD). För varje modell och tidsperiod definieras VSD som andelen utdata som förväntas dela den vanligaste stilen:

En högre poäng indikerar att en enda stil dominerar resultaten för den perioden, medan en lägre poäng pekar på större variation. Detta gör det möjligt att jämföra hur noggrant varje modell följer specifika stilistiska konventioner över tid.

Tillämpat på hela HistVis-datasetet avslöjar VSD-metriken olika nivåer av konvergens, vilket hjälper till att klargöra hur starkt varje modell begränsar sin visuella tolkning av det förflutna:

Resultattabellen ovan visar VSD-poäng över historiska perioder för varje modell. Under 17- och 18-talen tenderar SDXL att producera gravyrer med hög konsistens, medan SD3 och FLUX.1 föredrar måleri. Under 20- och 21-talen övergår SD3 och FLUX.1 till fotografi, medan SDXL visar mer variation, men ofta övergår till illustration.

Alla tre modellerna visar en stark preferens för monokroma bilder under 20-talets tidigare decennier, särskilt 1910-, 1930- och 1950-talen.

För att testa om dessa mönster kunde mildras använde författarna snabb ingenjörskonst, vilket uttryckligen begär fotorealism och avråder från svartvit utskrift med hjälp av en negativ prompt. I vissa fall minskade dominanspoängen, och den ledande stilen skiftade till exempel från svartvitt till målning, på 17- och 18-talen.

Dessa ingrepp producerade dock sällan genuint fotorealistiska bilder, vilket tyder på att modellernas stilistiska standardvärden är djupt inbäddade.

Historisk konsekvens

Nästa analysrad tittade på historisk konsistens: huruvida genererade bilder inkluderade objekt som inte passade in i tidsperioden. Istället för att använda en fast lista över förbjudna objekt utvecklade författarna en flexibel metod som utnyttjade stora språkmodeller (LLM) och vision-språkmodeller (VLM) för att upptäcka element som verkade malplacerade, baserat på det historiska sammanhanget.

Detektionsmetoden följde samma format som HistVis-datasetet, där varje prompt kombinerade en historisk period med en mänsklig aktivitet. För varje prompt genererade GPT-4o en lista över objekt som skulle vara felplacerade under den angivna tidsperioden; och för varje föreslaget objekt producerade GPT-4o en ja-eller-nej fråga utformad för att kontrollera om objektet fanns med i den genererade bilden.

Till exempel, med tanke på uppmaningen En person som lyssnar på musik på 18-talet, GPT-4o kan identifiera moderna ljudenheter som historiskt felaktiga, och skapa frågan Använder personen hörlurar eller en smartphone som inte fanns på 18-talet?.

Dessa frågor skickades tillbaka till GPT-4o i en visuell frågesvarsuppställning, där modellen granskade bilden och returnerade en ja or Nej svar för varje. Denna pipeline möjliggjorde detektering av historiskt osannolikt innehåll utan att förlita sig på någon fördefinierad taxonomi för moderna objekt:

För att mäta hur ofta anakronismer förekom i de genererade bilderna introducerade författarna en enkel metod för att poängsätta frekvens och allvarlighetsgrad. Först tog de hänsyn till mindre skillnader i formuleringarna i hur GPT-4o beskrev samma objekt.

Till exempel behandlades moderna ljudenheter och digitala ljudenheter som likvärdiga. För att undvika dubbelräkning, en fuzzy matchningssystem användes för att gruppera dessa ytliga variationer utan att påverka verkligt distinkta koncept.

När alla föreslagna anakronismer hade normaliserats beräknades två mätvärden: frekvens mätte hur ofta ett givet objekt förekom i bilder under en specifik tidsperiod och modell; och stränghet mätte hur tillförlitligt objektet verkade när det väl hade föreslagits av modellen.

Om en modern telefon flaggades tio gånger och förekom i tio genererade bilder fick den en allvarlighetspoäng på 1.0. Om den bara förekom i fem var allvarlighetspoängen 0.5. Dessa poäng hjälpte till att identifiera inte bara om anakronismer förekom, utan hur djupt de var inbäddade i modellens utdata för varje period:

Ovan ser vi de femton vanligaste anakronismerna för varje modell, rangordnade efter hur ofta de förekom och hur konsekvent de matchade uppmaningarna.

Kläder var frekventa men utspridda, medan föremål som ljudenheter och strykutrustning förekom mer sällan, men med hög konsistens – mönster som tyder på att modellerna ofta reagerar på aktivitet i prompten mer än tidsperioden.

SD3 visade den högsta andelen anakronismer, särskilt i bilder från 19-talet och 1930-talet, följt av FLUX.1 och SDXL.

För att testa hur väl detekteringsmetoden matchade mänsklig bedömning genomförde författarna en användarstudie med 1,800 3 slumpmässigt utvalda bilder från SD2,040 (modellen med den högsta anakronismfrekvensen), där varje bild betygsattes av tre användare. Efter filtrering för tillförlitliga svar inkluderades 234 72 bedömningar från XNUMX användare, och metoden överensstämde med majoriteten i XNUMX procent av fallen.

Demografi

Den slutliga analysen undersökte hur modeller avbildar ras och kön över tid. Med hjälp av HistVis-datasetet jämförde författarna modellresultat med baslinjeuppskattningar genererade av en språkmodell. Dessa uppskattningar var inte exakta men gav en grov uppfattning om historisk rimlighet, vilket hjälpte till att avslöja om modellerna anpassade avbildningarna till den avsedda perioden.

För att bedöma dessa avbildningar i stor skala, byggde författarna en pipeline som jämförde modellgenererade demografiska data med ungefärliga förväntningar för varje tidpunkt och aktivitet. De använde först FairFace klassificerare, en ResNet34-baserat verktyg tränat på över hundratusen bilder, för att upptäcka kön och ras i de genererade resultaten, vilket möjliggör mätning av hur ofta ansikten i varje scen klassificerades som män eller kvinnor, och för spårning av raskategorier över perioder.

Resultat med låg tillförlitlighet filtrerades bort för att minska brus, och förutsägelserna medelvärdesbildades över alla bilder kopplade till en specifik tid och aktivitet. För att kontrollera tillförlitligheten hos FairFace-avläsningarna användes ett andra system baserat på deepface användes på ett urval av 5,000 XNUMX bilder. De två klassificeringsenheterna visade stark överensstämmelse, vilket stöder konsistensen i de demografiska avläsningar som användes i studien.

För att jämföra modellresultat med historisk rimlighet bad författarna GPT-4o att uppskatta den förväntade köns- och etnicitetsfördelningen för varje aktivitet och tidsperiod. Dessa uppskattningar fungerade som grova baslinjer snarare än verklighetsförankring. Två mätvärden användes sedan: underrepresentation och överrepresentation, som mäter hur mycket modellens utdata avvek från LLM:s förväntningar.

Resultaten visade tydliga mönster: FLUX.1 överrepresenterade ofta män, även i scenarier som kokning, där kvinnor förväntades; SD3 och SDXL visade liknande trender inom olika kategorier som arbete, utbildning och religionVita ansikten förekom mer än väntat totalt sett, även om denna bias minskade under senare tid; och vissa kategorier uppvisade oväntade toppar i icke-vit representation, vilket tyder på att modellbeteendet kan återspegla korrelationer mellan dataset snarare än historiskt sammanhang:

Författarna sluter till:

Vår analys visar att [Text-till-bild/TTI]-modeller förlitar sig på begränsade stilistiska kodningar snarare än nyanserade förståelser av historiska perioder. Varje era är starkt knuten till en specifik visuell stil, vilket resulterar i endimensionella skildringar av historien.

'Det är värt att notera att fotorealistiska avbildningar av människor först förekommer från 20-talet och framåt, med endast sällsynta undantag i FLUX.1 och SD3, vilket tyder på att modeller förstärker inlärda associationer snarare än att flexibelt anpassa sig till historiska sammanhang, vilket vidmakthåller uppfattningen att realism är ett modernt drag.'

"Dessutom tyder frekventa anakronismer på att historiska perioder inte är tydligt separerade i dessa modellers latenta utrymmen, eftersom moderna artefakter ofta framträder i förmoderna miljöer, vilket undergräver TTI-systemens tillförlitlighet i utbildnings- och kulturarvskontexter."

Slutsats

Under träningen av en diffusionsmodell placeras nya koncept inte prydligt i fördefinierade platser inom det latenta utrymmet. Istället bildar de kluster som formas av hur ofta de förekommer och av deras närhet till relaterade idéer. Resultatet är en löst organiserad struktur där koncept existerar i relation till deras frekvens och typiska sammanhang, snarare än genom någon ren eller empirisk separation.

Detta gör det svårt att isolera vad som räknas som "historiskt" inom en stor, allmängiltig datamängd. Som resultaten i den nya artikeln antyder representeras många tidsperioder mer av se av de medier som används för att skildra dem än genom några djupare historiska detaljer.

Detta är en anledning till att det fortfarande är svårt att generera en fotorealistisk bild av en karaktär från (till exempel) 2025-talet med 19 års kvalitet. I de flesta fall förlitar sig modellen på visuella troper hämtade från film och tv. När dessa inte uppfyller kraven finns det inte mycket annat i data som kan kompensera. Att överbrygga denna klyfta kommer sannolikt att bero på framtida förbättringar av att reda ut överlappande koncept.

 

Först publicerad måndag 26 maj 2025