AI’nin Geçmiş Dönemlerde iPhone’u Nasıl Görselleştirdiğini Durdurmak

AI görüntü oluşturucuları geçmiş nasıl canlandırır? Yeni bir araştırmaya göre, bu modeller 18. yüzyılda akıllı telefonlar, 1930’larda dizüstü bilgisayarlar ve 19. yüzyıl evlerinde elektrik süpürgeleri gibi modern nesneleri tarih sahnesine yerleştirerek, bu modellerin tarihi nasıl hayal ettiğini ve tarihi bağlamda doğru olup olmadıklarını sorgulamaktadır.

2024’ün başlarında, Google’ın Gemini çok modelli AI modelinin görüntü oluşturma yetenekleri, uygun olmayan bağlamlarda demografik adaleti dayatması nedeniyle eleştirilere maruz kaldı; örneğin, II. Dünya Savaşı’nda Alman askerlerini olası olmayan bir kökenle oluşturması:

Google’ın Gemini çok modelli modelinin 2024’te hayal ettiği demografik olarak olasılık dışı Alman askeri personeli. Kaynak: Gemini AI/Google via The Guardian

Bu, AI modellerindeki önyargı sorunlarının tarihi bağlamı hesaba katmadığını gösteren bir örnektir. Bu durumda, sorun kısa süre sonra çözüldü. Ancak, difüzyon tabanlı modeller, modern ve tarihi yönleri ve nesneleri birleştiren tarih versiyonlarını üretmeye eğilimlidir.

Bunun nedeni kısmen dolananlık olarak bilinen olgudur; burada, eğitim verisinde birlikte sıkça görünen özellikler, modelin çıktısında birleşir. Örneğin, modern nesnelerin seperti akıllı telefonların konuşma veya dinleme eylemleriyle birlikte sıkça ortaya çıkması durumunda, model bu eylemlerle modern cihazları ilişkilendirebilir, hatta tarihsel bir bağlam belirtildiği durumlarda bile.

İsviçre’den yeni bir makale, difüzyon modellerindeki histórik nesillerin dolanıklığını incelemekte ve AI çerçevelerinin fotoğrafçı gerçekçi insan oluşturabildiğini, ancak tarihi figürleri tarihi yollarda resmetmeyi tercih ettiğini gözlemlemektedir:

Yeni makaleden, LDM aracılığıyla bir arkadaşla [tarihsel dönem] içinde gülerek bir fotoğraf prompt’ının çeşitli temsilmaları, her bir dönemde belirtilen çıktı ile birlikte. Gördüğümüz gibi, dönemin ortamı içeriğe bağlı hale gelmiştir. Kaynak: https://arxiv.org/pdf/2505.17064

‘Bir arkadaşla [tarihsel dönem] içinde fotoğrafçı gerçekçi bir fotoğraf’ prompt’ı için, üç test edilen modelden biri, ‘monochrome’ negative prompt’u dikkate almayarak, dönemlerin görsel medyasını yansıtan renk işlemlerini kullanıyor; örneğin, 1950’ler ve 1970’lerden selüloid filminin yumuşak tonlarını taklit ediyor.

Testlerde, modellerin anakronizmler (döneme ait olmayan şeyler – dönemden önce veya sonra gelen şeyler) oluşturma yetenekleri incelendi; yani, zaman dışı nesnelerin veya eylemlerin ortaya çıkması:

Farklı faaliyetler, önceki yüzyıllar için geçerli olsalar da, güncel veya daha yakın teknoloji ve aksesuarlarla resmediliyor, talebe aykırı olarak.

Örneğin, akıllı telefonlar, fotoğrafçılık idiomundan ayrılmaları zor olan nesnelerdir, çünkü Common Crawl gibi büyük ölçekli veri setlerinde yaygın olarak temsil edilmektedirler:

Flux generatif metin-görsel modelinde, iletişim ve akıllı telefonlar sıkı şekilde ilişkili kavramlardır – tarihsel bağlam izin vermediğinde bile.

Sorunun kapsamını belirlemek ve bu soruna yönelik gelecekteki araştırmalara bir yol göstermek için, makalenin yazarları, bu tür sistemleri test etmek için özel bir veri seti geliştirdiler. Şimdi, yeni çalışmaya bir göz atacağız; bu çalışma, Zürih Üniversitesi’nden iki araştırmacı tarafından yürütülmüş ve Sentetik Tarih: Difüzyon Modellerindeki Geçmişin Görsel Temsillerinin Değerlendirilmesi başlığını taşımaktadır. Veri seti ve kodlar halka açık olarak mevcuttur.

Kırılgan ‘Gerçeklik’

Makaledeki bazı konular, ırksal ve cinsiyet temsilinin tarihi sunumlardaki kültürel duyarlıklıkla ilgili konuları içermektedir. Gemini’nin, III. Reich’te ırksal eşitlik dayatması gibi, tarihi bağlamda uygun olmayan bağlamlarda demografik adaleti dayatması, saçma ve tarihi bir revizyon olarak görülebilir.

Çok sayıda güncel tarihi diziler, örneğin Bridgerton, tarihi demografik doğruluğu bulanıklaştırmaktadır; bu da, gelecekteki eğitim veri setlerini etkileyerek, LLM tarafından oluşturulan dönem görüntülerini geleneksel standartlarla uyumlu hale getirmeyi zorlaştırmaktadır. Ancak, bu birleşik bir konudur; çünkü (Batı) tarihi, zenginlik ve beyaz ırka eğilim gösterme ve birçok “daha az” hikayeyi anlatmama eğilimindedir.

Bu karmaşık kültürel parametreleri göz önünde bulundurarak, araştırmacıların yeni yaklaşımına bir göz atalım.

Yöntem ve Testler

Tarihi bağlamı nasıl yorumladıklarını test etmek için, yazarlar HistVis adında 30.000 görüntüden oluşan bir veri seti oluşturdular; bu veri seti, 100 farklı insan faaliyetini 10 farklı zaman diliminde temsil eden görüntülerden oluşmaktadır:

HistVis veri setinden bir örnek, yazarlar tarafından Hugging Face’de paylaşılmıştır. Kaynak: https://huggingface.co/datasets/latentcanon/HistVis

Faaliyetler, yemek pişirme, dua veya müzik dinleme gibi evrensel faaliyetlerdir ve tarafsız bir formatta ifade edilmiştir; böylece model herhangi bir belirli estetikte sabitlenmez. Veri setindeki zaman dilimleri 17. yüzyıldan günümüze kadar uzanmaktadır ve 20. yüzyıldan beş ayrı on yıllık döneme odaklanılmaktadır.

30.000 görüntü, üç yaygın açık kaynaklı difüzyon modeli kullanılarak oluşturulmuştur: Stable Diffusion XL; Stable Diffusion 3; ve FLUX.1. Zaman dilimini tek değişken olarak izole ederek, araştırmacılar bu sistemlerin tarihi ipuçlarını nasıl görsel olarak kodladıklarını veya görmezden geldiklerini değerlendirebilecekleri yapılandırılmış bir temel oluşturdular.

Görsel Stil Baskınlığı

Yazarlar, modellerin tarihi dönemleri temsil ederken belirli görsel stiller kullanıp kullanmadıklarını initial olarak incelediler; çünkü modeller,.prompt’larda medium veya estetikten bahsetmese bile, belirli yüzyılları karakteristik stillerle ilişkilendirmeye eğilimlilerdi:

“Bir kişi [tarihsel dönem] içinde bir başka kişiyle dans ediyor” prompt’ından (solda) ve “monochrome resim” negative prompt’u ile “Bir kişi [tarihsel dönem] içinde bir başka kişiyle dans ediyor” prompt’undan (sağda) oluşturulan görüntülerin predicted görsel stilleri.

Bu eğilimi ölçmek için, yazarlar HistVis veri setindeki her bir görüntüyü beş kategoriye (çizim; oyma; illüstrasyon; resim; veya fotografi) ayıran bir convolutional neural network (CNN) eğittiler. Bu kategoriler, zaman dilimlerinde ortaya çıkan ortak desenleri yansıtmak amacıyla seçilmiştir ve yapılandırılmış bir karşılaştırma için destek sağlar.

Sınıflandırıcı, VGG16 modeline dayanmaktadır ve ImageNet ve fine-tuning için 1.500 örnek/her sınıf WikiArt türetilen veri setinden faydalanılmıştır. WikiArt, monochrome ve renkli fotoğrafçılık arasında ayrım yapmadığından, düşük doygunluklu görüntüleri monochrome olarak etiketlemek için renklilik puanı kullanılmıştır.

Eğitilmiş sınıflandırıcı, tüm veri setine uygulanmıştır ve sonuçlar, tüm modellerin belirli stilleri dönemlere atfettiğini göstermiştir: SDXL, 17. ve 18. yüzyılları oymalarla ilişkilendirirken, SD3 ve FLUX.1 resimlere eğilimlidir. 20. yüzyılın on yıllık dönemlerinde, SD3 monochrome fotoğrafçılığa yönelirken, FLUX.1 ve SDXL diğer stillere kayar.

Bu tercihler, prompt ayarlamalarına rağmen devam etmektedir; bu da, modellerin stil ve tarihi bağlam arasında derinlemesine bağlantılar kodladıklarını göstermektedir.

Her model ve dönem için 1.000 örnek başına dayalı olarak oluşturulan görüntülerin predicted görsel stilleri.

Yazarlar, bir modelin bir tarihi dönemi belirli bir görsel stile bağladığı gücünü ölçmek için Görsel Stil Baskınlığı (VSD) adlı bir ölçüt geliştirdiler. Her model ve zaman dilimi için VSD, belirli bir stilin en yaygın olduğu oran olarak tanımlanır:

Modellerdeki stil yanlılıklarının örnekleri.

Yüksek bir puan, belirli bir stilin o dönem için baskın olduğunu gösterirken, düşük bir puan daha fazla varyasyon anlamına gelir. Bu, her modelin görselinterpretasyonlarının zaman içinde nasıl daraldığını karşılaştırmayı mümkün kılar.

Tüm HistVis veri setine uygulandığında, VSD ölçütü, her modelin görselinterpretasyonlarının ne kadar sıkı ve tutarlı olduğunu açıklar:

Yukarıdaki sonuç tablosu, her model ve tarih dilimi için VSD puanlarını gösterir. 17. ve 18. yüzyıllarda, SDXL oymalara yüksek tutarlılıkta ulaşırken, SD3 ve FLUX.1 resimlere eğilimlidir. 20. ve 21. yüzyıllarda, SD3 ve FLUX.1 fotoğrafçılığa kayarken, SDXL daha fazla varyasyon gösterir ancak genellikle illüstrasyonlara yönelir.

Tüm modeller, 20. yüzyılın erken on yıllık dönemlerinde monochrome görüntülere güçlü bir eğilim gösterir; özellikle 1910’lar, 1930’lar ve 1950’ler.

Bu kalıpları azaltmak için, yazarlar prompt mühendisliği tekniklerini kullandılar; fotoğrafçı gerçekçiliği açıkça talep ederek ve monochrome çıktıyı olumsuz bir prompt ile engellemeye çalıştılar. Bazı durumlarda, baskınlık puanları azaldı ve baskın stil değişti; örneğin, 17. ve 18. yüzyıllarda monochrome’dan resim‘e kaydı.

Ancak bu müdahaleler genellikle真正 fotoğrafçı gerçekçi görüntüler üretmedi; bu da modellerin stil tercihlerinin derinlemesine kodlandığını gösteriyor.

Tarihsel Uygunluk

Sonraki analiz, modellerin tarihsel uygunluk açısından nasıl performans gösterdiklerini inceledi; yani, oluşturulan görüntülerin hangi ölçüde döneme uygun nesneleri içerdiğini değerlendirdi. Bunun yerine, yasaklanmış nesnelerin sabit bir listesini kullanmak yerine, yazarlar büyük dil modelleri (LLM’ler) ve görüntüleme-dil modellerini kullanarak, tarihi bağlamda uygun olmayan öğeleri tespit eden esnek bir yöntem geliştirdiler.

Algılama yöntemi, HistVis veri setinin aynı formatını izledi; her bir prompt, bir tarihi dönem ile bir insan faaliyetini birleştirdi. Her bir prompt için, GPT-4o, o dönem için uygun olmayan nesnelerin bir listesini üretti ve her önerilen nesne için, bu nesnenin oluşturulan görüntüde görünüp görünmediğini kontrol etmek için bir evet/hayır sorusu oluşturdu.

Örneğin, ’18. yüzyılda bir kişi müziğe kulak veriyor’ prompt’ı için, GPT-4o modern ses cihazlarını tarihi olarak yanlış olarak tanımlayabilir ve ’18. yüzyılda var olmayan kulaklıklar veya bir akıllı telefon kullanıyor mu?’ sorusunu üretebilir.

Bu sorular, bir görsel soru-cevap kurulumunda GPT-4o’ya geri verildi; burada model görüntüyü inceledi ve her bir soru için evet veya hayır cevabı verdi. Bu işlem, önceden tanımlanmış herhangi bir nesne taksonomisine dayanmadan, tarihi olarak uygunsuz içeriği tespit etmeyi mümkün kıldı:

Anakronistik öğeleri gösteren oluşturulan görüntülerin örnekleri: 18. yüzyılda kulaklıklar; 19. yüzyılda elektrik süpürgesi; 1930’larda dizüstü bilgisayar; ve 1950’lerde akıllı telefon.

Anakronizmlerin oluşturulan görüntülerde ne sıklıkla ortaya çıktığını ölçmek için, yazarlar basit bir yöntem geliştirdiler. İlk olarak, GPT-4o’nun aynı nesneyi tanımlamak için kullandığı farklı söz dizimlerini hesaba kattılar.

Örneğin, modern ses cihazı ve dijital ses cihazı, aynı kavramın farklı ifadeleri olarak ele alındı. Çift sayımı önlemek için, fuzzy matching sistemi kullanıldı; bu, yüzeydeki varyasyonları gruplandırırken gerçekten farklı kavramları etkilemedi.

Tüm önerilen anakronizmler normalize edildikten sonra, iki ölçüt hesaplandı: sıklık, belirli bir nesnenin belirli bir zaman diliminde ve modelde ne sıklıkla ortaya çıktığını ölçer; ve şiddeti, bu nesnenin önerildikten sonra ne kadar tutarlı bir şekilde ortaya çıktığını ölçer.

Eğer bir modern telefon on kez işaretlendi ve on görüntüde de görünüyorsa, şiddeti 1.0 olarak hesaplanırdı. Eğer sadece beş görüntüde görünüyorsa, şiddeti 0.5 olurdu. Bu puanlar, anakronizmlerin sadece ortaya çıkma sıklığını değil, aynı zamanda her bir período ve model için ne kadar güçlü bir şekilde kodlandıklarını da gösterdi:

Her model için en sık görülen 15 anakronistik öğe, sıklıkla x-ekseninde ve şiddetiyle y-ekseninde gösterilmiştir. Daireler, sıklıkla ilk 15’te yer alan öğeleri, üçgenler şiddete göre ilk 15’te yer alanları ve elmaslar her iki ölçütte de ilk 15’te yer alanları gösterir.

Üstteki grafikte, her model için en sık görülen 15 anakronizmin sıklık ve şiddetine göre sıralanmış hâlde görülmektedir.

Giysi, sık görülen ancak dağınık bir dağılım gösterirken, ses cihazları ve ütü gibi nesneler less sık ortaya çıkıyor ancak yüksek tutarlılık gösteriyor; bu, modellerin daha çok faaliyet rather than zaman dilimine odaklandığını gösteriyor.

SD3, özellikle 19. yüzyıl ve 1930’larda anakronizmlerin en yüksek oranına sahipken, FLUX.1 ve SDXL takip etti.

Algılama yönteminin insan yargısına ne kadar uyduğunu test etmek için, yazarlar SD3’ten (anakronizmin en yüksek olduğu model) 1.800 rastgele görüntüyü içeren bir kullanıcı çalışması gerçekleştirdiler; her görüntü üç crowd-worker tarafından değerlendirildi. Güvenilir yanıtları filtreledikten sonra, 234 kullanıcıdan 2.040 yargı dahil edildi ve yöntem %72 oranında insan yargısına uyumlu bulundu:

İnsan değerlendirme çalışması için GUI, görev talimatları, doğru ve anakronistik görüntülerin örnekleri ve oluşturulan çıktılardaki zaman uyumsuzluklarını tanımlamak için evet/hayır soruları.

Demografik Özellikler

Son analiz, modellerin ırk ve cinsiyetin nasıl temsil edildiğini incelemiştir. HistVis veri setini kullanarak, yazarlar model çıktılarını bir dil modeli tarafından oluşturulan temel tahmine kıyasladılar. Bu tahmindir, tarihi plausibliliği tam olarak yansıtmaz, ancak modellerin dönem ve faaliyetlere göre demografik özellikleri nasıl adapte ettiklerini göstermek için yardımcı olur.

Yazarlar, model çıktılarını ölçeklendirmek için bir işlem hattı oluşturdular; bu, model tarafından oluşturulan demografik özellikleri temel beklentilerle karşılaştırmayı mümkün kıldı. İlk olarak, FairFace sınıflandırıcısını kullandılar; bu, ResNet34 tabanlı bir araçtır ve 100.000’den fazla görüntüden oluşur. Bu, her bir sahnedeki yüzlerin erkek veya kadın olarak sınıflandırılmasını ve ırksal kategorilerin dönemler boyunca takip edilmesini sağlar.

Farklı modeller, zaman dilimleri ve faaliyetlerde demografik över-representasyon gösteren oluşturulan görüntülerin örnekleri.

Düşük güven seviyesindeki sonuçlar filtrelenerek gürültü azaltıldı ve tahminler, her bir zaman dilimine ve faaliyete bağlı tüm görüntüler üzerinden ortalama olarak hesaplandı. FairFace okumalarının güvenilirliğini kontrol etmek için, 5.000 görüntüden oluşan bir örneklem üzerinde DeepFace tabanlı bir ikinci sistem kullanıldı. İki sınıflandırıcı, demografik okumalarındaki tutarlılığı destekleyerek güçlü bir uyum gösterdi.

Model çıktılarını tarihi plausibliliği ile karşılaştırmak için, yazarlar GPT-4o’ya her bir faaliyet ve zaman dilimi için beklenen cinsiyet ve ırk dağılımını tahmin ettirdi. Bu tahminler, kesin gerçeklik yerine kaba bir temel olarak hizmet etti.

İki ölçüt kullanıldı: alt-temsil ve üst-temsil, model çıktılarının LLM’nin beklentilerinden ne kadar saptığını ölçer.

Sonuçlar net desenleri gösterir: FLUX.1 genellikle erkekleri över-represent eder, özellikle yemek pişirme gibi faaliyetlerde; SD3 ve SDXL, çalışma, eğitim ve din gibi kategorilerde benzer eğilimleri gösterir; beyaz yüzler genel olarak beklenenden daha fazla temsil edilir, ancak bu yanlılık daha yakın dönemlerde azalır; ve bazı kategoriler, histórik bağlamdan ziyade veri seti korelasyonlarını yansıtan beklenmedik zirveler gösteren非-beyaz temsil gösterir:

FLUX.1 çıktılarındaki cinsiyet ve ırksal över-representasyon ve alt-representasyon, yüzyıllar ve faaliyetler boyunca GPT-4o demografik tahminlerinden mutlak farklar olarak gösterilir.

Yazarlar şöyle sonuçlandırıyor:

‘Analizimiz, [Metin-Görsel/MG] modellerinin, tarihi dönemleri temsil ederken sınırlı görsel kodlamalara güvendiğini ve nüanslı tarihi anlama yerine bir-dimensional tarih sunumlarına yol açtığını gösteriyor.

‘Önemli olarak, fotoğrafçı gerçekçi insan betimlemeleri ancak 20. yüzyıldan itibaren ortaya çıkıyor; bu, modellerin öğrenilmiş ilişkileri pekiştirdiğini ve tarihi bağlamlara esnek bir şekilde adapte olmadığını, gerçekçiliğin modern bir özellik olarak algılandığını gösteriyor.

‘Ayrıca, sık görülen anakronizmler, bu modellerin latent uzaylarında tarihi dönemlerin temiz bir şekilde ayrılmadığını, modern nesnelerin pre-modern ortamlarda ortaya çıkabileceğini ve bu nedenle TTI sistemlerinin eğitim ve kültürel miras bağlamlarındaki güvenilirliğini zayıflatıyor.’

Sonuç

Difüzyon modelinin eğitimi sırasında, yeni kavramlar önceden tanımlanmış slotlara temiz bir şekilde yerleşmez. Bunun yerine, eğitim verisindeki sıklıklarına ve ilgili fikirlerle olan yakınlıklarına göre şekillenen kümelere dönüşürler. Sonuç, kavramların sıklığı ve tipik bağlamına göre organize edilmiş, gevşek bir yapıdır; burada kavramlar temiz veya ampirik bir ayrıma göre değil, birbirlerine olan ilişkilerine göre var olurlar.

Bu, büyük, genel amaçlı bir veri setinde ‘tarihsel’ olanın ne olduğunu belirlemeyi zorlaştırır. Yeni makaledeki bulgular, birçok zaman diliminin, derin tarihi ayrıntılar yerine, onları temsil eden medyanın görünümü ile daha çok temsil edildiğini gösteriyor.

Bu, 19. yüzyıldan bir karakterin 2025 kalitesinde fotoğrafçı gerçekçi bir görüntüsünü üretmeyi neden zor kılar; çünkü model, genellikle film ve televizyonun görsel klişelerinden faydalanır. Bu talebi karşılayamadığında, veri setinde telafi edecek başka bir şey yoktur. Bu boşluğu kapatmak, muhtemelen, chồngışan kavramları ayırmada gelecekteki gelişmelere bağlı olacaktır.

İlk olarak 26 Mayıs 2025 Pazartesi günü yayınlandı.