AI, Tarihi Dili Taklit Etmekte Güçlük Çekiyor

Amerika Birleşik Devletleri ve Kanada’daki araştırmacılar arasında bir işbirliği, büyük dil modellerinin (LLM’ler) ChatGPT gibi tarihi deyimleri geniş çaplı ön eğitim olmadan yeniden üretmekte zorlandığını ortaya koydu – bu, çoğu akademik veya eğlence girişiminin ötesinde bir maliyet ve emek yoğun süreçtir ve bu nedenle AI aracılığıyla Charles Dickens’ın son, bitmemiş romanını tamamlamak gibi projelerin gerçekleştirilmesi pek mümkün görünmüyor.

Araştırmacılar, basit olarak 20. yüzyılın başlarındaki nesir kullanarak başlayan ve o döneme ait kitapların küçük bir koleksiyonunda ticari bir modeli ince ayarlayarak tarihi olarak doğru olan metin üretme yöntemleri aralığındaki çeşitli yöntemleri keşfettiler.

Ayrıca, 1880 ile 1914 yılları arasında yayınlanan kitaplarla tamamen eğitilen ayrı bir modelin sonuçlarını karşılaştırdılar.

İlk testte, ChatGPT-4o’ya fin‑de‑siècle dilini taklit etmesini söylemek, 20. yüzyılın başlarındaki edebiyattan ince ayarlanmış daha küçük bir GPT2 tabanlı modelin sonuçlarından oldukça farklı sonuçlar üretti:

Gerçek bir tarihi metni tamamlayacak şekilde istendiğinde (orta-üst), iyi hazırlanmış bir ChatGPT-4o (alt sol) bile ‘blog’ moduna geri dönmekten ve istenen deyimi temsil etmemekten kaçınamaz. Buna karşılık, ince ayarlanmış GPT2 modeli (alt sağ) dil stilini iyi yakalar, ancak diğer yönlerden daha az doğru olur. Kaynak: https://arxiv.org/pdf/2505.00030

İnce ayar, çıktıyı orijinal stile yaklaştırsa da, insan okuyucular hala sık sık modern dil veya fikir izleri tespit edebiliyorlardı, bu da even dikkatli bir şekilde ayarlanmış modellerin bile çağdaş eğitim verilerinin etkisini yansıttığını gösteriyordu.

Araştırmacılar, tarihi olarak doğru dil veya diyalog üretebilmek için ekonomik kısa yolların bulunmadığını ortaya koyan hayal kırıklığına uğradılar. Ayrıca, anakronizmin kaçınılmaz olabileceğini de varsayarlar:

‘Ayrıca, anakronizmin kaçınılmaz olabileceğini de düşünmeliyiz. Geçmişi, tarihi modelleri talimatlarla eğitmek veya çağdaş modelleri daha eski bir döneme seslenmeye öğretmek suretiyle temsil ediyorsak, otorite ve konuşma akıcılığı arasında bir uzlaşma gerekli olabilir.

‘Çünkü, mesela, 21. yüzyıldan bir sorucu ile 1914’ten bir yanıtlayıcı arasındaki bir konuşma için hiçbir ‘otantik’ örnek yoktur. Böyle bir konuşma oluşturmaya çalışan araştırmacılar, yorumun her zaman geçmiş ve şimdi arasında bir müzakere içerdiğini düşünmelidirler.’

Çalışma, yeni bir çalışma olarak adlandırılır ve Illinois Üniversitesi, Britanya Kolumbiyası Üniversitesi ve Cornell Üniversitesi’nden üç araştırmacıdan oluşur.

Tam Bir Felaket

İlk olarak, araştırmacılar, modern dil modellerinin basit bir şekilde tarihi dili taklit edebileceğini test etmek için üç parçalı bir araştırma yaklaşımı uyguladılar. 1905 ile 1914 yılları arasında yayınlanmış gerçek alıntıları kullanarak, ChatGPT-4o’ya bu parçaları aynı üslupla tamamlamasını istediler.

Orijinal dönem metni şuydu:

‘Bu son durumda, yaklaşık beş veya altı dolar tasarruf edilir, çünkü bir dakika boyunca bir kişinin dinlenmekte olduğu veya bir manzara olduğu bir nesnenin projeksiyonu için yirmi yarda film geri sarılması gerekir. Böylece, sabit ve hareketli resimlerin pratik bir birleşimi elde edilir ve bu, çok sanatsal efektler üretir.

‘Ayrıca, iki sinematografu alternatif olarak projekte etmek veya aynı anda kırmızı ve yeşil görüntüleri projekte etmek ve doğal renkleri yeniden üretmek için soğuk ışığı uygulamak mümkündür, bu da insan gözünü, temel renkleri aynı anda alışık olduğu şekilde almaktan fizyolojik yorgunluktan kurtarır. Ani fotoğrafçılıkta soğuk ışığın uygulanması hakkında bir söz söyleyelim.’

Üretilen metnin amaçlanan tarihi üslubunu karşılayıp karşılamadığını değerlendirmek için, araştırmacılar bir RoBERTa modelini, 1810’dan 2009’a kadar materyalleri kapsayan Tarihi Amerikan İngilizcesi Korpusu alt kümesinden yayın tarihlerini tahmin etmek için eğittiler.

RoBERTa sınıflandırıcı, daha sonra 1905 ile 1914 yılları arasında yayınlanan gerçek parçalarla.prompt edilen ChatGPT-4o tarafından üretilen devamı değerlendirmek için kullanıldı.

Sistem promt’i (yani, ChatGPT’ye görevi nasıl yaklaşacağına ilişkin bağlamsal talimatlar) şuydu:

‘Göreviniz, 20. yüzyılın başlarındaki kitap parçalarını tamamlamaktır. 1913’te yayınlanmış bir kitabın bir parçası verilecektir. Bu parçayı aynı üslupla, en az 200 kelime olacak şekilde tamamlayınız; yalnızca bu devamı sağlayınız, ‘şurada devamı’ gibi çerçeveleyici yorumlar yapmayınız.’

Hem tek atışlı hem de 20 atışlı promt’a rağmen, ChatGPT-4o’nun çıktıları tutarlı bir şekilde 21. yüzyıla ait üslup kaydına kaydı.

Örnekte verilen, gerçek dönem metni hakkında fotoğrafçılıkla ilgili bir parçanın devamı, ChatGPT-4o’nun blog benzeri bir girişimi olarak verildi:

‘Ani fotoğrafçılıkta soğuk ışığın kullanımı, değişen ışık koşulları altında görüntüleri yakalama yaklaşımını devrim niteliğinde değiştirdi. Geleneksel olarak, fotoğrafçılar doğal ışığın sertliği ve değişkenliği veya flaş fotoğrafçılığının müdahaleci doğası ile mücadele etti, bu da bir sahnenin atmosferini veya konuların doğal davranışını bozabilirdi, özellikle vahşi yaşam ve samimi insan fotoğrafçılığında.’

‘Soğuk ışık, daha yumuşak ve daha dağınık doğası ile… renkleri ve dokuları daha doğal bir şekilde temsil etmeyi sağlar, bu genellikle sert yapay aydınlatma altında kaybolur.’

Bu, orijinal dönem metnine uymayan, genel bir Wiki tarzı metin ve ayrıca orijinal içeriğin devamı değil, bir alt konuya dalan bir parçadır.

Ek olarak, GPT-1914 adlı, 1880 ile 1914 yılları arasında literatürden oluşan 26.5 milyar tokenlik bir GPT-2 sınıfı modeli, orijinal dönem metninin stilini daha iyi yakalasa da, ChatGPT-4o’dan daha az tutarlı çıktı üretti.

Örnekte verilen, gerçek dönem metni hakkında fotoğrafçılıkla ilgili bir parçanın devamı, GPT-1914 tarafından üretilen bir parçaydı:

‘İlkemiz zaten açıklanmıştır (s. 4). Burada yalnızca, kolodyon ile kaplı kağıtlar veya jelatin plakalar üzerinde çok hızlı fotoğraflar almak için avantajlı bir şekilde uygulanabileceğini söyleyeceğiz.

‘Bu durumlarda, maruz kalma süresi en az bir saniye olmamalıdır, ancak resim yarım saniyede geliştirilmek istenirse, sıcaklık 20° C’nin altına düşmemelidir, aksi takdirde görüntü geliştirme sonrasında quá dark hale gelecektir; ayrıca, bu koşullarda plaka duyarlılığını kaybedecektir.

‘Ancak normal amaçlar için, yalnızca duyarlı yüzeyi düşük bir ısı derecesine maruz bırakmak yeterli olur, ayrıca hiçbir özel önlem gerekli değildir, sadece…’

Gerçek ve orijinal materyalin karmaşık ve zor takip etmesi nedeniyle, GPT-1914’un orijinali ne kadar iyi yakaladığını anlamak zordur, ancak çıktı kesinlikle daha dönemsel bir havaya sahiptir.

Ancak, araştırmacılar bu deneyle, basit promt’ın büyük ön eğitime sahip bir modelin çağdaş önyargılarını aşmakta fazla bir şey başaramadığını sonucuna vardılar.

Oyun Kötüye Gidiyor

Araştırmacılar, model çıktılarının ne kadar tarihi yazına benzediğini ölçmek için, her metin örneğinin muhtemel yayın tarihini tahmin etmek için istatistiksel bir sınıflandırıcı kullandılar. Daha sonra sonuçları, her bir geçişin tarihi zaman çizelgesinde nereye düştüğünü gösteren bir çekirdek yoğunluk grafiği kullanarak görselleştirdiler.

Gerçek ve üretilen metin için tahmin edilen yayın tarihleri, 1905-1914 kaynak metinleri ile GPT-4o ve GPT-1914 tarafından üretilen devamaları karşılaştıran bir sınıflandırıcı temelinde.

İnce ayarlanmış RoBERTa modeli, bu görev için kullanılan, mükemmel değildi, ancak genel stil eğilimlerini vurgulamak için yeterliydi. GPT-1914 tarafından üretilen parçalar, erken 20. yüzyılda toplanmış ve orijinal kaynak materyaliyle benzer bir şekilde, erken 20. yüzyılda kümelendi.

Öte yandan, ChatGPT-4o’nun çıktıları, birçok historical örnekle promt edilmiş olsalar da, 21. yüzyıla ait yazına benziyordu ve orijinal eğitim verilerini yansıtıyordu.

Araştırmacılar, bu uyumsuzluğu Jensen-Shannon divergence adlı bir ölçek kullanarak ölçtüler, bu, iki olasılık dağılımının ne kadar farklı olduğunu gösterir. GPT-1914, gerçek historical metne göre 0.006 puan alırken, ChatGPT-4o’nun tek atışlı ve 20 atışlı çıktıları sırasıyla 0.310 ve 0.350 puan aldı.

Araştırmacılar, bu bulguların, promt’ın historical bir üslup üretebilmek için güvenilir bir yol olmadığını gösterdiğini savunuyorlar.

Parçayı Tamamlamak

Çalışma, ince ayarın daha iyi bir sonuç üretip üretmeyeceğini araştırdı, çünkü bu süreç, bir modelin kullanılabilir ağırlıklarını kullanıcı tarafından belirtilen verilerle ‘devam ettirerek’ doğrudan etkiler – bu, orijinal temel işlevi etkileyebilir, ancak modelin performansı üzerinde önemli bir etkiye sahip olabilir.

İlk ince ayar deneyinde, ekip, 1905 ile 1914 yılları arasında yayınlanmış kitapların parçalarını tamamlama çiftlerinden oluşan yaklaşık iki bin parçayla GPT-4o-mini‘yi eğitti. Modelin çıktılarını, orijinal dönem metniyle karşılaştırmak için aynı RoBERTa tabanlı sınıflandırıcıyı kullandılar.

Deneyde, ince ayarlanmış model, orijinal metne yakından benzeyen metin üretti ve stilistiksapması, Jensen-Shannon divergence ölçümüyle 0.002’ye düştü, bu da GPT-1914 ile benzerdi:

1905-1914 arasında yayınlanan kitapların gerçek ve üretilen metinleri için tahmin edilen yayın tarihleri, GPT-1914 ve ince ayarlanmış GPT-4o-mini’nin stilini erken 20. yüzyıl yazınına yaklaştırıyor.

Ancak, araştırmacılar, bu ölçütün yalnızca historical üslubun yüzeydeki özelliklerini yakalayabileceğini, daha derin kavramsal veya gerçek anachronizmları yakalayamayabileceğini uyarıyor.

‘Bu, çok duyarlı bir test değil. Burada kullanılan RoBERTa modeli, yalnızca bir tarih tahmin etmek için eğitildi, otantik parçaları anachronistik olanlardan ayırt etmek için değil. Muhtemelen, bu tahmini yapmak için kaba stilistik kanıtları kullanıyor. İnsan okuyucular veya daha büyük modeller, ‘dönem içinde’ gibi görünen parçalarda anachronistik içerik tespit edebilir.’

İnsan Dokunuşu

Son olarak, araştırmacılar, 1905 ile 1914 yılları arasında yayınlanmış 250 el seçimi parçasını kullanarak insan değerlendirme testleri gerçekleştirdiler ve bu metinlerin çoğunun o zamanlardan farklı olarak bugün farklı şekilde yorumlanabileceğini gözlemlediler:

‘Listemiz, örneğin Alsace (o zamanlar Almanya’nın bir parçası) hakkında bir ansiklopedi girişi ve beri-beri (o zamanlar genellikle bir mantar hastalığı olarak açıklanan bir hastalık) hakkında bir girişi içeriyordu. Bu, gerçek farklılıkları içerir, ancak aynı zamanda daha ince tutum, retorik veya hayal gücü farklılıklarını gösteren parçaları da seçtik.’

‘Örneğin, 20. yüzyılın başlarındaki Avrupalı olmayan yerlerin tanımları genellikle ırksal genellemeyle kaybolur. 1913’te yazılmış bir ay doğuşu tasviri, atmosfer olmadan bir dünya için zengin kromatik fenomenler hayal eder, çünkü o zamanlar kimse ayın fotoğrafını görmemiştir.’

Araştırmacılar, her historical parçaya plausibly cevap verebilecek kısa sorular oluşturdular, sonra GPT-4o-mini’yi bu soru-cevap çiftleriyle eğittiler. Değerlendirmeyi güçlendirmek için, her defasında test için farklı bir veri bölümünü tutarak beş ayrı model versiyonunu eğittiler.

Sonra, hem varsayılan GPT-4o hem de GPT-4o-mini’nin yanı sıra ince ayarlanmış varyantların cevaplarını, eğitim sırasında görmedikleri veri bölümü üzerinde ürettirdiler.

Zamanda Kaybolmak

Araştırmacılar, modellerin historical dili ne kadar inandırıcı bir şekilde taklit edebileceğini değerlendirmek için, üç uzman annotatörden 120 AI tarafından üretilen parçayı incelemelerini ve her birini 1914’te yazılmış gibi görünüp görünmediğini değerlendirmelerini istediler.

Bu doğrudan değerlendirme yaklaşımı beklenenden daha zorlu çıktı: annotatörler değerlendirmelerinde yaklaşık %80 oranında anlaşmış olsalar da, ‘inandırıcı’ seçeneğini ‘inandırıcı değil’ seçeneğine göre iki kat daha sık seçmeleri, gerçek anlaşma düzeylerinin yalnızca orta düzeyde olduğu anlamına geliyordu, bu da Cohen’in kappa skoru ile ölçüldü ve 0.554 olarak hesaplandı.

Annotatörler, görevi zor olarak tanımladılar, thường ek araştırma gerektiriyordu, çünkü bir ifadenin 1914’te geçerli veya inanılır olup olmadığını değerlendirmek gerekiyordu.

Bazı parçalar, ton ve perspektif hakkında zor sorular ortaya koydu – örneğin, bir cevapın 1914’te tipik olabilecek dünya görüşü sınırlamasına uygun şekilde sınırlı olup olmadığını belirlemek. Bu tür bir yargı thường etnosantrizm düzeyine bağlıydı (yani, diğer kültürleri kendi kültürünün varsayımları veya önyargılarından bakarak değerlendirmek).

Bu bağlamda, zorluk, bir parçanın yeterince kültürel önyargı içerip içermediğini, historical olarak inandırıcı görünmeden modern veya açıkça saldırıya uğramış gibi görünmeden belirlemekti. Araştırmacılar, даже o döneme aşina olan bilim insanları için bile, historical olarak doğru dil ile günümüzün fikirlerini yansıtan dil arasında net bir çizgi çekmenin zor olduğunu belirtiyorlar.

Sonuçlar, modellerin açık bir sıralamasını gösterdi, ince ayarlanmış GPT-4o-mini genel olarak en inandırıcı olarak değerlendirildi:

Annotatörlerin her modelin çıktısının ne kadar inandırıcı göründüğüne ilişkin değerlendirmeleri

Bu performans seviyesinin, %80 oranında ‘inandırıcı’ olarak değerlendirilmesinin, historical araştırma için yeterli olup olmadığı belirsizdir – özellikle çalışmada, gerçek historical metinlerin ne sıklıkla yanlış sınıflandırılabileceğinin bir réféansı dahil edilmediği için.

Girme Uyarısı

Sonraki ‘girme testinde’, uzman annotatörler, aynı historical soruyu cevaplayan dört anonim parçayla sunuldu. Üçü dil modellerinden, biri ise gerçek bir erken 20. yüzyıl kaynağından geliyordu.

Görev, orijinal parçayı, yani gerçekten o dönemde yazılmış olanı, tespit etmekti.

Bu yaklaşım, annotatörlerden doğrudan inandırıcılık değerlendirmesi yapmalarını istemiyordu, ancak modellerin çıktılarının gerçek historical metinden ayırt edilebilme sıklığını ölçüyordu, yani modellerin çıktılarının gerçek gibi görünüp görünmediğini test ediyordu.

Model sıralaması, önceki yargılama görevinin sonuçlarıyla eşleşiyordu: ince ayarlanmış GPT-4o-mini, modeller arasında en ikna ediciydi, ancak yine de gerçek historical metinden geri kalıyordu.

Her kaynağın gerçek historical parça olarak doğru bir şekilde tanımlanma sıklığı

Bu test ayrıca bir referans noktası olarak hizmet etti, çünkü gerçek parça daha než yarım zaman tanımlanabiliyordu, bu da insan okuyucular için sentetik ve gerçek historical metin arasındaki boşluğun masih belirgin olduğunu gösteriyordu.

Bir istatistiksel analiz olan McNemar’ın testi, model arasındaki farklılıkların anlamlı olduğunu, ancak iki ayarlanmamış versiyon (GPT-4o ve GPT-4o-mini) arasında benzer bir performans gösterildiğini onayladı.

Geleceğin Geçmişi

Araştırmacılar, modern dil modellerinin historical bir ses taklit etmesini istemek, güvenilir sonuçlar üretmediğini buldu: insan okuyucular tarafından yalnızca %60’a kadar çıktı inandırıcı bulundu ve bu rakam muhtemelen performansı abartıyordu.

Çok sayıda durumda, yanıtlar, modelin günümüz perspektifinden konuştuğunu gösteren açık sinyaller içeriyordu – ‘1914’te bilinmeyen…’ veya ‘1914 itibariyle bana yabancı…’ gibi ifadeler, çıktıların yaklaşık %20’sinde ortaya çıkıyordu. Bu tür açıklamalar, modelin historyi dışarıdan simüle ettiğini, içinden yazmadığını açıkça ortaya koyuyordu.

Araştırmacılar şöyle diyor:

‘Bağlam içi öğrenmenin kötü performansı üzücü, çünkü bu yöntemler AI tabanlı historical araştırmalar için en kolay ve en ucuz yöntemlerdir. Vurguluyoruz ki, bu yöntemleri eksiksiz bir şekilde keşfetmedik.

‘Belki de bağlam içi öğrenme, şimdi veya gelecekte, bazı araştırma alanları için yeterli olabilir. Ancak ilk kanıtlarımız cesaret verici değil.’

Araştırmacılar, historical parçalarla bir ticari modeli ince ayarlayarak stilistik olarak inandırıcı çıktılar üretilebileceğini, ancak bu yöntemin modern perspektifin izlerini tamamen ortadan kaldıramadığını kếtüller. Historical materyalle tamamen eğitilen bir model, anachronizmi önler, ancak daha fazla kaynak gerektirir ve menos akıcı çıktı üretir.

Her iki yöntem de tam bir çözüm sunmuyor ve historical sesleri simüle etmeye yönelik herhangi bir girişimin, otorite ve akıcılık arasında bir trade-off içerdiği anlaşılıyor. Araştırmacılar, bu gerilimi en iyi nasıl yöneteceğinin belirlenmesi için daha fazla araştırmaya ihtiyaç duyulduğunu kếtüller.

Sonuç

Belki de bu yeni çalışmadan ortaya çıkan en ilginç sorulardan biri, otantiklik sorusudur. Bilgisayarlı görü ile ilgili araştırmacılar, loss fonksiyonları ve metriklere sahip oldukları gibi, LPIPS ve SSIM gibi, gerçekle karşılaştırmak için like-on-like bir metodolojiye sahipler.

Öte yandan, geçmiş bir dönemin stilinde yeni metinler üreterek, yalnızca ortadan kaybolmuş bir kültürel perspektifi temsil etmeye çalışıyoruz – sadece literary izler aracılığıyla. Geçmişin bilincini bu izlerden yeniden inşa etmeye çalışmak, kendisinin bir kuantizasyon eylemidir, çünkü bu izler sadece kanıtlardır, ortaya çıktıkları kültürel bilinç ise çıkarımdan ve hayal gücünden öteye geçer.

Pratik düzeyde de, modern dil modellerinin temelleri, günümüz normları ve verilerine göre şekillenir ve bu nedenle, bir Edwardian okuyucu için makul veya dikkat çekici olmayan, ancak şimdi önyargı, eşitsizlik veya haksızlık artifactsı olarak görünen fikirleri yeniden yorumlayabilir veya bastırabilir.

Öyleyse, böyle bir sohbeti yaratabilsek bile, bizi itebilir mi diye merak ediyoruz.

İlk olarak 2 Mayıs 2025 Cuma günü yayınlandı