Yapay Zekanın Analog Saatleri Okuma Mücadelesi Daha Derin Anlama Sahip Olmayabileceğini Gösteriyor

Çin ve İspanya’dan araştırmacıların yeni bir makalesi, GPT-4.1 gibi gelişmiş çok modelli yapay zeka modellerinin bile analog saatlerin resimlerinden saatı söylemekte zorlandığını ortaya koyuyor. Saatlerde küçük görsel değişiklikler büyük yorumlama hatalarına neden olabiliyor ve fine-tuning sadece tanıdık örneklerle yardımcı oluyor. Sonuçlar, bu modellerin gerçek dünya görevlerinde karşılaştıkları bilinmeyen görseller karşısında güvenilirliklerine ilişkin endişeler yaratıyor.

İnsanlar bir alanı, örneğin yerçekimi veya diğer temel fiziksel prensipleri, yeterince derin bir şekilde anladığında, özel örneklerin ötesine geçerek altta yatan soyutlamaları kavramaya başlarlar. Bu, o bilgiyi yaratıcı bir şekilde çeşitli bağlamlarda uygulamalarına ve daha önce hiç görmedikleri yeni örnekleri, prensibin eylemde olduğunu tanımlayarak tanımalarına olanak tanır.

Bir alan đủ önemli olduğunda, onu var olmadığı yerde bile algılayabiliriz, bu da pareidolia ile ilgilidir ve gerçek bir örneği tanımamakta başarısız olmanın yüksek maliyeti tarafından yönlendirilir. Bu desen tanıma mekanizması o kadar güçlüdür ki, aslında hiçbir desen olmayan yerlerde daha geniş bir desen yelpazesini bulmamıza neden olur.

Bir alan ne kadar erken ve tekrarlı bir şekilde bize öğretilirse, o alanın temelleri o kadar derine iner ve ömür boyu sürer; ve çocukluklarında maruz kaldıkları ilk görsel veri setlerinden biri, saat öğretme saatlerinde basılı materyal veya etkileşimli analog saatler kullanılarak saat nasıl okunur öğretilmesidir:

Çocukların saat okumayı öğrenmesine yardımcı olan eğitim materyalleri. Kaynak: https://www.youtube.com/watch?v=IBBQXBhSNUs

İnsanların saat tasarımı konusundaki değişen modaları bazen bizi zorlayabilir, ancak bu erken alan hakimiyetinin dayanıklılığı gerçekten etkileyicidir ve bizi karmaşık veya “eksantrik” tasarım seçimlerine rağmen analog saat yüzlerini anlamaya olanak tanır:

Saat modasının bazı zorlayıcı yüzleri. Kaynak: https://www.ablogtowatch.com/wait-a-minute-legibility-is-the-most-important-part-of-watch-design/

İnsanların saatlerin nasıl çalıştığını öğrenmek için binlerce örneğe ihtiyacı yoktur; bir kez temel kavram anlaşılırsa,几乎 herhangi bir formda tanınabilir, hatta bozulmuş veya soyutlaştırılmış olsa bile.

Yapay zeka modellerinin bu görevle karşılaştıkları zorluk, daha derin bir sorunu vurgulamaktadır: görünürdeki güçlerinin, yüksek hacimli maruz kalma rather než anlama üzerine dayandığına işaret etmektedir.

İmitasyon Oyununun Ötesinde?

Yüzey düzeyindeki performans ile gerçek “anlama” arasındaki gerilim, büyük modellerin yakın zamanda yapılan araştırmalarında defalarca ortaya çıkmıştır. Geçen ay Zhejiang Üniversitesi ve Westlake Üniversitesi, bir makale ile soruyu yeniden formüle etti: PhD düzeyindeki LLM’ler gerçekten temel toplama kavramını kavradılar mı? (bu makale bu yazıda odaklanılan konu değil), ve şu sonuca vardı:

‘İki yönlü testlerde etkileyici performanslara rağmen, modeller desen eşleştirmeye rather než gerçek anlama bağımlı olduklarını gösterdi, sembolik temsildeki başarısızlıklar ve temel özelliklerin ihlali ile kanıtlandı.

‘Açık kural sağlama, performansı bozuyor gibi görünüyor, bu da içsel mimari kısıtlamaları ima ediyor. Bu bilgiler, değerlendirme açıklarını ortaya koyuyor ve gerçek matematiksel akıl yürütme için desen tanıma ötesinde yeteneklere sahip mimarilerin gerekliliğini vurguluyor.’

Bu hafta, soru şimdi Nanjing Havacılık ve Uzay Üniversitesi ve İspanya’daki Universidad Politécnica de Madrid arasındaki bir işbirliği ile ortaya çıkıyor. Çok Modelli Büyük Dil Modelleri (MLLM’ler) Gerçekten Analog Saatlerde Saati Öğrenmişler mi? adlı yeni makale, çok modelli modellerin saat okumayı ne kadar iyi anladığına dair bir araştırma içeriyor.

Araştırmanın ilerlemesi sadece genel olarak makalede kapsanmaktadır, ancak araştırmacıların ilk testleri, OpenAI’nin GPT-4.1 çok modelli dil modelinin, çeşitli saat resimlerinden saati doğru olarak okumakta zorlandığını ortaya koydu, hatta basit durumlarda bile yanlış cevaplar verdi.

Bu, modelin eğitim verisi中的 bir boşluğu işaret ediyor, daha dengeli bir veri seti ihtiyacını ortaya koyuyor, modelin gerçekten altta yatan kavramı öğrenip öğrenmediğini test etmek için. Dolayısıyla yazarlar, her olası saati eşit olarak kapsayan ve internet resimlerinde bulunan обыч偏见lerden kaçınan sentetik bir analog saat veri seti oluşturdular:

Araştırmacıların sentetik analog saat veri setinden bir örnek, yeni çalışmada bir GPT modelini fine-tune etmek için kullanıldı. Kaynak: https://huggingface.co/datasets/migonsa/analog_watches_finetune

Veri setine fine-tune olmadan önce, GPT-4.1 bu saatleri okumakta tutarlı olarak başarısız oldu. Ancak yeni koleksiyona maruz kaldıktan sonra performansı iyileşti – ancak yalnızca yeni görüntüler daha önce gördüklerine benziyordu.

Saat şekli veya el stilinin değiştiğinde, doğruluk keskin bir şekilde düştü; hatta küçük değişiklikler, örneğin daha ince eller veya ok uçları (sağdaki resim), onu şaşırtmaya yetti; ve GPT-4.1, ayrıca ‘eriyen saatler’ gibi Dali-esque saatleri yorumlamakta da zorluk çekti:

Standart tasarım (solda), bozulmuş şekil (orta) ve değiştirilmiş eller (sağda) ile saat resimleri, fine-tune olmadan ve sonrasında GPT-4.1 tarafından verilen saatler. Kaynak: https://arxiv.org/pdf/2505.10862

Yazarlar, şu sonuca varıyorlar: GPT-4.1 gibi mevcut modeller, saat okumayı esas olarak görsel desen eşleştirmesi yoluyla öğreniyor olabileceğinden, daha derin bir kavram değil:

‘[GPT 4.1] saat bozulmuş veya saat eli değiştirildiğinde başarısız oluyor. Ortalama Mutlak Hata (MAE) 150 rastgele zamanda 232.48s için ilk saatler, 1380.69s saat şekli değiştirildiğinde ve 3726.93s saat eli değiştirildiğinde.

‘Bu sonuçlar, MLLM’nin saati söylemeyi öğrenmediğini, ancak desenleri ezberlediğini gösteriyor.’

Yeterince Zaman

Çoğu eğitim veri seti, belirli saatleri tekrar eden web resimlerine dayanmaktadır, özellikle de saat reklamlarında popüler bir ayar olan 10:10:

Yeni makaledeki ‘on past ten’ saatinin analog saat resimlerinde yaygınlığına bir örnek.

Bu nedenle, model yalnızca belirli saat konfigürasyonlarının dar bir aralığını görebilir ve bu da gerçek dünya görevlerinde daha geniş bir genellemeye ulaşma yeteneğini sınırlar.

Bozulmuş saatleri doğru şekilde yorumlayamama nedenleriyle ilgili olarak, makale şöyle diyor:

‘GPT-4.1 standart saat resimlerinde olağanüstü bir performans sergiler, ancak saat elini incelterek ve ok ucu ekleyerek performansı önemli ölçüde düşer.

‘İntuitif olarak, daha görsel olarak karmaşık bir değişiklik -distorted dial- daha büyük bir etkiye sahip olacağını düşünebilirsiniz, ancak bu değişiklik nispeten daha küçük bir etkiye sahip gibi görünüyor.

‘Bu, bir soru ortaya koyuyor: MLLM’ler saatleri nasıl yorumluyor ve neden başarısız oluyor? Bir olasılık, MLLM’lerin saat elinin yönünü algılama yeteneğini zayıflatarak, uzaysal yön duygusunu zayıflatıyor olabileceğidir.

‘Alternatif olarak, modelin doğru saat okumalarını birleştirmeye çalışırken başka faktörler de karışıklığa neden olabilir.’

Yazarlar, bu başarısızlıkların kök nedenini belirlemenin, çok modelli modelleri ilerletmek için kritik olduğunu savunuyor: eğer sorun modelin uzaysal yönü algılamasındaysa, fine-tuning basit bir çözüm sunabilir; ancak eğer problem, birden fazla görsel ipucunu birleştirmede daha temel bir zorluksa, bu sistemlerin bilgi işleme şeklindeki daha temel bir zayıflığa işaret eder.

Fine-Tuning Testleri

Modelin başarısızlıklarının, maruz kalma ile aşılabileceğini test etmek için, GPT-4.1 yukarıda bahsedilen ve kapsamlı sentetik veri setine fine-tune edildi. Fine-tuning olmadan önce, tahminleri geniş çapta dağılmıştı ve tüm saat türlerinde önemli hatalar vardı. Veri setine fine-tune edildikten sonra, standart saat yüzlerinde doğruluk keskin bir şekilde arttı ve daha az ölçüde deforme edilmiş saatlerde.

Ancak, değiştirilmiş elleri olan saatler, örneğin daha ince şekiller veya ok uçları, hala büyük hatalar üretmeye devam etti.

İki ayrı başarısızlık modu ortaya çıktı: normal ve deforme saatlerde, model genellikle el yönünü yanlış hesaplıyordu; ancak değiştirilmiş el stilleri olan saatlerde, genellikle her elin işlevini karıştırıyordu, saat elini dakika eli ile veya dakika elini saniye eli ile karıştırıyordu.

Modelin ilk zayıflığını ve sentetik bir veri setine fine-tune edildikten sonra kısmi kazançları gösteren bir karşılaştırma, 150 rastgele seçilen saat için预测 edilen ve gerçek zaman, saniye cinsinden.

Bu, modelin görsel özelliklerle, örneğin el kalınlığı, belirli rollerle ilişkili olduğunu ve bu ipuçlarının değiştiğinde mücadele verdiğini gösteriyor.

Değiştirilmiş el saatlerinde, modelin performansı, standart saatlerdeki doğruluğuna ulaşmadı:

To focus on directional errors alone, the analysis was limited to cases where the model correctly identified each hand’s function. If the model had internalized a general concept of time-telling, its performance on these examples should have matched its accuracy on standard clocks. It did not, and accuracy remained noticeably worse.

To examine whether hand shape interfered with the model’s sense of direction, a second experiment was run: two new datasets were created, each containing sixty synthetic clocks with only an hour hand, pointing to a different minute mark. One set used the original hand design, and the other the altered version. The model was asked to name the tick mark that the hand was pointing to.

Results showed a slight drop in accuracy with the modified hands, but not enough to account for the model’s broader failures. A single unfamiliar visual feature appeared capable of disrupting the model’s overall interpretation, even in tasks it had previously performed well.

GPT-4.1’in fine-tune olmadan ve sonrasında standart, deforme ve değiştirilmiş el saatlerindeki performansı, düzensiz kazançlar ve kalıcı zayıflıklar gösteriyor.

El İşaretleri

Bu nedenle, fine-tuning GPT-4.1’in geleneksel analog saatlerdeki performansı iyileştirdi, ancak değiştirilmiş el saatlerinde çok daha az etkiye sahipti, modelin başarısızlıklarının, soyut akıl yürütmeden ziyade, hangi elin hangi el olduğu konusunda karışıklık olabileceğini ortaya koyuyor.

Modelin ‘değiştirilmiş el’ veri setindeki tahminlerini değerlendirmek için, çıktılar iki gruba ayrıldı: GPT-4.1’in saat, dakika ve saniye ellerini doğru olarak tanımladığı durumlar ve tanımlayamadığı durumlar.

Tahminler, fine-tune olmadan ve sonrasında Ortalama Mutlak Hata (MAE) için değerlendirildi ve standart saatlerle karşılaştırıldı; ayrıca her el için dial konumuna dayalı olarak açısal hata ölçüldü:

Değiştirilmiş el veri setindeki saat eli rolü karışıklığı olan ve olmayan saatler için hata karşılaştırması, fine-tune olmadan ve sonrasında.

Saat eli rollerini karıştırmak, en büyük hatalara yol açtı. GPT-4.1 saat elini dakika eli ile veya tersi ile karıştırdığında, oluşan saat tahminleri genellikle çok uzaktı. Buna karşılık, doğru tanımlanmış bir elin yönünü yanlış hesaplamak, daha küçük hatalara neden oldu. Üç el arasında, saat eli fine-tune olmadan önce en yüksek açısal hatayı gösterdi, saniye eli ise en düşük açısal hatayı gösterdi.

Değiştirilmiş el veri setindeki el türü tarafından açısal hata, fine-tune olmadan ve sonrasında, el rolü karışıklığı olan ve olmayan tahminler için.

Yalnızca yön hatalarını incelemek için, analiz, modelin her elin işlevini doğru olarak tanımladığı durumlara sınırlı tutuldu. Eğer model genel bir saat okuma kavramını içselleştirmiş olsaydı, bu örneklerdeki performansı, standart saatlerdeki doğruluğuna eşleşmeliydi. Ancak öyle olmadı ve doğruluk masih daha kötü kaldı.

El şekli modelin yön duygusunu bozuyor mu diye incelemek için, ikinci bir deney yapıldı: iki yeni veri seti oluşturuldu, her biri yalnızca bir saat eli olan 60 sentetik saat içeriyordu, ve her biri farklı bir dakika işaretine işaret ediyordu. Bir set orijinal el tasarımını, diğeri değiştirilmiş tasarımını kullandı. Model, elin işaret ettiği dakika işaretini söylemesi istendi.

Sonuçlar, değiştirilmiş ellerde biraz doğruluk düşüşü gösterdi, ancak modelin daha geniş başarısızlıklarını açıklamak için yeterli değildi. Bir tek yabancı görsel özellik, modelin genel yorumunu bozabileceğini gösterdi, hatta daha önce iyi performans gösterdiği görevlerde bile.

GPT-4.1’in fine-tune olmadan ve sonrasında standart, deforme ve değiştirilmiş el saatlerindeki performansı, düzensiz kazançlar ve kalıcı zayıflıklar gösteriyor.

Sonuç

Makalenin odaklandığı konu ilk bakışta önemsiz gibi görünse de, aslında önemli bir soruyu gündeme getiriyor: modelleri daha fazla ve daha çeşitli veri ile doyurmak, insanların soyutlama ve genelleme yoluyla kazandığı alan anlama düzeyine ulaşabilir mi; yoksa bu düzeyde anlama için, sadece her olası varyasyonu anticip etmek için domaine yeterli örneklerleflooding etmek gerekli midir?

Her iki yol da, mevcut mimarilerin gerçekten ne öğrenebileceği konusunda şüpheler yaratıyor.

İlk olarak 19 Mayıs 2025 Pazartesi günü yayımlandı