AI Görüntü Sistemleri Aslında Gerçekten ‘Bakmıyor’ Olabilir

AI görüntü sistemleri, resimleri stereotiplerle açıklıyor olabilir, aslında gördükleriyle değil. Etiketi kaldırın, sözde görsel açıklamaları çökecek.

Çünkü sınır AI platformları sürekli olarak para kaybediyor umut edilen bir AI olay ufku için, onların hizmetleri ve sağladıkları ekonomiler küçük olsa da büyük tasarruflar anlamına geliyor: Örneğin, her seferinde bir LLM, kendi eğitilmiş matrisinden bir cevap verebiliyor ise, web’de RAG-tabanlı bir yolculuğa çıkmak ve güncel bilgileri elde etmek için enerji harcamaktan daha hızlı cevap veriyor ve sağlayıcıya para kazandırıyor.

Elbette, hayal görme olasılığı daha yüksek, çünkü ek tokenler ve enerji harcamadan varsayımlarını bağlamlandırmak ve kontrol etmek zorunda kalmıyor.

Ayrıca, bir LLM web’de arama yaptığında, genellikle belirsiz, uygunsuz veya anlamsız ve ilgili olmayan URL’ler alıntılayacak, çünkü yalnızca bu sayfaların meta verilerini değerlendirdiği için, onları gerçekten okumak yerine enerji tasarrufu sağlayacak.

Benzer şekilde, bir PDF’i bir LLM’ye yüklerseniz ve onu tartışmak isterseniz, LLM sonunda PDF içeriğini belleğinden silebilir ve yalnızca sparse metadata kullanarak sizin sorularınıza cevap verebilir, yeniden yüklemeniz gerektiğini bile söylemeden – hatalara, yanlış varsayımlara ve daha fazla hayal görme olasılığına neden olur.

Endüstriyel Deneyler

Bu, operasyonel nedenlerle kullanıcıya dayatılan pragmatik, ancak tamamen dürüst olmayan ekonomilerdir. Veri toplama ve model eğitimi dünyasında, milyonlarca – hatta yüz milyonlarca – görüntünün kütle olarak işlenmesi ve insan tarafından el ile etiketlenememesi gereken bir baskıya neden olur.

Bunun gibi bir ‘kısayol’, Karşıtlık Dili Görüntü Ön Eğitimi (CLIP) gibi bir aracı Vision Dili Modeli kullanmaktır, bu model hem görüntüleri hem de metinleri paylaşılan bir anlamsal uzaya haritalar, böylece görsel kavramlar dil kullanılarak karşılaştırılabilir.

Bu nedir? İyi, milyonlarca etiketli resimlerden öğrenen bir çocuğu hayal edin, sonunda resim ve kelimelerin doğal olarak birlikte gittiği konusunda kaba bir fikir geliştirir.

Sorun, genellikle etiketler, iyi etiketleme yerine iyi SEO yapmakla ilgilenen web sitesi sahipleri ve diğer selbst-serving varlıklar tarafından yazıldığı için, büyük bir ‘gürültü’ veya yanlış etiketleme ortaya çıkıyor.

Ancak, büyük veri setlerinde bir kavram ve ilgili kelimenin tekrar sayısı genellikle, temel kelimelerin doğru görselle ilişkilendirileceği anlamına geliyor, çünkü ‘anlamsız’ etiketlerin sayısı küçük olacak ve genellikle ayrıcalık mahallesine zorlanmayacak ve görselle ilişkilendirilmeyecek. Yani daha çok çalışıyor, çoğu zaman.

Veri etiketleme, ucuz ve minimal olarak işlevsel olduğu için böyle yapılıyor, iyi olduğu için değil.

Etiketsiz

Bu sorunlu senaryoya, Carnegie Mellon’dan yeni bir makale geliyor, birçok görüntüye atanmış etiketlerin – örneğin CLIP tarafından – aslında görüntüyü gerçekten görerek değil, metin tabanlı etikete atıfta bulunarak stereotipler olduğunu gösteriyor.

Makaleden bir örnek, CLIP’in, ImageNet sınıf adı çilek ile oluşturulan tanımlayıcılarla eşleştiriliyor, sonra ImageNet-Sketch üzerinde test ediliyor, burada her çilek siyah-beyaz bir çizim – ancak tanımlayıcılar hala meyvenin ‘kırmızı’ ve ‘olgun’ olduğunu iddia ediyor:

Sınıf adı tanımlayıcıları ImageNet-Sketch’te başarısız: dil öncelikleri ‘kırmızı’ ve ‘olgun’ diyor, ancak görüntü temelli öznitelikler siyah-beyaz çizimi eşleştirmektedir. Kaynak

Burada, CLIP, yalnızca sınıf adı çilek ile oluşturulan tanımlayıcılarla eşleştiriliyor, GPT-3 veya dış bilgi aracılığıyla. Bunlar görüntüyü hiç görmediği için, kanonik özelliklere geri dönüyorlar, örneğin kırmızı ve yapraklı. ImageNet-Sketch’teki monokrom çizimlere uygulandığında, işlem başarısız oluyor.

Karşılaştırıldığında, görüntülerden türetilen öznitelikler, değişime dayanıklı kalan özellikler seçiyor, örneğin noktalı veya kalp şeklinde.

Thus, görüntüde tanımlanan nesnenin, aslında göründüğü gibi değil, ‘ün’ ile reklam yapıldığını görebiliriz; ‘kırmızı’ ve ‘yapraklı’ sıfatları çilek alt alanı için doğru, ancak ilgili görüntüden (örnek) daha fazlasını kapsıyor.

Makalenin yazarları – Görüntülerden Öznitelikler Getirilmeli, Sınıf İsimlerinden Değil: Görüntü Dili Modelleri için Dağılım Koşullu Öznitelik Seçimi adlı yeni çalışma – bu durumun sürekli ve yaygın bir sorun olduğunu savunuyorlar ve görüntülerden doğrudan öznitelikleri seçilmesini öneriyorlar, böylece görüntülerin gerçekten göründüğü gibi olmasını sağlıyorlar, dağılım değişimi altında kalıyor.

Yazarlar şöyle diyor:

‘İnterpretable zero-shot classification için popüler bir yol, büyük bir dil modelini (LLM) sınıf adı hakkında tanımlamaya davet etmek ve CLIP’i oluşan tanımlayıcılarla eşleştirmektir. Bu tanımlayıcıların kendi başlarına little görsel kanıtları taşıdığını gösteriyoruz: sınıf adını tanımlamadan kaldırır kaldırmaz, ImageNet doğruluğu %59.5’ten %15.5’e düşer.

‘Tanımlayıcıların etikete değil, görüntülere dayandığını söylüyoruz, böylece genel bir kavramı tanımlarlar ve verileri değiştirdiğinde yanıltıcı olurlar; bir LLM, çileklerin kırmızı olduğunu ısrarla söylüyor, ancak ImageNet-Sketch’teki her çilek renksiz bir çizim.

‘Bunun yerine, hedef görüntü koleksiyonundan öznitelikleri seçiyoruz: CLIP’in ortak gömme uzayında büyük bir öznitelik havuzunu görüntülere karşı puanlıyoruz ve en yüksek puan alan öznitelikleri sınıf başına tutuyoruz.’

Önerdikleri çözüm, modelin aynı kalması, ancak sınıf adı tanımlamalarına değil, görüntülere karşı aday öznitelik havuzunu kontrol etmesidir. Gerçekten uyan öznitelikleri tutmak için, bu, enerji maliyetini artırmıyor, ancak gecikmeyi biraz artırıyor – ancak yeniden eğitme veya tam RAG-stil boru hatlarından çok daha az.

Teoride, enerji maliyeti kabul edilebilir olmalı, çünkü bu, önceki ‘hile’ yöntemlerinin neden olduğu sorunu çözüyor.

Yöntem

Yazarların testlerinin metodolojisi özellikle karmaşık ve bu yaklaşımın derinlemesine incelenmesinden minimal ek fayda elde edileceği için, genellikle bu yaklaşımın kısaltılmış bir özeti dikkate alacağız.

Çalışma, temel sorunu Sınıf İsmi Karışıklığı olarak karakterize ediyor: performansın anlamlı tanımlayıcılardan geldiği gibi görünmesine rağmen, aslında sınıf ismine kendisinin bağlı olduğu bir durum, tanımlayıcılar eklenirse başarısız oluyor.

Çalışma, bu başarısızlığın kaçınılmaz olduğunu savunuyor, çünkü bir sınıf adından oluşturulan tanımlayıcılar, bir şeyin genellikle nasıl göründüğünü tanımlayabilir, ancak belirli bir görüntüde gerçekten neler olduğunu değil. Veriler beklentilerden sapladığında, tanımlayıcılar yalnızca yararsız olmakla kalmaz, aynı zamanda doğru cevaba karşı oy kullanmak için aktif olarak yanıltıcı olurlar.

Araştırmacılar, CLIP’in sınıf etiketlerinin yardımıyla öznitelikleri tespit etmekte kötü olabileceği veya GPT tarafından oluşturulan tanımlayıcıların çok genel olabileceği konusunda endişelenmediler. Ancak sonraki deneyleri bu açıklamaları reddetti.

Bu sorunu çözmek için, dondurulmuş bir CLIP modeli kullanıldı, bu model görüntüleri, VAW, LSA ve GPT-3 çıkışlarından büyük bir aday öznitelik havuzuyla karşılaştırdı, görüntülerle en iyi eşleşen öznitelikleri tuttu, yeniden eğitme veya ek görüntü-metin denetimi gerektirmedi:

Önerilen sistemin bir özeti: dondurulmuş bir CLIP modeli, görüntüleri ve büyük bir aday öznitelik metin havuzunu kodluyor, kozinüs benzerliği kullanarak her tanımlayıcının görsel içeriğe ne kadar güçlü bir şekilde eşleştiğini ölçüyor. En yüksek puan alan öznitelikler sınıf başına tutuluyor, böylece görüntü ve metin kodlayıcıları tüm süreç boyunca sabit kalırken, yorumlanabilir bir dizi tanımlayıcı üretiyor.

Veri ve Testler

Yazarların deneyleri, CLIP’i ResNet-50 omurgası ile değerlendirdi ve performansı ImageNet üzerinde ve dört dağılım değişikliği varyantı üzerinde test etti: ImageNetV2; ImageNet-Sketch; ImageNet-A; ve ImageNet-R.

Öznitelikler, yalnızca orijinal ImageNet eğitim görüntülerini kullanarak seçildi – bu, değişmiş veri setlerinin, görüntüden türetilen özniteliklerin, görsel görünüm değiştiğinde hala yararlı olup olmadığını test etmek için dışarıdan bir test olarak hizmet etmesini sağladı:

ImageNet ve dört dağılım değişikliği benchmark’leri boyunca en iyi sınıflandırma doğruluğu. Sonuçlar, sınıf isimleri tanımlayıcılarla dahil edildiğinde performansı benzer şekilde koruduğunu, ancak tanımlayıcıların kendi başlarına zorlandığında çöktüğünü gösteriyor, bu da onların görünür etkinliğinin çoğunun aslında sınıf etiketinden geldiğini gösteriyor. Buna karşılık, görüntülerden doğrudan seçilen öznitelikler, test edilen tüm veri setleri boyunca önemli ölçüde daha bilgilendirici kalıyor.

GPT tarafından oluşturulan aynı havuzdan öznitelikleri yeniden seçmek, ancak onları ImageNet görüntülerine koşullandırmak, sınıf ismi ücretsiz doğruluğu %15.5’ten %19.4’e çıkardı. Model, öznitelik havuzu ve değerlendirme protokolü değişmediği için, kazanç tamamen görüntü koşullu seçimine atfedilebilirdi.

Sonuç, CLIP’in sınıf etiketlerine gerek kalmadan öznitelikleri tespit edebileceğini ve GPT tarafından oluşturulan havuzun zaten yararlı tanımlayıcılar içerdiğini gösterdi. Başlıca başarısızlık, aslında etiket koşullu oluşturmada ortaya çıktı, bu genellikle görüntülerin kendileriyle ilgili en ilgili öznitelikleri ortaya koymayı başaramadı.

Yazarlar, daha fazla deney melakukan, ancak bu deneyler, merkezi hipotezleri doğrulamaktan başka bir şey yapmıyor, bu nedenle okuyucuyu daha fazla ayrıntı için kaynak materyale yönlendirmek zorundayız.

Sonuç

Modern generatif AI’nin, Common Crawl gibi devasa veri setlerine yüklenen milyonlarca el ile tanımlanmış görüntülere olan borcunu düşünmek ilginçtir.

Her seferinde bir görüntü tanıma veya otomatik etiketleme sistemi, eski veya yeni bir görüntüyü sınıflandırmaya veya yeniden etiketlemeye çalıştığında, bu bilginin kökeni, 2004 yılında bir eBay listesinde Hot 1970s dergisi! gibi bir alt etiketinde yazılmış bir satıcıya kadar uzanır.

Çok kişi, anahtar kelime doldurma altın çağını Google’ın daha sofistike PageRank algoritması neredeyse üç десятиletir önce süpürdüğüne inanıyor, ancak ‘duvar metni, umarım bir şey tutunur’ yaklaşımı hala çok canlı: dün, Qwen-Image-3.0 modelinin çıkış sayfasının HTML’sinin başında, bir ataavistik patlama (henüz orada olabilir!) vardı – anahtar kelime doldurma delili:

Qwen Image 3’ün çıkış kodu, en azından yazıldığı sırada, bir duvar metni anahtar kelimesi metnidir. Kaynak

Qwen Image 3 sayfasındaki bu anahtar kelime seli, sistemli olarak hedef listelerden mi yoksa SEO uzmanları tarafından elle mi yazıldı, modern generatif AI sisteminin ham kökenlerinin bir örneğidir, genellikle daha sonra rasyonel sistemlere ve uygulamalara müdahale eden veya engelleyen büyük bir self-interest yükü taşıyan bir anlam taşır.

İlk olarak Çarşamba, 22 Temmuz 2026’da yayınlandı