Görsel Benzerliklerin Yapay Zeka’ya Getirilmesi

Şu anda mevcut olan yapay zeka modelleri, Dünya’nın katmanlarının bir şeftaliye benzerliği gibi “ilişkisel” görüntü benzerliklerini tanımakta başarısız oluyorlar ve bu da insanların görüntüleri nasıl algıladıklarının önemli bir yönünü kaçırıyor.

Bilgisayarlı görü modeli bilgisayarlı görü ile görüntüleri karşılaştırabilen ve aralarında benzerlikler bulabilen birçok model olmasına rağmen, mevcut karşılaştırma sistemlerinin hayal gücü veya yaratıcılık yetenekleri çok sınırlıdır. 1960’larda yayınlanmış bir şarkı olan Windmills of Your Mind şarkı sözlerini düşünün:

Ay gibi dönen bir-carousel, dakika yüzü geçerek dünya etrafında dönen bir saat gibi
Ve dünya bir elma gibi sessizce uzayda dönen bir世界 gibi

Bu tür karşılaştırmalar, insanlara sanatsal ifade ötesinde anlamlı olan bir tür poetik imgeleme alanını temsil ediyor; bu, algısal sistemlerimizi geliştirmemizle ilgili ve nesne alanımızı oluştururken görsel benzerlik kapasitemizi geliştiriyoruz, böylece – örneğin – bir şeftali ve Dünya’nın kesitlerini veya kahve spiral ve galaksi dalları gibi fraktal tekrarları gördüğümüzde bunları benzer olarak algılarız.

Bu şekilde, görünüşte bağlantısız nesneler ve nesne türleri arasındaki bağlantılar çıkarabilir ve sistemleri (yerçekimi, momentum ve yüzey tutarlılığı gibi) çeşitli alanlarda ve ölçeklerde uygulayabiliriz.

Görme

En son nesil görüntü karşılaştırma yapay zeka sistemleri, LPIPS ve DINO gibi, insan geribildirimine dayalı olarak yalnızca yüzey karşılaştırmaları yapıyorlar.

Yoksa var olmayan yüzleri bulma yetenekleri – yani pareidolia – insanların geliştirdiği görsel benzerlik mekanizmalarını temsil etmiyor, ancak yüz arama algoritmalarının düşük düzeyli yüz yapısı özelliklerine dayanması nedeniyle ortaya çıkıyor.

Yüz tanıma için ‘Faces with Things’ veri setindeki yanlış pozitif örnekler. Kaynak

İnsanların gerçekten görsel benzerlik konusunda hayal gücünü geliştirebileceklerini belirlemek için, ABD’li araştırmacılar İlişkisel Görsel Benzerlik üzerine bir çalışma yaptı ve soyut ilişkiler oluşturmak için farklı nesneleri birleştiren yeni bir veri seti oluşturdu:

Çoğu yapay zeka modeli yalnızca yüzey özelliklerini paylaştıkları için yalnızca Grup B’yi referansla bağlar. İnsanlar ise Grup A’yı da benzer olarak görür – çünkü görüntüler benzer değil, aynı temel mantığı takip ediyorlar.

Veri seti, AI sistemlerinin yüzey özelliklerine değil, temel özelliklere odaklanmasını sağlayan benzersiz bir açıklama sistemi geliştirdi:

Yazarların ‘relsim’ ölçütüne katkıda bulunan tahmin edilen ‘anonim’ açıklamalar.

Yazarlar, bu yeni yaklaşımın, ince ayarlanmış bir Görme-Dil Modeli (VLM) ile birleştirildiğinde, görsel benzerlik mekanizmalarını daha iyi anlamaya yardımcı olabileceğini belirtiyorlar.

Tipik veri setlerinin açıklama stilinin, öznitelik benzerliğine odaklandığına karşın, relsim yaklaşımının (alt satır) ilişkisel benzerliğe vurgu yaptığı karşılaştırma.

Yeni yaklaşım, bilişsel bilimden metodolojilere dayanmaktadır, özellikle Yapı-Eşleme Teorisi (bir analoji çalışması) ve ilişkisel benzerlik ve öznitelik benzerliği tanımları.

İlişkisel benzerlik örneği – şeftali ve Dünya. Kaynak

Yazarlar şöyle diyor:

‘İnsanlar, öznitelik benzerliğini algısal olarak işler, ancak ilişkisel benzerlik kavramsal soyutlama gerektirir, genellikle dil veya önceden edinilmiş bilgilerle desteklenir. Bu, ilişkisel benzerliği tanımak için önce görüntüyü anlamak, bilgiyi kullanmak ve temel yapısını soyutlamak gerektiğini gösterir.’

Yeni makale İlişkisel Görsel Benzerlik olarak adlandırılmış ve bir proje websitesi ile birlikte yayınlanmıştır (bu makalenin sonunda bulunan videoyu görün).

Yöntem

Araştırmacılar, kendi koleksiyonları için başlangıç noktası olarak en iyi bilinen hiperskala veri setlerinden birini kullandılar – LAION-2B:

LAION-2B koleksiyonundaki bir girişin meta verileri. Kaynak

LAION-2B’den 114.000 görüntü, esnek ilişkisel yapılar içerebilecek şekilde çıkarıldı ve bu, birçok düşük kaliteli görüntünün minimal olarak düzenlenmemiş veri setinden filtrelenmesini içeriyordu.

Seçim süreci için bir pipeline oluşturmak amacıyla, yazarlar Qwen2.5-VL-7B kullanmış ve 1.300 pozitif ve 11.000 negatif insan etiketli örnekleri kullanarak:

RelSim sistemi üç aşamada eğitilir: LAION-2B’den görüntüleri ilişkisel içerik için filtreleme; her gruba temel mantığını yakalayan paylaşılan anonim bir açıklama atama; ve karşıtlık kaybı kullanarak açıklamalara görüntüleri eşleme.

Makalede şöyle deniyor:

‘Etiketleyicilere talimat verildi: “Bu görüntüde başka bir görüntüye bağlanabilecek veya oluşturabilecek bir ilişkisel model, mantık veya yapı görüyor musunuz?” İnce ayarlanmış model, insan yargılarıyla %93 oranında anlaşmaya ulaşıyor ve LAION-2B’ye uygulandığında N = 114k görüntü ilişkisel olarak ilginç olarak tanımlanıyor.’

Görüntüleri gruplamak için Qwen modeli, belirli nesneleri adlandırmadan görüntülerin paylaştığı mantığı tanımlamaya teşvik edildi. Bu soyutlama, modelin yalnızca bir görüntü gördüğünde zor oldu, ancak birden fazla örnek temel mantığı gösterdiğinde mümkün hale geldi.

Sonuçta elde edilen grup düzeyindeki açıklamalar, ‘{Subject}’ veya ‘{Type of Motion}’ gibi özel terimleri ‘{Konu}’ veya ‘{Hareket Türü}’ gibi yer tutucularla değiştirdi ve bunları geniş bir uygulama alanı sağladı.

İnsan doğrulamasının ardından her açıklama, grubundaki tüm görüntülerle eşleştirildi. 500’den fazla grup, modeli eğitmek için kullanıldı ve daha sonra 114.000 filtrelenmiş görüntüye uygulandı ve büyük bir soyut, ilişkisel olarak etiketlenmiş örnek kümesi üretildi.

Veri ve Testler

Qwen2.5-VL-7B ile ilişkisel özelliklerin çıkarılmasının ardından, model LoRA kullanılarak 15.000 adımda sekiz A100 GPU’su ile ince ayarlandı*. Metin tarafında, ilişkisel açıklamalar all-MiniLM-L6-v2 kullanılarak Sentence-Transformers kütüphanesinden gömme olarak işlendi.

114.000 açıklamalı görüntü veri seti, 100.000’i eğitim ve 14.000’i değerlendirme için bölündü. Sistemi test etmek için, bir sorgu görüntüsüne dayalı olarak aynı ilişkisel fikri ifade eden başka bir görüntüyü bulması gereken bir geri çağırma kurulumu kullanıldı.

Geri çağırma havuzu, 14.000 değerlendirme görüntüsünü ve LAION-2B’den 14.000 ek örneği içeriyordu ve 1.000 sorgu, benchmarkleme için değerlendirme kümesinden rastgele seçildi.

Geri çağırma kalitesini değerlendirmek için, GPT-4o her sorgu ve geri çağırılan görüntü arasındaki ilişkisel benzerliği 0’dan 10’a kadar puanladı. Ayrıca, kullanıcı tercihini değerlendirmek için ayrı bir insan çalışması yürütüldü.

Her katılımcı, anonimleştirilmiş bir sorgu görüntüsü ve iki aday ile sunuldu, biri önerilen yöntem tarafından geri çağrıldı, diğeri ise bir temel olarak seçildi. Katılımcılardan, hangisinin sorgu görüntüsüne daha ilişkisel olarak benzer olduğunu veya ikisinin de eşit derecede yakın olduğunu söylemeleri istendi.

RelSim yaklaşımı, LPIPS, DINO, dreamsim ve CLIP-I gibi çeşitli mevcut görüntü-görüntü benzerliği yöntemleriyle karşılaştırıldı.

İki geri çağırma varyantı değerlendirildi: CLIP-T ve Qwen-T. Her iki açıklama tabanlı temel de orijinal önceden eğitilmiş Qwen modelini kullandı, relsim yaklaşımının fine-tuned versiyonu yerine.

Mevcut Ölçütler ve İlişkisel Benzerlik

Yazarlar, mevcut ölçütlerin ilişkisel benzerliği yakalayabileceğini test etti:

GPT-4o tarafından verilen ortalama ilişkisel benzerlik puanı. LPIPS, DINO ve CLIP-I gibi geleneksel benzerlik ölçütleri daha düşük puanlar alırken, açıklama tabanlı temel Qwen-T ve CLIP-T daha az performans gösterdi. En yüksek puan, 6,77 (en sağdaki mavi sütun), relsim tarafından elde edildi ve bu, grup tabanlı ilişkisel kalıplara ince ayarlanmanın GPT-4o’nun değerlendirmeleriyle uyumlu olduğunu gösterdi.

Bu sonuçlar hakkında yazarlar şöyle diyor**:

‘[LPIPS], yalnızca algısal benzerliğe odaklanan en düşük puanı elde etti (4,56). [DINO] biraz daha iyi performans gösterdi (5,14), muhtemelen kendini yalnızca görsel verilerde kendi kendine öğrendiği için. [CLIP-I] en güçlü sonuçları verdi (5,91), muhtemelen bazı soyutlamaların bazen görüntü açıklamalarında mevcut olması nedeniyle.

‘Ancak CLIP-I hala bizim yöntemimize göre daha düşük performans gösterdi, çünkü daha iyi bir puan elde etmek, anonim açıklamalarda bulunan daha yüksek düzeyde soyutlama gerektirebilir.’

İnsan çalışmasında, insanlar tutarlı olarak önerilen yöntemi tüm temel yöntemlere tercih etti:

Her yöntem için GPT-4o tarafından verilen ilişkisel benzerlik puanları. LPIPS, DINO ve CLIP-I gibi standart benzerlik ölçütleri daha düşük puanlar alırken, açıklama tabanlı varyantlar Qwen-T ve CLIP-T biraz daha iyi performans gösterdi. En yüksek puan, 6,77, relsim tarafından elde edildi ve bu, grup tabanlı ilişkisel kalıplara ince ayarlanmanın GPT-4o’nun değerlendirmeleriyle uyumlu olduğunu gösterdi.

Yazarlar şöyle diyor:

‘Bu, bizim modelimizin ilişkisel olarak benzer görüntüleri başarılı bir şekilde geri çağırabileceğini gösteriyor ve ayrıca insanların gerçekten ilişkisel benzerlik algıladığını teyit ediyor – yalnızca öznitelik benzerliği değil!’

İlişkisel ve öznitelik benzerliklerinin birbirini nasıl tamamladığını keşfetmek için, araştırmacılar birleşik bir görselleştirme yöntemi kullandı. Tek bir sorgu görüntüsü (‘Bir kamera tutan bir köpek’) 3.000 rastgele görüntüye karşı karşılaştırıldı ve benzerlik hem ilişkisel hem de öznitelik tabanlı modeller kullanılarak hesaplandı:

Görsel benzerlik uzayının ilişkisel ve öznitelik eksenleri kullanılarak birleşik görselleştirilmesi. Bir köpeğin kamera kullandığı bir sorgu görüntüsü, 3.000 diğer görüntüye karşı karşılaştırıldı. Sonuçlar, ilişkisel benzerlik (dikey) ve öznitelik benzerliği (yatay) tarafından organize edildi. Sağ üst bölge, hem mantık hem de görünüş bakımından sorgu görüntüsüne benzer görüntüleri içerir, Örneğin, diğer köpeklerin araçlar kullanması. Sol üst bölge, görsel olarak farklı ancak ilişkisel olarak ilgili örnekleri içerir, Örneğin, farklı hayvanların kamera ile ilgili eylemler gerçekleştirmesi. Kalan örnekler, benzerlik uzayının alt kısımlarında kümelendi, daha zayıf benzerliği yansıtıyor. Düzen, ilişkisel ve öznitelik modellerinin görsel verilerin farklı yönlerini vurguladığını gösteriyor.

Bu analiz, iki benzerlik türünün farklı roller oynadığını ve birleştirildiğinde daha zengin bir yapıya yol açtığını gösteriyor.

Kullanım Durumları

Makale, ilişkisel benzerlik için olası son kullanım durumlarını da araştırıyor, Örneğin, ilişkisel görüntü geri çağırma, insanların dünyaya bakma şekline daha uygun bir görüntü arama türü:

İlişkisel geri çağırma, sorgu görüntüsünün yüzey özelliklerine değil, daha derin kavramsal yapısına odaklanır. Örneğin, bir yiyecek maddesi yüz gibi görünüyorsa, diğer antropomorfik yemekler geri çağrılır; bir dilimlenmiş nesne, diğer dilimlenmiş formları geri çağrır ve yetişkin-çocuk etkileşimi sahneleri, tür ve kompozisyon farklılıklarına rağmen benzer ilişkisel rolleri gösteren görüntüleri geri çağrır.

Diğer bir olasılık, analojik görüntü oluşturma, ilişkisel yapıları kullanarak sorguları sentezlemeye izin verecektir. Mevcut durumun en iyi text-to-image modellerinin sonuçlarıyla karşılaştırıldığında, böyle bir yaklaşımın daha çeşitli sonuçlar üretmesi muhtemeldir:

Girdi görüntüsü ve ilişkisel bir sorgu verildiğinde, modeller aynı temel kavramı ifade eden yeni bir görüntü oluşturmak için görevlendirildi. Özel modeller, yapısal mantığı büyük biçim değişikliklerine rağmen koruyan daha sadık analojiler üretirken, açık kaynaklı modeller literal veya stilistik eşleşmelere geri dönme eğilimindeydi ve daha derin fikri aktaramadı.

Sonuç

Yapay zeka sistemleri, soyut temsil yeteneklerini entegre ederek önemli ölçüde geliştirilebilir. Şu anda, kavram tabanlı görüntüler istemek, Örneğin, ‘öfke’ veya ‘mutluluk’, genellikle veri setinde bu ilişkilere sahip en popüler veya en çok görüntülere dayalı görüntüleri döndürür; bu, soyutlama değil, ezberlemedir.

İnsanların görsel benzerlik algılayış şekline daha yakın bir görüntü arama sistemi, insanların dünyaya bakma şekline daha uygun bir arama türü sunacaktır.

Çalma Kaynak

* Bir A100 40Gb veya 80GB VRAM’a sahip olabilir; bu, makalede belirtilmemiştir.

** Yazarların alıntıları gereksiz ve hariç tutuldu.

İlk olarak 16 Aralık 2025 Salı günü yayınlandı.