AI Görüntü Hallüsinasyonlarını Aşırı Düzeyde Göstererek Azaltma

ChatGPT tarzı görüntüleme modelleri genellikle görüntüde bulunmayan öğeleri “hallüsinasyon” yaratabilir. Yeni bir yöntem, modelin kendi hallüsinasyonlarının abartılı sürümlerini göstererek ve ardından tekrar denemesini sağlayarak bu hataları azaltıyor. Bu yaklaşım, yeniden eğitim veya ek veri gerektirmez ve çeşitli modellere ve model türlerine uygulanabilir.

Çin’den yeni bir yayın, AI tarafından oluşturulan görüntüler ve videolardaki “hallüsinasyon” problemine ilgi çekici bir bakış açısı sunuyor – kullanıcıların talebi ve girişine dayanarak görüntüde bulunmayan öğeler.

Özetle, sistem bir görüntüyü alıyor ve modelin onu tanımlamasını sağlıyor; sonra bu tanımlamayı bir metin-görüntü modeli kullanarak yeni bir görüntüye dönüştürüyor – ve bu ikinci görüntüdeki ekstra nesneler veya detaylar, modelin ilk hallüsinasyonlarının doğrudan temsilcileridir. Sonra, orijinal ve oluşturulan görüntüleri karşılaştırarak, sistem modeli hatalardan uzaklaştırmaya yönlendiriyor:

Yeni yöntemin hallüsinasyonları nasıl tanımladığını ve azalttığını gösteren bir illüstrasyon. Düzenli model, görüntüde bulunmayan kuşları tanımlar, bu da yeniden oluşturulan görüntüde onları ekler. Bu hatalar kırmızıya işaretlenmiştir. Yeni yöntemle, bu uydurma detaylar önlenirken, tanımlama özgüllüğü ve akıcılığı korunur. Kaynak: https://arxiv.org/pdf/2509.21997

Yöntem, modelin gerçek görüntüleri tanımlamasıyla başlar ve bazı tanımlamalar gerçekten mevcut olmayan nesneleri veya detayları içerir. Bu hallüsinasyonlu tanımlamalar daha sonra sentetik görüntüleri oluşturmak için kullanılır, bu da hataları daha kolay tespit edilebilir hale getirir. Orijinal ve oluşturulan görüntüleri karşılaştırarak, sistem modelin içsel kalıplarını belirler ve uydurma içeriği üretme eğilimini öğrenir.

Karışıklık Ağı

Yukarıdaki örnekte, makaledeki gibi, bağlantı muhtemelen görüntüye “kuşları” eklemekten sorumludur, ilk görüntüde kuşlar görünmese bile.

Bağlantı, modelin belirli kavramları diğer kavramlarla ilişkilendirmesi sonucu ortaya çıkar, çünkü bu kavramlar birlikte sıkça ortaya çıkar. Bu durumda, model uçak+kuş gibi birçok görüntüyü görmüş olabilir ve bu ilişkilendirmeyi belirli bir resim için geçerli olmayan bir ilişkilendirme olarak uygulamıştır.

Bağlantı, eğitimi daha erken durdurarak azaltılabilir (bu, genel olarak modeli maksimum esneklik ve adaptasyon sağlar), ancak bu da eğitilen kavramların ayrıntılarını ve çözünürlüğünü azaltır, model eğitmeni bir ikilemle bırakır: esnek ve ayrılmış bir model oluşturun veya daha güçlü bir üretken model oluşturun, ancak aynı zamanda “ilişkili” hallüsinasyonlar üretebilir.

Eğer orijinal veri kümesinin kalitesi ve dikkat düzeyleri daha iyiyse, tüm kaynak görüntülerinin her bir nesnesi ayrıntılı olarak tanımlanacaktır, böylece eğitilen model her bir nesneyi ayrı ve ayrılmış girişler olarak latent uzayında tahsis edecektir.

Şu anda, SEO amaçlı kaptiyonlama uygulaması ve hyperscale web scraping gibi faktörler, görüntüleri eğitme için güçlü üretken modellerin en iyi kaynağı olmaya devam ediyor, bu da görüntüleri tanımlamaların genellikle standartların altında kalmasına neden oluyor:

Zayıf kaptiyonların, Stable Diffusion gibi modelleri eğitmek için LAION görüntülerinin yararlılığını nasıl sınırladığını gösteren bir illüstrasyon. Metin etiketleri sığ, belirsiz veya SEO için optimize edilmiştir, bu da modelin ince görsel kavramları, chẳng hạn yüz özellikleri öğrenmesini zorlaştırır. (Orijinal kaynak https://rom1504.github.io/, artık mevcut değil).

Temel bir çözümün uygulanabilir olmadığından, LLM/VLM hallüsinasyonlarının azaltılması için çalışkolaşma ve uzlaşmalar, literatürde güçlü bir alt dal haline gelmiştir.

Çinli araştırmacılar, bu hafta açıkladıkları yeni tekniğin, çeşitli mimarilerde ve koşullarda test edildiğini ve “hallüsinasyon kirliliğini” azaltmada faydalı bir yol olabileceğini belirtiyorlar.

Onlar diyor ki:

‘Çoklu benchmarklerdeki geniş çaplı deneyler, yöntemimizin nesne, öznitelik ve ilişki düzeylerinde hallüsinasyonları önemli ölçüde azaltırken, geri çağırma ve kaptiyon zenginliğini büyük ölçüde koruyarak superior bir performans gösterdiğini kanıtladı.’

Yeni makale, Exposing Hallucinations To Suppress Them: VLMs Representation Editing With Generative Anchors başlığını taşıyor ve Çin Bilim ve Teknoloji Üniversitesi ve Nanjing Üniversitesi’nden üç araştırmacı tarafından yazılmıştır.

Yöntem

Araştırmacılar, hallüsinasyonları ortaya çıkarmak ve azaltmak için tasarlanmış bir uçtan-uca işlem hattı geliştirdiler:

Tam işlem hattının bir illüstrasyonu. Bir görüntüleme-dil modeli, girişteki görüntüden bir kaptiyon üretir, bu da hallüsinasyonlu içeriği içerebilir. Bu kaptiyon daha sonra bir metin-görüntü modeli kullanılarak yeniden oluşturulan bir görüntüye dönüştürülür, bu da herhangi bir hallüsinasyonu daha kolay tespit edilebilir hale getirir. Orijinal ve yeniden oluşturulan görüntülerden çıkarılan gömme, modelin içsel ayarlamaları yönlendirmek için kullanılır, böylece model hallüsinasyonlu detayları azaltırken kaptiyon kalitesini korur.

Girişteki gerçek görüntüden başlayarak, bir görüntüleme-dil modeli, uydurma nesneleri veya ilişkileri içerebilecek bir kaptiyon üretir. Bu kaptiyon daha sonra bir metin-görüntü üreticisine verilir ve bu, kaptiyonda tanımlanan şeyi gösteren bir yeniden oluşturulmuş görüntüyü oluşturur. Orijinal ve yeniden oluşturulan görüntüleri karşılaştırarak, sistem uydurma içeriği daha kolay tespit edilebilir hale getirir.

Sistem, modeli “icat” edilen detaylardan uzaklaştırmak için, iki görüntüyü karşılaştırır: orijinal ve kaptiyondan oluşturulan birini. Her görüntüden, içeriğini yakalayan bir gömme çıkarılır.

Orijinal görüntüden güvenilir bir referans sağlanırken, yeniden oluşturulan görüntüde hallüsinasyonlar nerede ortaya çıkabileceğini vurgular. Modelin içsel temsilini orijinaline yaklaştırmak ve yeniden oluşturulandan uzaklaştırmak, modelin otomatik olarak kendini düzeltmesini sağlar. Bu işlem, elle ayarlanmış kurallara veya dış verilere dayanmaz, tamamen kendiliğinden denetlenir.

Makale diyor ki:

‘Hallüsinasyonlar MLLM’lerde intrinsik olarak zor tespit edilir, çünkü dilbilimsel olarak iyi oluşmuşlardır ve metin düzeyinde sadık tanımlamalardan ayırt edilemezler. Çelişki, dilin inandırıcılığında değil, görsel kanıtlarla uyumsuzlukta yatar, ki model kendisi genellikle buna karşı duyarsızdır.

‘Bunu çözmek için, hallüsinasyon ifşa mekanizması sunuyoruz, bu da üretken yeniden yapılandırmayı implicit tutarsızlıkları açık ve gözlemlenebilir sinyallere dönüştürmek için kullanır.’

Giriş görüntüsü ve kaptiyonu verildiğinde, sistem FLUX.1-dev metin-görüntü modelini kullanır ve kaptiyondan bir görüntüyü yeniden oluşturur. Bu yeniden oluşturulan görüntüde, anlamanın abartılı bir sürümü ortaya çıkar ve herhangi bir yanlış detayı daha belirgin hale getirir. Bu amplifiye edilmiş hatalar, modelin kendi hatalarını tanıması ve düzeltmesi için faydalı sinyaller olarak hizmet eder.

Yöntemlerini test etmek için, araştırmacılar kaptiyonlara hallüsinasyonlar enjekte ettiler ve metin-görüntü modelini kullanarak yeniden oluşturulmuş görüntüleri oluşturdular. Bu görüntüler daha sonra LLaVA tarafından yeniden kaptiyonlandı ve orijinal ve hallüsinasyonlu kaptiyonlar arasındaki anlamsal benzerlik değerlendirildi:

Hallüsinasyon amplifikasyon mekanizmasının, ince hataları nasıl görünür hale getirdiğini gösteren bir illüstrasyon. Her nokta, orijinal ve yeniden oluşturulan görüntülerin kaptiyonları arasındaki benzerliği gösterir. Turuncu çizgi, orijinal ve hallüsinasyonlu kaptiyonlar arasındaki benzerliği doğrudan ölçer, bu da yüksek kalır ve küçük hataları maskeleme eğilimindedir; mavi çizgi, yeniden oluşturulduktan sonra benzerliği ölçer, bu da keskin bir şekilde düşer, bu da işlemin gizli hallüsinasyonları açık anlamsal işaretlere dönüştürdüğünü ve düzeltilebileceğini gösterir.

Benzerlik, yeniden oluşturulduktan sonra keskin bir şekilde düşer, bu da işlemin ince hataları daha tespit edilebilir hale getirdiğini gösterir.

Veri ve Testler

Yöntemin etkinliğini doğrulamak için, üç uygun benchmark kullanıldı: Kaptiyon Hallüsinasyonu Değerlendirmesi ile Görüntü İlgililiği (CHAIR); MLLM Değerlendirme benchmark (MME); ve Havuz Tabanlı Nesne Sorgulama Değerlendirmesi (POPE).

CHAIR yayın makalesinden: iki önde gelen kaptiyonlama sisteminin, TopDown ve NBT, görüntüde gerçekten bulunmayan görsel öğeleri, örneğin dizüstü bilgisayarlar, lavabolar veya sörf tahtaları gibi, ürettiği hallüsinasyonlu nesnelerin örnekleri. Kaynak: https://arxiv.org/pdf/1809.02156

Standart metrikler gibi hallüsinasyon oranı veya geri çağırma yanıltıcı olabilir, çünkü bir model hallüsinasyonlardan kaçınmak için kısa veya belirsiz kaptiyonlar üretebilir. Hallüsinasyon ve geri çağırma arasındaki dengeyi hesaba katmak için, Hallüsinasyon ve Geri Çağırma (HAR@β) adlı birleşik bir metrik kullanıldı, bu da kaptiyonları hem doğruluk hem de tamamlık açısından puanlar ve dengenin, hatalardan kaçınmak veya daha fazla ayrıntı içermek daha önemli olup olmadığını ayarlamayı sağlar.

POPE, bağlamsal nesne hallüsinasyonlarını değerlendirmek için kullanıldı ve MME, öznitelik düzeyinde hallüsinasyonları değerlendirmek için kullanıldı, her ikisi de Evet/Hayır yargılama görevleri olarak çerçevelendi.

Deneyler, çeşitli temsilci veri kümelerinde, yukarıda bahsedilen Flux modeli ve LLaVA-v1.5-7B varyantı kullanılarak gerçekleştirildi. Kullanılan veri kümeleri Microsoft COCO; A-OKVQA; ve GQA idi.

Modelin ikinci katmanında latent düzenleme yapıldı, önceki ilgili çalışmalara uygun olarak, hipermetreler ve sıcaklık tüm modellerde tutarlıydı.

İlk sonuçlar, CHAIR’de aşağıda sunulmuştur*:

CHAIR benchmarkinde hallüsinasyon azaltma performansı, çoklu metriklerle değerlendirildi.

Bu sonuçlardan, araştırmacılar diyor ki:

‘[Yöntemimiz, CHAIR_S ve CHAIR_I* üzerinde diğer tüm referans noktalarını önemli ölçüde geride bırakarak, hallüsinasyonları bastırmadaki üstün etkinliğini gösteriyor. Ayrıca, neredeyse tüm yöntemler hallüsinasyonları bastırırken geri çağırma oranını azaltıyor, bu da sadakat ve bilgililik arasında bir ticaret yapıyor, ancak bizim yaklaşımımız en küçük düşüşü gerçekleştiriyor.

‘Bu, yöntemimizin geniş bir yelpazede gerçek nesneleri yakaladığını gösteriyor. HAR@β metriğiyle, yöntemimiz en yüksek puanı elde ediyor, böylece hallüsinasyonları azaltırken kapsamı koruma yeteneğini vurguluyor.’

Araştırmacılar, bu güçlü sonuçları, çift süpervizyon kurulumuna bağlıyor, burada orijinal görüntüden temiz semantik güçlendirildi ve aynı zamanda yeniden oluşturulan görüntüden aldatıcı sinyaller bastırıldı. Modelin yalnızca hallüsinasyonlarla ilgili yönünü hedef alan ayarlamalar, temsilin geri kalanını bozmadan hataları düzeltmesini sağladı.

Çeşitli yapılandırmalar ve veri kümeleri altında POPE benchmarkinde performans karşılaştırması.

POPE sonuçlarına ilişkin olarak, yukarıdaki sonuç tablosunda belirtilen, makale diyor ki:

‘Görülüyor ki, yöntemimiz tüm ayarlamalarda tutarlı olarak en iyi performansı gösteriyor. Özellikle, yöntemimiz ortalama %5,95’lik bir doğruluk ve %6,85’lik bir F1 puanı elde ediyor, bu da diğer eğitime dayanmayan yaklaşımları önemli bir farkla geride bırakıyor.

‘Bu nedenle, bu sonuçlar, yöntemimizin farklı zorluk seviyelerinde güvenilir ve genel bir çözüm sunduğunu gösteriyor.’

Üçüncü test turundan, MME üzerinde performans karşılaştırması.

Son ana test, MME üzerindeydi, sonuçlar yukarıda verildi. Ancak, diğer省kler arasında, “OPERA” yöntemi tanımlanmadı, bu da sonuç bölümünü burada bırakmayı gerektiriyor.

LLaVA-v1.5-7B kullanarak MME benchmarkinden, temel modelin hallüsinasyonlu bir cevap üretirken, önerilen yöntemin doğru cevabı verdiğini gösteren bir illüstrasyon, yeniden oluşturulan görüntüde hallüsinasyon daha belirgin hale geliyor.

Sonuç

Bu makale, hızlı bir şekilde yazılmış gibi görünse de ve son 12 ayda literatürde görülen yapı, odak ve açıklık eksikliğinden mustarip olsa da, sunulan merkezi mekanizma masih zekicedir.

Yöntemin, yeniden eğitime gerek duymadan ve çeşitli mimarilere uygulanabilen bu uçtan-uça yaklaşımı, daha fazla test adayına ihtiyaç duyabilir ve ayrıca, bu tür bir ara sistemın en azından gecikme ve belirli bir ölçekte ek güç gereksinimi getireceği dikkate alınmalıdır.

* Alışılmadık bir şekilde, makalenin ana bölümü, sadece ek maddeerde açıklanan başlıklarla sonuçları sunar – literatürde increasingly görülen bir kötü alışkanlık, araştırmacıların merkezi tezi 8-9 sayfaya sınırlamaya çalıştıkları zaman. Her durumda, kaptiyonlardaki nesne hallüsinasyonlarını değerlendirmek için kullanılan CHAIR benchmarki, daha önceki çalışmalardan 500-görüntü MSCOCO alt kümesine dayanıyordu. İki形式 vardı: CHAIR_S, bir kaptiyonda hallüsinasyonların ne sıklıkla ortaya çıktığını ölçen; ve CHAIR_I, belirtilen nesnelerin kaçının hallüsinasyonlu olduğunu ölçen. HAR@β, hallüsinasyon bastırma ve nesne geri çağırma kombinasyonunun F_β-tarzı bir birleşimi olarak tanımlandı.

İlk olarak 30 Eylül 2025 Salı günü yayınlandı.