Büyük Dil Modellerinde Hallüsinasyonla Mücadele: Çağdaş Tekniklerin İncelenmesi

GPT-4, PaLM ve Llama gibi büyük dil modelleri (LLM’ler), doğal dil oluşturma yeteneklerinde dikkat çekici ilerlemeler sağlamıştır. Ancak, güvenilirliklerini ve güvenli dağıtımını sınırlayan sürekli bir zorluk, họrak gibi görünen ancak gerçekte yanlış veya girdi bağlamından kopuk olan içerik oluşturma eğilimindedir.

LLM’ler, gerçek dünya uygulamalarında daha güçlü ve yaygın hale devam ettikçe, hallüsinasyonlarla mücadele etmek kaçınılmaz hale gelir. Bu makale, araştırmacıların LLM’lerde hallüsinasyonları tespit etmek, ölçmek ve azaltmak için tanıttığı son tekniklerin kapsamlı bir özeti sunar.

LLM’lerde Hallüsinasyon Anlama

Hallüsinasyon, gerçeğe veya verilen bağlama dayanmayan LLM’ler tarafından oluşturulan gerçek yanlışlıkları veya uydurmaları ifade eder. Bazı örnekler şunları içerir:

• Bir kişi hakkında metin oluştururken, kaynak materyalde kanıtları olmayan biyografik ayrıntılar veya olaylar uydurmak.
• İlaç yan etkileri veya tedavi prosedürleri hakkında yanlış bilgiler vererek hatalı tıbbi tavsiyeler vermek.
• Bir iddiayı desteklemek için var olmayan verileri, çalışmaları veya kaynakları uydurmak.

Bu olgu, LLM’lerin büyük miktarda çevrimiçi metin verisi üzerinde eğitilmesi nedeniyle ortaya çıkar. Bu, güçlü dil modelleme yetenekleri kazanmalarına olanak tanır, ancak aynı zamanda bilgileri çıkarıma tabi tutma, mantıksal sıçramalar yapma ve boşlukları ikna edici ancak yanıltıcı veya yanlış bir şekilde doldurma şekliyle öğrenmelerine neden olur.

Hallüsinasyonlardan sorumlu bazı ana faktörler şunlardır:

• Desen genelleme – LLM’ler, eğitim verisinde desenler tanımlar ve bunları genelleştirir, ancak bu genelleme her zaman iyi sonuç vermeyebilir.
• Eski bilgi – Statik ön eğitim, yeni bilgilerin entegrasyonunu engeller.
• Belirsizlik – Belirsiz promt’ler, yanlış varsayımlar için alan bırakır.
• Önyargılar – Modeller, çarpık perspektifleri sürdürür ve amplifiye eder.
• <strong[Yetersiz zemin – Anlama ve akıl yürütme eksikliği, modellerin tam olarak anlamadıkları içeriği oluşturmasına neden olur.

Hallüsinasyonları ele almak, tıbbi, hukuki, finansal ve eğitim gibi duyarlı alanlarda güvenilir dağıtım için kritiktir, çünkü yanlış bilgi oluşturmak zararlı olabilir.

Hallüsinasyon Azaltma Teknikleri Taksonomisi

Araştırmacılar, LLM’lerde hallüsinasyonlarla mücadele etmek için çeşitli teknikler tanıttı, bunlar:

1. Promt Mühendisliği

Bu, LLM’lerin gerçeğe dayalı ve zemine bağlı yanıtlara yönlendirilmesi için promt’lerin özenle hazırlanmasını içerir.

• İki yönlü aumento – İçeriği zemine bağlamak için dış kanıtları alma.
• Geribildirim döngüleri – Yanıtları iyileştirmek için geribildirim sağlamak.
• Prompt ayarlaması – İstenen davranışlar için promt’leri ayarlamak.

2. Model Geliştirme

Hallüsinasyona daha az eğilimli modeller oluşturmak için mimari değişiklikler yapmak.

• Çıkarma stratejileri – Metni, inanca uygunluğu artıran şekillerde oluşturmak.
• Bilgi zemini – Dış bilgi tabanlarını entegre etmek.
• Yeni kayıp fonksiyonları – Eğitim sırasında inanca uygunluğu optimize etmek.
• Denetimli ayarlanma – İnsan etiketli veriler kullanarak gerçeğe uygunluğu artırmak.

Sonraki bölümde, her yaklaşımın altında nổi bật teknikleri inceleyeceğiz.

Önemli Hallüsinasyon Azaltma Teknikleri

İki Yönlü Oluşturma

İki yönlü oluşturma, LLM’leri dış kanıtlar belgelerine dayanarak metin oluşturmak için güçlendirir, yalnızca modelin iç bilgisine güvenmek yerine. Bu, içeriği güncel, doğrulanabilir bilgilere bağlı tutar ve hallüsinasyonları azaltır.

Önemli teknikler şunları içerir:

• RAG – Bir seq2seq modelinin ilgili pasajları sağlamak için bir alıcı modül kullanır. Her iki bileşen de uçtan uca eğitilir.
• RARR – LLM’leri, oluşturulan metindeki atıfta bulunmayan iddiaları araştırmak ve onları alınan kanıtlarla uyumlu hale getirmek için kullanır.
• Bilgi Alımı – Kesin olmayan oluşturmaları, metni üretmeden önce alınan bilgilerle doğrulamak.
• LLM-Artırıcı – LLM promt’leri için kanıtları zincirleme olarak aramak.

Geribildirim ve Akıl Yürütme

İteratif doğal dil geribildirimini veya kendi kendine akıl yürütmeyi kullanmak, LLM’lerin ilk çıktılarını iyileştirmelerine ve hallüsinasyonları azaltmalarına olanak tanır.

CoVe, bir doğrulama zinciri tekniği kullanır. LLM, önce kullanıcı sorusuna bir yanıt oluşturur, ardından bu yanıtın çeşitli bölümlerine olan güvenine dayanarak doğrulama soruları oluşturur. Örneğin, yeni bir tıbbi tedaviyi tanımlayan bir yanıt için, CoVe “Tedavinin etkinlik oranı nedir?”, “Düzenleyici onay aldı mı?” veya “Potansiyel yan etkileri nelerdir?” gibi sorular oluşturabilir. Önemli olan, LLM’nin daha sonra bu doğrulama sorularını, ilk yanıtından etkilenmeden bağımsız olarak cevaplamaya çalışmasıdır. Doğrulama sorularının cevapları, orijinal yanıtta yapılan açıklamaları çeliştirmesi veya desteklememesi durumunda, sistem bunları muhtemel hallüsinasyonlar olarak tanımlar ve yanıtı kullanıcıya sunmadan önce iyileştirir.

DRESS, LLM’leri, doğal dil geribildirimini kullanarak insan tercihlerine daha iyi uyumlu hale getirmeye odaklanır. Bu yaklaşım, uzman olmayan kullanıcıların model oluşturmalarına serbest biçimli eleştiriler sunmasına veya “Yan etkiler abartılı görünüyor” gibi düzeltme talimatları vermesine olanak tanır. DRESS, insan tercihlerine daha iyi uyumlu yanıtlar oluşturmak için pekiştirme öğrenimini kullanır, bu da etkileşimi artırır ve gerçekdışı veya dayanağı olmayan ifadeleri azaltır.

MixAlign, kullanıcıların, sistem tarafından alınan kanıtlarla doğrudan ilgili olmayan sorular sorduğu durumlarla ilgilenir. Örneğin, bir kullanıcı “Çin’de kirlilik daha da kötüleşecek mi?” diye sorabilir, ancak alınan pasajlar küresel kirlilik eğilimlerini tartışır. Karşılaştırmayla ilgili yeterli bağlam olmadan hallüsinasyonlara kaçınmak için, MixAlign, kullanıcıyla şüpheli olduğunda açık bir şekilde iletişim kurar. Bu insan-çevrimiçi mekanizması, kanıtları doğru bir şekilde zemine bağlamak ve bağlamsal olarak oluşturmak için geri bildirim alınmasına olanak tanır, böylece zeminden kopuk yanıtları önler.

The Self-Reflection tekniği, LLM’leri kendi yanıtlarını değerlendirmek, geri bildirim sağlamak ve iteratif olarak iyileştirmek için eğitir. Örneğin, bir tıbbi sorgu için oluşturulan bir yanıt için, model, gerçeğe uygunluğunu puanlar, çelişkili veya dayanağı olmayan ifadeleri tanımlar ve bunları alınan bilgilerle düzenler. LLM’lere bu geri bildirim döngüsünü öğretmek, yani kendi çıktılarını kontrol etmek, eleştirmek ve iteratif olarak iyileştirmek, kör hallüsinasyonu azaltır.

Prompt Ayarlaması

Prompt ayarlaması, LLM’lerin fine-tuning sırasında istenilen davranışlar için promt’lerin ayarlanmasına olanak tanır.

The SynTra yöntemi, sentezleme görevi için bir sentetik görev kullanır, bu da modelin gerçek sentezleme görevlerine geçmeden önce hallüsinasyonu en aza indirir. Sentetik görev, modelin yalnızca alınan pasajları özetlemesine izin verir, böylece sentezleme sırasında yeni bilgiler uydurmak yerine kaynak içeriğine dayanmasını sağlar. SynTra, hedef görevlerde hallüsinasyon sorunlarını azalttığı gösterilmiştir.

UPRISE, birkaç görevde eğitilmiş evrensel bir promt alıcısı kullanır, bu da modelin yeni, görmediği görevlerde etkili promt’leri almasını sağlar. Farklı görevlerde eğitilmiş promt’leri alarak, model görevlere özgü ayarlamalar olmadan genelleyerek ve adapte olarak performansını artırır.

Yeni Model Mimarileri

FLEEK, insan doğrulayıcılarına ve validatörlerine yardımcı olmak için tasarlanmış bir sistemdir. Potansiyel olarak doğrulanabilir gerçek iddiaları otomatik olarak tanımlar ve bunları kanıtlarla ilgili sorulara dönüştürür. Ardından, bu soruları bağımsız olarak cevaplar ve cevaplardan elde edilen bilgileri insan validatörlerle paylaşır, böylece belge doğruluğunu ve revizyon ihtiyacını etkili bir şekilde doğrulayabilirler.

The CAD çözme yaklaşımı, bağlamsal olarak farkındalık kazandırarak dil oluşturma sırasında hallüsinasyonu azaltır. Özellikle, CAD, bir LLM’nin bir bağlam koşuluna göre oluşturduğu çıktı dağılımı ile koşulsuz olarak oluşturduğu dağılım arasındaki farklılıkları artırır. Bu, bağlamsal kanıtları çeliştirmeyi engelleyerek, modeli zemine bağlı oluşturmaya yöneltir.

DoLA, transformer ağlarının farklı katmanlarından gelen logit’leri karşılaştırarak gerçek iddiaları azaltır. Gerçek bilgiler genellikle orta katmanlarda lokalize olduğundan, DoLA’nın logit karşılaştırması, gerçek katmanlardan sinyalleri amplifiye ederek yanlış gerçek oluşturmaları azaltır.

The THAM çerçevesi, eğitim sırasında bir düzenleme terimi tanıtarak, girdiler ve hallüsinasyonlu çıktılar arasındaki ortak bilgiyi en aza indirir. Bu, modelin verilen girdi bağlamına bağımlılığını artırır ve serbest hayal gücünü azaltır, böylece kör hallüsinasyonları azaltır.

Bilgi Zemini

LLM oluşturmalarını yapılandırılmış bilgilere bağlamak, sınırsız spekülasyon ve uydurmayı önler.

The RHO modeli, bir sohbet bağlamındaki varlıkları tanımlar ve bunları bir bilgi grafiğine (KG) bağlar. İlgili gerçekler ve ilişkiler, KG’den alınır ve LLM’ye verilen bağlam temsiline entegre edilir. Bu bilgi zenginleştirilmiş bağlam, hallüsinasyonları azaltır ve yanıtları bahsedilen varlıklar veya olaylar hakkında zemine bağlı gerçeklerle tutar.

HAR, modelin hallüsinasyonlarını içerebilen karşıt eğitim veri kümeleri oluşturur ve modelleri bu veri üzerinde eğitmek, zemine bağlı içeriği üretmelerini sağlar. Bir gerçek pasaj verildiğinde, model, hallüsinasyonları veya bozulmaları tanıtmak için oluşturulan değiştirilmiş bir karşıt versiyon oluşturur. Bu veri üzerinde fine-tuning, modellerin içeriği orijinal gerçek kaynaklara dayandırmalarını sağlar ve uydurmaları azaltır.

Denetimli Ayarlanma

• Coach – Kullanıcı sorularına cevap verir ve aynı zamanda iyileşme için düzeltmeler ister.
• R-Tuning – Eğitim verisindeki bilgi boşlukları aracılığıyla tanımlanan desteklenmeyen soruları reddeder.
• TWEAK – Oluşturmaları, girdi gerçeklerine ne kadar iyi uyduğunu temel alarak sıralar.

Zorluklar ve Sınırlamalar

Söz verilen ilerlemeye rağmen, hallüsinasyonları azaltmada bazı önemli zorluklar vẫn devam etmektedir:

• Teknikler genellikle kalite, tutarlılık ve yaratıcılıkla gerçeğe uygunluk arasında bir ticaret yapar.
• Sınırlı alanların ötesinde kapsamlı bir değerlendirme yapmak zorlu olup, ölçütler tüm nüansları yakalamaz.
• Çoklu teknikler, büyük miktarda alıma veya kendi kendine akıl yürütmeye ihtiyaç duyar.
• Eğitim verisi kalitesine ve dış bilgi kaynaklarına büyük ölçüde bağımlıdır.
• Tüm alanlar ve modellerde genelleyebilirlik garantisi verilemez.
• Hallüsinasyonların temel nedenleri, aşırı genelleme gibi, çözülmemiştir.

Bu zorlukları ele almak, muhtemelen eğitim verisi iyileştirmeleri, model mimari geliştirmeleri, sadakat-artırıcı kayıplar ve çıkarım zamanı tekniklerinin bir kombinasyonunu içerecektir.

İleriki Yol

LLM’lerde hallüsinasyon azaltma, aktif bir araştırma problemi olmaya devam etmektedir. Bazı vaad edilen gelecek yönleri şunları içerir:

• Melez teknikler: Alıma, bilgi zemini ve geribildirimi birleştirmek.
• Neden-sonuç modelleme: Anlama ve akıl yürütmeyi geliştirmek.
• Çevrimiçi bilgi entegrasyonu: Dünya bilgisini güncel tutmak.
• Resmi doğrulama: Model davranışları için matematiksel garantiler sunmak.
• Açıklanabilirlik: Azaltma tekniklerine şeffaflık kazandırmak.

LLM’ler, yüksek riskli alanlarda yaygınlaştıkça, hallüsinasyonları azaltmak için güçlü çözümler geliştirmek, güvenli, etik ve güvenilir dağıtımlarını sağlamak için anahtardır. Bu makalede incelendiği gibi, önerilen teknikler, şimdiye kadar önerilen tekniklerin bir özeti sunar, ancak daha fazla açık araştırma zorluğu kalır. Genel olarak, model gerçeğe uygunluğunu artırmaya yönelik olumlu bir eğilim vardır, ancak sınırlamaları ele almak ve yeni yönleri keşfetmek, seperti neden-sonuç, doğrulama ve melez yöntemler, devam eden ilerleme için gereklidir. Disiplinler arası araştırmacıların gayretli çabalarıyla, güçlü ve güvenilir LLM’ler hayalini gerçeğe dönüştürebiliriz.