Büyük Dil Modellerindeki Hallüsinasyonla Mücadele: Çığır Açan Tekniklerin İncelenmesi

GPT-4, PaLM ve Llama gibi büyük dil modelleri (LLM’ler), doğal dil oluşturma yeteneklerinde dikkat çekici ilerlemeler sağlamıştır. Ancak, güvenilirliklerini ve güvenli dağıtımını sınırlayan sürekli bir zorluk, gerçeklikten veya girdi bağlamından kopuk olan ancak tutarlı görünen içerikler oluşturma eğilimindedir.

LLM’ler, gerçek dünya uygulamalarında daha güçlü ve yaygın hale geldikçe, hallüsinasyonları ele almak kaçınılmaz hale gelir. Bu makale, araştırmacıların LLM’lerde hallüsinasyonları tespit etmek, ölçmek ve azaltmak için tanıttığı son tekniklerin kapsamlı bir özeti sunar.

LLM’lerde Hallüsinasyon Anlamak

Hallüsinasyon, gerçeklikte veya sağlanan bağlamda temellenmeyen LLM’ler tarafından oluşturulan gerçek dışı yanlışlıkları veya uydurmaları ifade eder. Bazı örnekler şunları içerir:

• Kaynak materyalde kanıtları olmayan bir kişinin biyografik ayrıntıları veya olayları uydurmak.
• İlaç yan etkileri veya tedavi prosedürleri konusunda yanlış tıbbi tavsiyelerde bulunmak.
• Bir iddiayı desteklemek için var olmayan verileri, çalışmaları veya kaynakları uydurmak.

Bu olgu, LLM’lerin büyük miktarda çevrimiçi metin verisi üzerinde eğitilmesi nedeniyle ortaya çıkar. Bu, güçlü dil modelleme yetenekleri kazanmalarına olanak tanır, ancak aynı zamanda bilgilerin ngoại çıkarmasını, mantıksal sıçramalar yapmasını ve boşlukları ikna edici ancak yanıltıcı veya yanlış bir şekilde doldurmasını sağlar.

Hallüsinasyonlardan sorumlu bazı ana faktörler şunları içerir:

• Desen genelleme – LLM’ler, eğitim verisinde desenleri tanımlar ve genişletir, ancak bu desenler her zaman genelleme konusunda iyi sonuç vermeyebilir.
• Eski bilgi – Statik ön eğitime dayalı olarak yeni bilgilerin entegrasyonu engellenir.
• Belirsizlik – Belirsiz promt’ler, yanlış varsayımlar için alan bırakır.
• Önyargılar – Modeller, çarpık perspektifleri sürdürür ve güçlendirir.
• <strong[Yetersiz temel – Anlama ve akıl yürütme eksikliği, modellerin tam olarak anlamadığı içerikler oluşturmasına neden olur.

Hallüsinasyonları ele almak, yanlış bilgilerin oluşturulabileceği tıp, hukuk, finans ve eğitim gibi duyarlı alanlarda güvenilir dağıtım için kritiktir.

Hallüsinasyon Azaltma Teknikleri Taksonomisi

Araştırmacılar, LLM’lerde hallüsinasyonlarla mücadele etmek için çeşitli teknikler tanıttı, bunlar:

1. Promt Mühendisliği

Bu, LLM’leri gerçek, temellenmiş yanıtlara yönlendirmek için promt’leri dikkatli bir şekilde hazırlamayı içerir.

• Alma artırımı – İçeriği temellendirmek için dış kanıtlar alma.
• Geribildirim döngüleri – Yanıtları iyileştirmek için geribildirim sağlamak.
• Prompt ayarlaması – İstenen davranışlar için promt’leri ayarlamak.

2. Model Geliştirme

Hallüsinasyonlara karşı daha az eğilimli modeller oluşturmak için mimari değişiklikler yapmak.

• Çıkarma stratejileri – Metin oluştururken sadakat artırmak.
• Bilgi temellendirme – Dış bilgi tabanlarını entegre etmek.
• Yeni kayıp fonksiyonları – Eğitim sırasında sadakati optimize etmek.
• Denetimli ayarlanma – İnsan etiketli veriler kullanarak gerçekliği artırmak.

Sonraki bölümde, her yaklaşımın altında nổi bật teknikleri inceleyeceğiz.

Önemli Hallüsinasyon Azaltma Teknikleri

Alma Artırımı ile Oluşturma

Alma artırımı ile oluşturma, LLM’leri dış kanıtlar belgeleri almak ve koşullu metin oluşturmak için güçlendirir, yalnızca modelin iç bilgisi yerine.

Önemli teknikler şunları içerir:

• RAG – Bir seq2seq modeli için ilgili pasajları sağlayan bir alma modülü kullanır.
• RARR – LLM’leri, oluşturulan metinde atıfta bulunmayan iddiaları araştırmak ve alınan kanıtlarla uyumlu hale getirmek için kullanır.
• Bilgi Alma – Olası hatalı oluşturmaları, alınan bilgilerle doğrulayarak metin oluşturmadan önce kontrol eder.
• LLM-Artırıcı – LLM promt’leri için kanıtlar zincirleri oluşturmak amacıyla bilgiyi arar.

Geribildirim ve Akıl Yürütme

İteratif doğal dil geribildirimini veya öz akıl yürütmeyi kullanmak, LLM’lerin ilk çıktılarını iyileştirmelerine ve hallüsinasyonları azaltmalarına olanak tanır.

CoVe, bir doğrulama zinciri tekniği kullanır. LLM, önce kullanıcı sorusuna bir yanıt oluşturur, ardından bu yanıtın çeşitli ifadelerine güven düzeyine dayanarak doğrulama soruları oluşturur.

DRESS, LLM’leri insan tercihlerine uyumlu hale getirmek için doğal dil geribildirimini kullanır. Bu yaklaşım, kullanıcıların model oluşturmalarına serbest biçimli eleştiriler veya iyileştirme talimatları sağlamalarına olanak tanır.

MixAlign, kullanıcıların alınan bilgilere doğrudan karşılık gelmeyen sorular sorduğu durumlarla ilgilenir. Sistem, kullanıcıdan geribildirim almak için açıklama yapar ve böylece doğru bağlamda kanıt oluşturur.

Öz Yansıtma tekniği, LLM’leri kendi yanıtlarını değerlendirme, geribildirim sağlama ve iyileştirme için eğitir. Bu, hallüsinasyonları azaltmak için bir geri bildirim döngüsü oluşturur.

Prompt Ayarlaması

Prompt ayarlaması, LLM’lere verilen talimatları, istenen davranışlar için ayarlamayı içerir.

SynTra yöntemi, sentezleme görevi için bir yaklaşım kullanır. Model, kaynak metinleri yalnızca alıntılayarak özetlemeye odaklanır, böylece uydurma bilgilerin oluşturulmasını azaltır.

UPRISE, evrensel bir prompt alıcısı eğitir ve görülmemiş aşağı akım görevleri için optimal promt’leri sağlar.

Yeni Model Mimarileri

FLEEK, insan doğrulayıcılarına ve validatörlerine yardımcı olan bir sistemdir. Potansiyel olarak doğrulanabilir gerçek iddiaları otomatik olarak tanımlar ve ilgili kanıtları sağlar.

CAD yaklaşımı, bağlamsal olarak farkındalık kazandırarak hallüsinasyonu azaltır. Modelin çıkış dağılımını, koşullu ve koşulsuz durumlar arasında farklılaştırmaya odaklanır.

DoLA, transformer ağlarının farklı katmanlarından gelen logit’leri karşılaştırarak hallüsinasyonu azaltır. Gerçek bilgilerin genellikle orta katmanlarda yer aldığını dikkate alarak, bu katmanlardan sinyalleri güçlendirir.

THAM çerçevesi, eğitim sırasında bir düzenleme terimi ekler ve girdi ile hallüsinasyon arasındaki mutual bilgiyi en aza indirir. Bu, modelin girdi bağlamına bağımlılığını artırır.

Bilgi Temellendirme

LLM oluşturmalarını yapılandırılmış bilgiye dayandırmak, spekülasyon ve uydurmayı engeller.

RHO modeli, sohbet bağlamındaki varlıkları tanımlar ve bir bilgi grafiğine (KG) bağlar. İlgili gerçekler ve ilişkiler, KG’den alınır ve LLM’ye verilen bağlam temsiline eklenir.

HAR, modelin uydurma veya çarpıtma oluşturmasını teşvik eden karşıt gerçekli veri setleri oluşturur. Model, bu veri setleri üzerinde eğitilir ve böylece gerçek kaynaklara dayalı içerik oluşturur.

Denetimli Ayarlanma

• Coach – Kullanıcı sorularına yanıt verir ve aynı zamanda düzeltmeler için geri bildirim ister.
• R-Tuning – Reddetme bilincine dayalı ayarlanma, eğitim verisindeki bilgi boşluklarını tanımlar.
• TWEAK – Çıkışları, girdi gerçeklerine ne kadar iyi uyduğunu temel alarak sıralar.

Zorluklar ve Sınırlamalar

Vaadedilen ilerlemelere rağmen, hallüsinasyonları azaltmada bazı ana zorluklar kalır:

• Teknikler genellikle kalite, tutarlılık ve yaratıcılıkla gerçeklik arasında bir ticaret yapar.
• Sınırlı alanların ötesinde kapsamlı bir değerlendirme yapılması zordur. Metrikler tüm nüansları yakalamaz.
• Çoğu yöntem hesaplama açısından pahalıdır ve geniş alma veya öz akıl yürütmeyi gerektirir.
• Eğitim verisi kalitesine ve dış bilgi kaynaklarına nặng bir şekilde bağımlıdır.
• Tüm alanlar ve modellerde genellenebilirlik garantisi verilemez.
• Hallüsinasyonların temel nedenleri, aşırı dışa çıkarma gibi, çözülmemiştir.

Bu zorlukları ele almak, muhtemelen eğitim verisi iyileştirmeleri, model mimari geliştirmeleri, sadakat artıran kayıplar ve çıkarım zamanı tekniklerinin birleştirilmesini gerektirecektir.

Yol Haritası

LLM’lerde hallüsinasyon azaltma, açık bir araştırma problemi olmaya devam etmektedir. Bazı vaadedilen gelecek yönleri şunları içerir:

• Melez teknikler: Alma, bilgi temellendirme ve geribildirim gibi tamamlayıcı yaklaşımları birleştirmek.
• Neden-sonuç modelleme: Anlama ve akıl yürütmeyi geliştirmek.
• Çevrimiçi bilgi entegrasyonu: Dünya bilgisini güncel tutmak.
• Resmi doğrulama: Model davranışları için matematiksel garantiler sağlamak.
• Açıklanabilirlik: Azaltma tekniklerine şeffaflık kazandırmak.

LLM’ler, yüksek riskli alanlarda yaygınlaştıkça, hallüsinasyonları kontrol altına almak, güvenli, etik ve güvenilir dağıtımlarını sağlamak için kritik olacaktır. Bu makalede incelenen teknikler, şimdiye kadar önerilen tekniklerin bir özeti sunar, ancak daha fazla açık araştırma zorluğu kalır. Genel olarak, model gerçekliğini artırmaya yönelik olumlu bir eğilim vardır, ancak sınırlamaları ele almak ve yeni yönleri keşfetmek, seperti neden-sonuç, doğrulama ve melez yöntemler, gerekli olacaktır. Disiplinler arası araştırmacıların gayretli çabalarıyla, güçlü ve güvenilir LLM’ler hayalini gerçeğe dönüştürebiliriz.