Büyük Dil Modellerinde Hallüsinasyonla Mücadele: Son Teknolojik Tekniklerin İncelenmesi

Büyük dil modelleri (LLM’ler) gibi GPT-4, PaLM ve Llama, doğal dil oluşturma yeteneklerinde dikkat çekici ilerlemeler sağladı. Ancak, güvenilirliklerini ve güvenli dağıtımlarını sınırlayan bir sorun, gerçek dışı veya girdi bağlamından kopuk içerik oluşturma eğiliminde olmalarıdır.

LLM’ler, gerçek dünya uygulamalarında daha güçlü ve yaygın hale geldikçe, hallüsinasyonlarla mücadele etmek giderek daha önemli hale geliyor. Bu makale, hallüsinasyonları tespit etmek, ölçmek ve azaltmak için araştırmacılar tarafından sunulan son tekniklerin kapsamlı bir incelemesini sunuyor.

LLM’lerde Hallüsinasyon Anlama

Hallüsinasyon, LLM’lerin gerçeklikten veya verilen bağlamdan kopuk, gerçek dışı veya uydurma içerik oluşturmasına işaret eder. Bazı örnekler şunları içerir:

• Bir kişi hakkında metin oluştururken, kaynak materyalde kanıtları bulunmayan biyografik ayrıntılar veya olaylar uydurmak.
• İlaç yan etkileri veya tedavi prosedürleri hakkında yanlış tıbbi tavsiyeler vermek.
• Bir iddiayı desteklemek için var olmayan verileri, çalışmaları veya kaynakları uydurmak.

Bu olgu, LLM’lerin büyük miktarda çevrimiçi metin verisi üzerinde eğitilmesi nedeniyle ortaya çıkar. Bu, güçlü dil modelleme yetenekleri kazanmalarına olanak tanır, ancak aynı zamanda bilgiyi çıkarım yoluyla doldurmak, mantıksal sıçramalar yapmak ve boşlukları doldurmak için eğilimlidirler, bu da inandırıcı ancak yanıltıcı veya yanlış olabilir.

Hallüsinasyonlardan sorumlu bazı ana faktörler şunları içerir:

• Desen genelleme – LLM’ler, eğitim verisinde tanımladıkları ve genelleştirdikleri desenleri tanırlar, ancak bu desenler her zaman iyi genelleme sağlamayabilir.
• Eski bilgi – Statik ön eğitim, yeni bilgilerin entegrasyonunu engeller.
• Belirsizlik – Belirsiz promt’ler, yanlış varsayımlar için alan bırakır.
• Önyargılar – Modeller, eğrilişmiş perspektifleri sürdürür ve güçlendirir.
• Yetersiz temel – Anlama ve akıl yürütme eksikliği, modellerin tam olarak anlamadıkları içeriği oluşturmasına neden olur.

Hallüsinasyonları ele almak, özellikle tıp, hukuk, finans ve eğitim gibi yanlış bilgi üretilmesinin zararlı olabileceği duyarlı alanlarda güvenilir dağıtım için kritiktir.

Hallüsinasyon Azaltma Tekniklerinin Sınıflandırılması

Araştırmacılar, LLM’lerde hallüsinasyonlarla mücadele etmek için çeşitli teknikler geliştirdi, bunlar:

1. Promt Mühendisliği

Bu, LLM’lerin gerçeğe dayalı ve temellendirilmiş yanıtlara yönlendirmek için promt’lerin özenle hazırlanmasını içerir.

• Alma artırımı – İçeriği temellendirmek için dış kanıtlar alma.
• Geribildirim döngüleri – Yanıtları iyileştirmek için yinelemeli geribildirim sağlama.
• Prompt ayarlaması – İstenen davranışlar için promt’leri ince ayarlamak.

2. Model Geliştirme

Hallüsinasyona daha az eğilimli modeller oluşturmak için mimari değişiklikler yapma.

• Çözme stratejileri – Metni, gerçeğe bağlılığı artırmak için çeşitli şekillerde oluşturmak.
• Bilgi temellendirme – Dış bilgi tabanlarını entegre etmek.
• Yeni kaybı fonksiyonları – Eğitim sırasında gerçeğe bağlılığı optimize etmek için.
• Denetimli ince ayar – İnsan etiketli veriler kullanarak gerçeğe bağlılığı artırmak.

Sonraki bölümde, her yaklaşımın altında önemli teknikleri inceleyeceğiz.

Önemli Hallüsinasyon Azaltma Teknikleri

Alma Artırımlı Oluşturma

Alma artırımlı oluşturma, LLM’leri dış kanıt belgelerine dayalı metin oluşturma yeteneğini tăngtırır, bu da içeriğin güncel ve doğrulanabilir bilgilerle temellendirilmesini sağlar ve hallüsinasyonları azaltır.

Önemli teknikler şunları içerir:

• RAG – Bir retriever modülünü, ilgili pasajları bir seq2seq modeli için oluşturmak üzere kullanır. Her iki bileşen de uçtan uca eğitilir.
• RARR – Oluşturulan metindeki iddiaları araştırmak ve alıntıladığı kanıtlarla uyumlu hale getirmek için LLM’leri kullanır.
• Bilgi Alma – Oluşturulan metnin doğruluğunu, oluşturulmadan önce alıntıladığı bilgilerle doğrulama.
• LLM-Artırıcı – LLM promt’leri için kanıtları aramak ve oluşturmak.

Geribildirim ve Akıl Yürütme

İteratif doğal dil geribildirimi veya kendi kendini akıl yürütme, LLM’lerin ilk çıktılarını iyileştirmelerine ve hallüsinasyonları azaltmalarına olanak tanır.

CoVe, bir doğrulama zinciri tekniği kullanır. LLM, önce kullanıcı sorusuna bir yanıt oluşturur, ardından bu yanıtın çeşitli ifadelerinin güven düzeyine dayanarak doğrulama soruları oluşturur. Örneğin, yeni bir tıbbi tedaviyi tanıtan bir yanıt için CoVe, “Tedavinin etkinlik oranı nedir?”, “Düzenleyici onay aldı mı?” veya “Potansiyel yan etkileri nelerdir?” gibi sorular oluşturabilir. LLM, bu doğrulama sorularını, ilk yanıtından etkilenmeden bağımsız olarak cevaplamaya çalışır. Eğer doğrulama sorularının cevapları, ilk yanıtta yapılan ifadelerle çelişirse veya bunları destekleyemezse, sistem bu ifadeleri muhtemel hallüsinasyonlar olarak tanımlar ve yanıtı kullanıcıya sunmadan önce düzeltir.

DRESS, LLM’leri insan tercihlerine uygun şekilde ayarlamak için doğal dil geribildirimini kullanır. Bu yaklaşım, kullanıcıların model oluşturmalarına serbest biçimli eleştiriler veya iyileştirme talimatları vermesine olanak tanır. DRESS, modelleri bu geribildirimlere dayanarak, insan tercihlerine daha uygun yanıtlar oluşturmak için pekiştirme öğrenimi kullanır.

MixAlign, kullanıcıların, sistem tarafından alıntılanan kanıtlarla doğrudan ilgili olmayan sorular sordukları durumlarla ilgilenir. Örneğin, bir kullanıcı “Çin’de kirlilik daha da kötüleşecek mi?” diye sorabilir, ancak alıntılanan pasajlar küresel kirlilik eğilimlerini tartışır. MixAlign, kullanıcıdan, sorusunu alıntılanan bilgilere nasıl ilişkilendireceğine dair geribildirim almak için açık bir şekilde soru sorar, böylece kanıtın doğru bir şekilde temellendirilmesini ve bağlamlandırılmasını sağlar.

Öz Yansıtma tekniği, LLM’leri kendi yanıtlarını değerlendirmek, geribildirim sağlamak ve yinelemeli olarak iyileştirmek için eğitir. Örneğin, bir tıbbi sorgu için oluşturulan bir yanıtın, modelin bu yanıtı gerçeğe uygunluk açısından puanlamasını, çelişki veya dayanıksız ifadeleri tanımlamasını ve ilgili bilgileri alıntılayarak bunları düzeltmesini öğretebilir. Bu, LLM’lerin kendi çıktılarını değerlendirme ve iyileştirme yeteneklerini geliştirir, böyleceblind hallüsinasyonları azaltır.

Prompt Ayarlaması

Prompt ayarlaması, LLM’lerin ince ayarlanmasında promt’lerin ayarlanmasını içerir, bu da istenilen davranışları elde etmeyi sağlar.

SynTra yöntemi, sentezleme görevi için hallüsinasyonu en aza indirmek amacıyla sentetik bir görev kullanır. Model, önce alıntıladığı pasajları yalnızca alıntılayarak özetlemek üzere eğitilir, bu da modelin kaynak içeriğe bağlı kalmasını sağlar. SynTra, modelin gerçek görevlere aktarılmasında hallüsinasyon sorunlarını azalttığı gösterilmiştir.

UPRISE, evrensel bir promt alıcısı eğitir, bu da az örnek öğrenmede optimal yumuşak promt’leri sağlar. Farklı görevlerde eğitilen etkili promt’leri alması, modelin yeni görevlere adapte olmasını ve örneklerine sahip olmadığı görevlerde performansı artırmayı sağlar.

Yeni Model Mimarileri

FLEEK, insan doğrulayıcılarına ve validatörlere yardımcı olmak için tasarlanmış bir sistemdir. Belirli bir metinde oluşturulan potansiyel olarak doğrulanabilir gerçek ifadeleri otomatik olarak tanımlar, bunları sorgulara dönüştürür ve ilgili kanıtları bilgi tabanlarından alır. Bu, insan validatörlerin belge doğruluğunu ve revizyon ihtiyacını etkili bir şekilde doğrulamasına yardımcı olur.

CAD çözme yaklaşımı, bağlamın farkında olan çözme yoluyla dil oluşturma sırasında hallüsinasyonu azaltır. Özellikle, CAD, bir LLM’nin çıkış dağılımını, koşullu ve koşulsuz olarak oluştururken arasındaki farkı artırır, bu da modelin bağlamsal kanıtlara aykırı çıktıları üretmesini engelleyerek temellendirilmiş oluşturmaya yönlendirir.

DoLA, transformer ağlarının farklı katmanlarından gelen logit’leri karşılaştırarak gerçeğe uygunluğu artırır. Gerçek bilgiler genellikle belirli orta katmanlarda lokalize olduğundan, DoLA’nın logit karşılaştırması, gerçeğe aykırı oluşturmaları azaltır.

THAM çerçevesi, eğitimin sırasında bir düzenleme terimi ekler, bu da girdi ve hallüsinasyonlu çıktılar arasındaki ortak bilgi miktarını en aza indirir. Bu, modelin verilen girdi bağlamına bağımlılığını artırır ve bağlantısız hayal gücünü azaltır.

Bilgi Temellendirme

LLM oluşturmalarını yapılandırılmış bilgilere dayandırmak, kontrolsüz spekülasyon ve uydurmayı önler.

RHO modeli, sohbet bağlamındaki varlıkları tanımlar ve bunları bir bilgi grafiğine (KG) bağlar. Bu varlıklarla ilgili ilgili gerçekler ve ilişkiler KG’den alınıp sohbet bağlamına eklenir, bu da LLM’lerin yanıtlarını temellendirmesini sağlar.

HAR, karşıt gerçekler oluşturmak için model tarafından oluşturulan hallüsinasyonları içeren eğitim veri kümeleri oluşturur. Bir gerçek pasaj verildiğinde, model bu pasaja hallüsinasyonlar veya bozulmalar ekleyerek değiştirilmiş bir karşıt gerçek oluşturur. Bu veri üzerinde ince ayar, modellerin içeriğini orijinal gerçek kaynaklara dayandırmalarını sağlar, böylece uydurmayı azaltır.

Denetimli İnce Ayar

• Koçu – Kullanıcı sorularına cevaplar ve aynı zamanda düzeltmeler için soru soran etkileşimli bir çerçeve.
• R-Tuning – Reddetme bilincine sahip ayar, eğitim veri boşluklarından kaynaklanan desteklenmeyen soruları reddeder.
• TWEAK – Oluşturmaları, girdi gerçeklerine ne kadar iyi uyduğunu temel alarak sıralayan bir çözme yöntemi.

Challenges and Limitations

Hallüsinasyonları azaltma konusunda vaat edilen ilerlemeye rağmen, bazı ana zorluklar vẫn devam etmektedir:

• Teknikler genellikle kalite, tutarlılık ve yaratıcılıkla gerçeğe uygunluk arasında bir ticaret yapar.
• Sınırlı alanlar ötesinde kapsamlı bir değerlendirme yapılması zordur, ölçütler tüm nüansları yakalamaz.
• Çok sayıda yöntem, geniş alıntı veya kendi kendini akıl yürütme gerektirir, bu da hesaplama maliyeti yüksek olabilir.
• Eğitim verisi kalitesi ve dış bilgi kaynaklarına bağlıdır.
• Farklı alanlar ve modeller arasında genelleme garantisi yoktur.
• Hallüsinasyonların temel nedenleri, aşırı genelleme gibi, çözülmemiştir.

Bu zorlukları ele almak, muhtemelen eğitim verisi iyileştirmeleri, model mimari geliştirmeleri, gerçeğe uygunluğu artıran kayıplar ve çıkarım zamanı tekniklerinin bir kombinasyonunu gerektirecektir.

Yol Haritası

LLM’lerde hallüsinasyon azaltma, aktif bir araştırma problemi olarak devam etmektedir. Bazı vaat edilen gelecek yönleri şunları içerir:

• Melez teknikler: Alma artırımı, bilgi temellendirme ve geribildirim gibi tamamlayıcı yaklaşımları birleştirme.
• Nedensellik modelleme: Anlama ve akıl yürütmeyi geliştirme.
• Çevrimiçi bilgi entegrasyonu: Dünya bilgisi güncellenmesini sağlama.
• Resmi doğrulama: Model davranışları için matematiksel garantiler sağlama.
• Yorumlanabilirlik: Azaltma tekniklerine şeffaflık kazandırma.

LLM’ler, yüksek riskli alanlarda yaygınlaştıkça, hallüsinasyonları azaltmak için güçlü çözümler geliştirmek, güvenli, etik ve güvenilir dağıtımlarını sağlamak için kritik olacaktır. Bu makalede sunulan teknikler, şimdiye kadar önerilen tekniklerin bir özeti sunar, ancak daha fazla açık araştırma zorluğu仍 devam etmektedir. Genel olarak, model gerçeğe uygunluğunu artırmaya yönelik olumlu bir eğilim vardır, ancak sınırlamaları ele almak ve yeni yönleri keşfetmek, seperti nedensellik, doğrulama ve melez yöntemler, devam eden ilerleme gerektirecektir. Disiplinler arası araştırmacıların özenli çabalarıyla, güçlü ve güvenilir LLM’lerin hayalini gerçeğe dönüştürmek mümkün olabilir.