Yapay zeka modelleri ve platformları

LLM Hallüsinasyonları Nedir? Nedenleri, Etik Kaygılar ve Önleme

Haziqa Sajid
Unite.AI sitesini Google'daki tercih ettiğiniz kaynaklara ekleyin
Öne çıkan noktalarYann LeCun, LLM'lerin altta yatan gerçekliği anlamadıkları için halüsinasyon…
Daha fazla göster
  • Yann LeCun, LLM'lerin altta yatan gerçekliği anlamadıkları için halüsinasyon gördüklerini söylüyor.
  • Halüsinasyonlar, sahte alıntılar, yanlış gerçekler ve var olmayan kaynaklar aracılığıyla yanlış bilgi yayabilir.
  • OpenAI ve DeepMind, ChatGPT'nin halüsinasyonlarını azaltmak için insan geri bildirimiyle pekiştirmeli öğrenme kullanıyor.

Büyük dil modelleri (LLM’ler), insan benzeri metinleri analiz etme ve oluşturma yeteneklerine sahip yapay zeka sistemleridir. Ancak bir problemi vardır – LLM’ler hayal görür, yani uydurur. LLM hallüsinasyonları, araştırmacıları bu alandaki ilerleme konusunda endişelendirmiştir, çünkü araştırmacılar modelin sonucunu kontrol edemezse, insanlığa hizmet edecek kritik sistemler oluşturamazlar. Daha sonra buna geri döneceğiz.

Genel olarak, LLM’ler gerçekçi çıktılar oluşturmak için büyük miktarda eğitim verisi ve karmaşık öğrenme algoritmaları kullanır. Bazı durumlarda, bağlam içi öğrenme bu modelleri sadece birkaç örnek kullanarak eğitmek için kullanılır. LLM’ler, makine çevirisi, duygu analizi, sanal AI asistanı, resim açıklaması, doğal dil işleme gibi çeşitli uygulama alanlarında giderek daha popüler hale geliyor.

LLM’ler ileri teknoloji ürünü olmalarına rağmen hâlâ önyargılara, hatalara ve hallüsinasyonlara yatkındır. Makalenin yayımlandığı dönemde Meta’nın baş AI bilimcisi olan Yann LeCun, kısa süre önce LLM’lerde hallüsinasyonlara yol açan temel kusuru şöyle açıkladı: “Büyük dil modellerinin, dilin betimlediği temel gerçeklik hakkında hiçbir fikri yoktur. Bu sistemler dil bilgisi ve anlam açısından düzgün görünen metinler üretir; ancak istemle istatistiksel tutarlılığı sağlamak dışında gerçek bir amaçları yoktur”.

LLM’lerde Hallüsinasyonlar

Gerd Altmann tarafından Pixabay‘dan

Hallüsinasyonlar, modelin sentaks ve anlambilim açısından doğru ancak gerçeklikten kopuk ve yanlış varsayımlara dayalı çıktılar oluşturmasına işaret eder. Hallüsinasyon, LLM’lerin önemli etik kaygılarından biridir ve bu, yeterli alan bilgisine sahip olmayan kullanıcıların bu giderek daha ikna edici dil modellerine aşırı güvenmeye başlamasıyla birlikte zararlı sonuçlar doğurabilir.

Tüm otoregresif LLM’lerde belirli düzeyde hallüsinasyon kaçınılmazdır, diye belirtiliyor. Örneğin, bir model, bir ünlüye asla söylenmemiş bir sahte alıntı atfedebilir. Bir konuya ilişkin olarak gerçeğe aykırı şeyler iddia edebilir veya araştırma makalelerinde mevcut olmayan kaynaklara atıfta bulunabilir, böylece yanlış bilgilendirme yayabilir.

Ancak, AI modellerinin hallüsinasyon üretmesi her zaman zararlı sonuçlar doğurmaz. Örneğin, yeni bir çalışma bilim insanlarının, LLM’lerin hallüsinasyon üretmesi yoluyla ‘sınırsız bir dizi özellik ile yeni proteinler’ keşfettiğini öne sürüyor.

LLM’lerin Hallüsinasyonlarına Neden Olan Etmenler

LLM’ler, aşırı uyum hataları, kodlama ve kod çözme hataları ve eğitim önyargısı gibi çeşitli faktörler nedeniyle hallüsinasyon üretebilir.

Aşırı Uyum

janjf93 tarafından Pixabay‘dan

Aşırı uyum, bir AI modelinin eğitim verilerine çok iyi uyması ancak tüm olası girdileri temsil edememesi sorunudur, yani tahmin gücünü yeni, görülmemiş verilere genelleyemez. Aşırı uyum, modelin gerçeğe dayanmayan içerik üretmesine neden olabilir.

Kodlama ve Kod Çözme Hataları

geralt tarafından Pixabay‘dan

Metin ve sonraki temsilinin kodlanması ve kod çözülmesinde hatalar varsa, bu da modelin anlamsız ve hatalı çıktılar oluşturmasına neden olabilir.

Eğitim Önyargısı

Quince Creative tarafından Pixabay‘dan

Diğer bir faktör, eğitim verisinde belirli önyargıların varlığıdır, bu da modelin gerçek verilerin doğasını temsil etmek yerine bu önyargıları temsil eden sonuçlar vermesine neden olabilir. Bu, eğitim verisinin çeşitliliği eksikliğine benzer ve modelin yeni verilere genellemesini sınırlar.

LLM’lerin karmaşık yapısı, araştırmacıların ve uygulayıcıların hallüsinasyonların temel nedenlerini tanımlamasını, yorumlamasını ve düzeltmesini oldukça zorlaştırır.

LLM Hallüsinasyonlarının Etik Kaygıları

LLM’ler, hallüsinasyonlar aracılığıyla zararlı önyargıları pekiştirebilir ve yayabilir, bu da kullanıcıları ve toplumları olumsuz etkileyebilir. Bu etik kaygıların bazıları aşağıda listelenmiştir:

Ayrımcı ve Zehirli İçerik

ar130405 tarafından Pixabay‘dan

LLM’lerin eğitim verisi genellikle içkin önyargılar ve çeşitlilik eksikliği nedeniyle sosyo-kültürel stereotiplerle doludur. LLM’ler, böylece bu zararlı fikirleri toplumun dezavantajlı gruplarına karşı üretebilir ve pekiştirebilir.

Irksal, cinsiyet, din, etnik köken gibi konularda ayrımcı ve nefret içerikli metinler oluşturabilir.

Gizlilik Sorunları

JanBaby tarafından Pixabay‘dan

LLM’ler, büyük bir eğitim korpusu üzerinde eğitilir ve bu korpus genellikle bireylerin kişisel bilgilerini içerir. Bu modellerin kişilerin gizliliğini ihlal ettiği durumlar olmuştur. Sosyal güvenlik numaraları, ev adresleri, cep telefonu numaraları ve tıbbi ayrıntılar gibi belirli bilgileri sızdırabilir.

Yanlış Bilgi ve Yanlış Bilgilendirme

geralt tarafından Pixabay‘dan

Dil modelleri, insan benzeri içerik oluşturabilir ancak gerçekte yanlış ve empirik kanıtlarla desteklenmeyen içeriktir. Bu, kazara meydana gelebilir ve yanlış bilgiye neden olabilir veya kasıtlı olarak yanlış bilgilendirme yaymak için kullanılabilir. Bu durum denetlenmezse, olumsuz sosyal-kültürel-ekonomik-siyasi eğilimler yaratabilir.

LLM Hallüsinasyonlarının Önlenmesi

athree23 tarafından Pixabay‘dan

Araştırmacılar ve uygulayıcılar, LLM’lerde hallüsinasyon sorununu çözmek için çeşitli yaklaşımlar benimsemektedir. Bunlar, eğitim verisi çeşitliliğini artırmak, içkin önyargıları ortadan kaldırmak, daha iyi düzenlileştirme teknikleri kullanmak ve çekişmeli eğitim ve pekiştirme öğrenimi uygulamayı içermektedir:

  • Daha iyi düzenlileştirme teknikleri geliştirmek, hallüsinasyonları önlemenin temelidir. Bu teknikler aşırı uyumun ve hallüsinasyonlara yol açan diğer sorunların önlenmesine yardımcı olur.
  • Veri artırma, bir araştırma çalışması tarafından kanıtlandığı gibi, hallüsinasyon sıklığını azaltabilir. Burada açıklanan veri artırma yönteminde cümlenin herhangi bir yerine rastgele bir belirteç (token) eklenerek eğitim kümesi genişletilir; eğitim kümesinin boyutu iki katına çıkar ve hallüsinasyon sıklığında bir azalmaya neden olur.
  • OpenAI ve Google’ın DeepMind’i, insan geri bildirimi ile pekiştirme öğrenimi adlı bir teknik geliştirdi. Bu, bir insan değerlendiricinin modelin cevaplarını düzenli olarak gözden geçirmesini ve kullanıcı istemleri için en uygun cevabı seçmesini içerir. Bu geri bildirim daha sonra modelin davranışını ayarlamak için kullanılır. O dönemde OpenAI’ın baş bilimcisi olan Ilya Sutskever, bu yaklaşımın potansiyel olarak ChatGPT’deki hallüsinasyonları çözebileceğini belirtti: “İnsan geri bildirimi ile pekiştirme öğrenimini geliştirerek, onun hallüsinasyon üretmemesini öğretebileceğimiz konusunda oldukça umutluyum”.
  • Gelecekteki eğitimde örnek olarak kullanmak üzere hallüsinasyon içeren çıktıları belirlemek da hallüsinasyonları önlemek için kullanılan bir yöntemdir. Yeni bir teknik, çıktıdaki belirteçler düzeyinde hallüsinasyonları tespit eder ve her belirtecin hallüsinasyon içerip içermediğini öngörür. Ayrıca, hallüsinasyon tespit sistemlerinin denetimsiz öğrenimi için bir yöntem içerir.

Kısacası, LLM hallüsinasyonları giderek büyüyen bir kaygıdır. Gösterilen çabalara rağmen sorunu çözmek için hâlâ yapılması gereken çok iş vardır. Bu modellerin karmaşıklığı, hallüsinasyonların temel nedenlerini doğru belirlemeyi ve gidermeyi genel olarak zorlaştırır.

Ancak, devam eden araştırmalar ve gelişmelerle birlikte, LLM’lerde hallüsinasyonları azaltmak ve etik sonuçlarını azaltmak mümkündür.

LLM’ler ve bunları düzeltmek için geliştirilen önleyici teknikler hakkında daha fazla bilgi edinmek istiyorsanız, unite.ai sitesini ziyaret edin.

Haziqa bir Veri Bilimcisi ve AI ve SaaS şirketleri için teknik içerik yazma konusunda geniş deneyime sahiptir.