Yapay Zekâ
LLM Hallüsinasyonları Nedir? Nedenleri, Etik Kaygılar ve Önleme
Büyük dil modelleri (LLM’ler), insan benzeri metin oluşturabilen ve analiz edebilen yapay zeka sistemleridir. Ancak bir sorunları vardır – LLM’ler hayal görür, yani uydurur. LLM hallucinations, araştırmacıların bu alandaki ilerlemeye ilişkin endişelere neden olmuştur, çünkü araştırmacılar modellerin sonuçlarını kontrol edemezse, insanlığa hizmet edecek kritik sistemler oluşturamazlar. Daha sonra buna yeniden döneceğiz.
Genel olarak, LLM’ler gerçekçi çıktılar oluşturmak için büyük miktarda eğitim verisi ve karmaşık öğrenme algoritmaları kullanır. Bazı durumlarda, bağlam içi öğrenme bu modelleri yalnızca birkaç örnek kullanarak eğitmek için kullanılır. LLM’ler, makine çevirisi, duygu analizi, sanal AI asistanlığı, resim açıklaması, doğal dil işleme gibi çeşitli uygulama alanlarında giderek daha popüler hale geliyor.
LLM’lerin yenilikçi doğası rağmen, hala önyargılara, hatalara ve hallucinasyonlara eğilimlidirler. Meta’nın şu anki Baş AI Bilimcisi Yann LeCun,最近 LLM’lerde hallucinasyonlara neden olan merkezi kusuru belirtti: “Büyük dil modelleri, dilin tanımladığı temel gerçeklik hakkında hiçbir fikirleri yoktur. Bu sistemler, gramer ve anlambilim açısından iyi görünür metinler oluşturur, ancak sadece isteğin istatistiksel tutarlılığını sağlamak dışında hiçbir amaçları yoktur”.
LLM’lerde Hallüsinasyonlar
Image by Gerd Altmann from Pixabay
Hallüsinasyonlar, modelin sentaks ve anlambilim açısından doğru ancak gerçeklikten kopuk ve yanlış varsayımlara dayalı çıktılar oluşturmasına işaret eder. Hallüsinasyon, LLM’lerin önemli etik kaygılarından biridir ve bu, yeterli alan bilgisine sahip olmayan kullanıcıların bu giderek daha ikna edici dil modellerine aşırı güvenmeye başlamasıyla birlikte zararlı sonuçlara neden olabilir.
Tüm oto-regresif LLM’lerde belirli bir düzeyde hallucinasyon kaçınılmazdır. Örneğin, bir model hiçbir zaman söylenmemiş bir alıntıyı bir üne yakıştırabilir. Bir konuya ilişkin olarak gerçeğe aykırı şeyler iddia edebilir veya araştırma makalelerinde mevcut olmayan kaynaklara atıfta bulunabilir, böylece yanlış bilgi yayabilir.
Ancak AI modellerinin hallucinasyonlara neden olması her zaman olumsuz sonuçlar doğurmaz. Örneğin, yeni bir çalışma, bilim insanlarının hallucinasyonlara eğilimli LLM’ler aracılığıyla ‘sınırsız bir dizi özellik ile yeni proteinler’ keşfettiğini öne sürüyor.
LLM Hallüsinasyonlarının Nedenleri
LLM’ler, kodlama ve kod çözme hataları, eğitim önyargısı gibi çeşitli faktörler nedeniyle hallucinasyonlara eğilimlidir.
Aşırı Uyum
Image by janjf93 from Pixabay
Aşırı uyum, bir AI modelinin eğitim verilerine çok iyi uyum sağladığı ancak tüm olası girdileri temsil edemediği bir sorundur, yani yeni, görmediği verilere karşı öngörme gücünü genelleştirememektir. Aşırı uyum, modelin hallucinasyonlu içerik oluşturmasına neden olabilir.
Kodlama ve Kod Çözme Hataları
Image by geralt from Pixabay
Metin ve sonraki temsilindeki hatalar da modelin anlamsız ve hatalı çıktılar oluşturmasına neden olabilir.
Eğitim Önyargısı
Image by Quince Creative from Pixabay
Eğitim verisindeki önyargılar da modelin gerçek doğasını temsil etmek yerine bu önyargıları yansıtan sonuçlar vermesine neden olabilir. Bu, eğitim verisinin çeşitlilikten yoksun olmasıyla benzerdir ve modelin yeni verilere genelleme yeteneğini sınırlar.
LLM’lerin karmaşık yapısı, AI araştırmacıları ve uygulayıcıları için hallucinasyonların temel nedenlerini doğru şekilde tanımlamak, yorumlamak ve düzeltmek oldukça zor hale getirir.
LLM Hallüsinasyonlarının Etik Kaygıları
LLM’ler, hallucinasyonlar yoluyla zararlı önyargıları pekiştirebilir ve bu da kullanıcıları olumsuz etkileyerek zararlı sosyal sonuçlara neden olabilir. Bu etik kaygıların bazıları aşağıda listelenmiştir:
Ayrımcı ve Zehirli İçerik
Image by ar130405 from Pixabay
LLM’lerin eğitim verisi genellikle içerdikleri sosyo-kültürel stereotipler nedeniyle önyargılı ve çeşitlilikten yoksundur. LLM’ler, böylece toplumun dezavantajlı gruplarına karşı zararlı fikirleri üretebilir ve pekiştirebilir.
Irksal, cinsiyet, din, etnik köken gibi konularda ayrımcı ve nefret dolu içerik oluşturabilirler.
Gizlilik Sorunları
Image by JanBaby from Pixabay
LLM’ler, genellikle bireylerin kişisel bilgilerini içeren büyük bir eğitim korpusu üzerinde eğitilir. Bu modellerin insanların gizliliğini ihlal ettiği durumlar olmuştur. Sosyal güvenlik numaraları, ev adresleri, cep telefonu numaraları ve tıbbi ayrıntılar gibi özel bilgileri sızdırabilirler.
Yanlış Bilgi ve Yanıltıcı Bilgi
Image by geralt from Pixabay
Dil modelleri, doğru gibi görünen ancak aslında yanlış ve empirik kanıtlarla desteklenmeyen insan benzeri içerik oluşturabilir. Bu kazara olabilir, yanlış bilgiye neden olabilir veya kasıtlı olarak yanlış bilgi yaymak için kullanılır. Bu durum denetlenmezse, zararlı sosyal-kültürel-ekonomik-siyasi eğilimler yaratabilir.
LLM Hallüsinasyonlarının Önlenmesi
Image by athree23 from Pixabay
Araştırmacılar ve uygulayıcılar, LLM’lerdeki hallucinasyon sorununu ele almak için çeşitli yaklaşımlar benimsemektedir. Bunlar, eğitim verilerinin çeşitliliğini artırmak, içkin önyargıları ortadan kaldırmak, daha iyi düzenleme teknikleri kullanmak ve karşıt eğitim ve takviye öğrenimi uygulamayı içerir:
- Daha iyi düzenleme teknikleri geliştirmek, hallucinasyonlarla mücadele etmek için temel bir adımdır. Bunlar aşırı uyumu ve hallucinasyonlara neden olan diğer sorunları önler.
- Veri artırımı, bir araştırma çalışması tarafından gösterildiği gibi, hallucinasyon sıklığını azaltabilir. Veri artırımı, cümledeki herhangi bir yere rasgele bir token eklemeyi içerir. Eğitim kümesinin boyutunu ikiye katlar ve hallucinasyon sıklığında bir azalmaya neden olur.
- OpenAI ve Google’ın DeepMind, insan geri bildirimi ile takviye öğrenimi (RLHF) adlı bir teknik geliştirdi. Bu, bir insan değerlendiricinin modelin yanıtlarını sık sık gözden geçirip kullanıcı istemleri için en uygun olanını seçmesini içerir. Bu geri bildirim daha sonra modelin davranışını ayarlamak için kullanılır. OpenAI’ın baş bilimcisi Ilya Sutskever, bu yaklaşımın potansiyel olarak ChatGPT’deki hallucinasyonları çözebileceğini belirtti: “İnsan geri bildirimi ile sonraki takviye öğrenimi adımını sadece geliştirerek, hallucinasyon yapmamasını öğretebileceğimize oldukça umutluyum”.
- Gelecek eğitim için örnek olarak kullanmak üzere hallucinasyonlu içeriği tanımlamak da hallucinasyonlarla mücadele için kullanılan bir yöntemdir. Bu konuda yeni bir teknik, çıktı中的 her bir tokenin hallucinasyonlu olup olmadığını tahmin eder ve ayrıca hallucinasyon dedektörlerinin denetimsiz öğrenmesi için bir yöntem içerir.
Kısacası, LLM hallucinasyonları artan bir endişe kaynağıdır. Ve çabalar rağmen, bu sorunu ele almak için daha çok çalışma yapılması gerekmektedir.
Ancak devam eden araştırmalar ve gelişmelerle, LLM’lerdeki hallucinasyonları azaltmak ve etik sonuçlarını hafifletmek mümkündür.
LLM’ler ve geliştirilen önleyici teknikler hakkında daha fazla bilgi edinmek istiyorsanız, unite.ai sitesini ziyaret edin ve bilginizi genişletin.
