GPT-3 ve Diğer Karmaşık Dil Modellerinde ‘Hallüsinasyon’u Önleme

‘Sahte haber’in bir tanımlayıcı özelliği, genellikle gerçeğe uygun bilgilerin bağlamında yanlış bilgileri sunması ve gerçek olmayan verilerin, bir çeşit edebi osmoz yoluyla algılanan otorite kazanması – yarı gerçeklerin gücünün endişe verici bir gösterisi.

GPT-3 gibi sofistike generatif doğal dil işleme (NLP) modelleri de bu tür aldatıcı verileri ‘hallüsinasyon’a eğilimlidir. Bunun nedeni kısmen, dil modellerinin uzun ve genellikle labirent gibi metinleri yeniden ifade etme ve özetleme yeteneğine sahip olması, ancak mimari bir kısıtlama olmaması, olayları ve gerçekleri tanımlamak, kapsamak ve ‘mühürlemek’ için yeterli olmamasıdır.

Bu nedenle, gerçekler bir NLP modeli için kutsal değildir; kolayca ‘anlamsal Lego tuğlaları’ olarak muamele görebilirler, özellikle karmaşık dilbilgisi veya kaynak materyalin ayrı ayrı varlıkları ve dil yapısını ayırmayı zorlaştıran arkaik materyallerde.

GPT-3 gibi karmaşık dil modellerinin, karmaşık kaynak materyalleri nasıl karıştırabileceğinin bir gözlemi. Kaynak: Paraphrase Generation Using Deep Reinforcement Learning

Bu sorun, metin tabanlı makine öğreniminden bilgisayar görüşü araştırmalarına, özellikle nesneleri tanımlamak veya tanımlamak için anlamsal ayrımcılık kullanan sektörlere sıçrar.

Hallüsinasyon ve yanlış ‘kosmetik’ yeniden yorumlama, bilgisayar görüşü araştırmalarını da etkiler.

GPT-3 durumunda, model daha önce cevapladığı bir konuya tekrar soru sorulduğunda canı sıkılabilir. En iyi durumda, yenilgiyi kabul edecektir:

GPT-3’ün temel Davinci motoru ile yapılan bir deney. Model ilk denemede cevabı doğru veriyor, ancak ikinci kez soru sorulduğunda canı sıkılıyor. Kaynak: https://www.scalr.ai/post/business-applications-for-gpt-3

DaVinci ve DaVinci Instruct (Beta) bu konuda diğer GPT-3 modellerinden daha iyidir. Burada, Curie modeli yanlış cevabı veriyor, Babbage modeli ise aynı şekilde yanlış cevabı güvenle genişletiyor:

Einstein’in Söylediği Şeyler

GPT-3’ün DaVinci Instruct motoruna Einstein’in ünlü alıntısı ‘Tanrı, evrenle zar atarak oynamaz’ için başvurulduğunda, DaVinci instruct alıntıyı bulamıyor ve uyduruyor, ardından benzer sorgulara yanıt olarak Einstein’den veya başka birinden üç tane daha oldukça inandırıcı ve tamamen var olmayan alıntı uyduruyor:

GPT-3, Einstein’den dört tane inandırıcı alıntı üretiyor, ancak bunlar tam metin aramasında hiçbir sonuç vermiyor, ancak bazıları ‘hayal gücü’ konulu gerçek alıntıları tetikliyor.

Eğer GPT-3 alıntıları tutarlı olarak yanlış olsaydı, bu hallüsinasyonları programlı olarak daha kolay göz ardı edilebilirdi. Ancak, bir alıntı ne kadar yaygın ve ünlü ise, GPT-3’ün onu doğru olarak bulma olasılığı o kadar yüksek:

GPT-3, alıntıları katkıda bulunan verilerde iyi temsil edildikleri takdirde doğru buluyor gibi görünüyor.

İkinci bir sorun, GPT-3’ün oturum historia verilerinin yeni bir soruya karışması durumunda ortaya çıkabilir:

Einstein’in bu sözü kendisine atfedilmesi durumunda muhtemelen skandale uğrayacaktır. Alıntı, gerçek bir Winston Churchill aforizmasının anlamsız bir hallüsinasyonudur. Önceki soru GPT-3 oturumunda Churchill (Einstein değil) ile ilgiliydi ve GPT-3 bu oturum tokenini yanlışlıkla cevabı etkilemek için kullanıyor gibi görünüyor.

Hallüsinasyonu Ekonomik Olarak Ele Almak

Hallüsinasyon, sofistike NLP modellerinin araştırma araçları olarak benimsenmesine önemli bir engel teşkil ediyor – özellikle de bu motorların çıktısı, onu oluşturan kaynak materyalden yüksek düzeyde soyutlandığı için, alıntıların ve gerçeklerin doğruluğunu belirlemek problematik hale geliyor.

Bu nedenle, NLP’de güncel bir araştırma zorluğu, entirely yeni NLP modelleri geliştirmek yerine, hallüsinasyonlu metinleri tanımlamak için bir yöntem oluşturmaktır.

Hallüsinasyon İçeriğini Tanımak ve Üretmek

Carnegie Mellon Üniversitesi ve Facebook AI Research arasında yeni bir işbirliği, hallüsinasyon sorununa bir çözüm öneriyor. Bu çözüm, hallüsinasyonlu çıktıları tanımlamak için bir yöntem geliştiriyor ve sentetik hallüsinasyonlu metinler oluşturuyor. Bu metinler, gelecekteki filtreler ve mekanizmalar için bir temel olarak kullanılabilir.

Kaynak: https://arxiv.org/pdf/2011.02593.pdf

Üstteki resimde, kaynak materyal kelime bazında segmentlere ayrılmıştır. ‘0’ etiketi doğru kelimelere, ‘1’ etiketi ise hallüsinasyonlu kelimelere atanmıştır. Aşağıda, girdi bilgisine ilgili ancak sahte veri ile zenginleştirilmiş hallüsinasyonlu çıktı örneğini görüyoruz.

Sistem, orijinal metne geri dönebilen bir önceden eğitilmiş gürültü azaltma otokodunu kullanıyor. Özellikle, Facebook’un BART otokodunu kullanarak bozulmuş cümleler üretiyor.

Etiket atama.

Hallüsinasyonu kaynak metne geri eşleştirmek, yüksek düzeyli NLP modellerinin ortak çalışmasında mümkün olmayan bir işlemdir. Bu, ‘düzenleme mesafesi’ haritasını sağlar ve hallüsinasyonlu içeriği tanımlamak için algoritmik bir yaklaşım sunar.

Araştırmacılar, sistemin eğitim sırasında mevcut olmayan referans materyallerine erişimi olmadığında bile iyi genellemeler sağladığını bulmuşlardır. Bu, kavramsal modelin sound ve genişletilebilir olduğunu gösterir.

Aşırı Uyumla Mücadele

Genişletilebilir bir mimari elde etmek ve aşırı uyuma karşı korumak için, araştırmacılar tokenleri rastgele düşürdü ve ayrıca paraphrasing ve diğer gürültü fonksiyonlarını kullandı.

Makine çevirisi (MT) de bu bulanıklaştırma sürecinin bir parçasıdır, çünkü metni diller arasında çevirmek, anlamı güçlü bir şekilde korumaya eğilimlidir ve aşırı uyuma karşı korur. Bu nedenle, hallüsinasyonlar, projede iki dilli konuşmacılar tarafından manuel olarak annotasyon katmanında çevrildi ve tanımlandı.

Girişim, bir dizi standart sektör testinde yeni en iyi sonuçları elde etti ve 10 milyonun üzerinde token içeren verileri kullanarak kabul edilebilir sonuçlar elde eden ilk çalışma oldu.

Projenin kodu, Şartlı Neural Dizi Oluşturma’da Hallüsinasyonlu İçeriği Tanıma adlı bir çalışmadır ve GitHub üzerinde yayınlandı. Kullanıcılar, BART ile herhangi bir metin kümesinden sentetik veri oluşturabilir ve ardından hallüsinasyon algılama modelleri oluşturmak için bir temel olarak kullanabilirler.