NLP’nin Yanlış Bilgi İçeren Soruları Sorgulaması

Bazı sorular, içerdiği yanlış bilgiler nedeniyle cevaplanamaz – dinleyen kişinin süzgeçten geçirmesi ve reddetmesi gereken önvarsayımlar. Bu, elbette dinleyicinin soruyu sorgulamak yerine soruyu kendisi (yanlış) bilgi kaynağı olarak kullanmak yerine, doğru bilgiyle soruyu sorgulayabilmesi için yeterli doğru bilgiye sahip olduğunu varsayar.

Doğal Dil İşleme (NLP) sistemleri için, örneğin GPT-3 gibi, bu bir zorluk teşkil eder. Bu sistemler, diyaloğu sürdürmek için bilgi “uydurmak” eğilimindedir.

Şu an, GPT-3’e “Marie Curie uranyumu ne zaman keşfetti?” diye sormak, muhtemelen “Marie Curie uranyumu 1898’de keşfetti” cevabını almanıza neden olacaktır.

Kaynak: https://beta.openai.com/playground (Da Vinci instruct beta).

Aslında, uranyum 1789’da Alman kimyager Martin Heinrich Klaproth tarafından keşfedilmiştir. Curie’lerin 1898’deki keşfi, radyumun izolasyonuydu.

NLP sistemlerinin yanlış önvarsayımları görmezden gelme sorunu, bu yıl birçok kamuoyu açıklamasında, örneğin Google’ ın AI destekli arama sonuçlarının “Neil Armstrong Mars’a ne zaman ayak bastı?” sorusundaki yanlış bilgiyi görmezden gelmesi gibi durumlarda ortaya çıkmıştır. Bu hata, bu makale yazıldığı sırada hala mevcuttur ve aynı şekilde Oyuncak Hikayesi‘nin Buzz Lightyear karakterinin 21 Temmuz 1969’da Ay’a ayak bastığı iddiası da geçerlidir.

Oyuncak Hikayesi‘nin bir diğer oyuncusu Tom Hanks, Google tarafından 1970’te Ay’a ayak bastığı şeklinde yanlış bir şekilde kredilendirilmektedir. Oysa ki Apollo 13 filmindeki karakteri, astronot Jim Lovell, Ay’a ayak basmamış olmasından dolayı ünlüdür.

NLP Etkileşimlerinde Önvarsayımlı Sorunları Çözme

Google Research, Johns Hopkins Üniversitesi ve Brown Üniversitesi’nden araştırmacılarla birlikte, NLP sistemlerinin yanlış bilgi içeren soruları insan öğretmenlerin yaptığı gibi sorgulayabilmesi için yeni makine öğrenimi yöntemlerini araştırıyor.

Son makale Hangi Dilbilimci Ampulü İcat Etti? Soru-Cevap için Önvarsayım Doğrulaması, önvarsayımları tanımlamak ve doğruluğunu kontrol etmek için geliştirilen yeni bir sistemin ayrıntılarını ortaya koyuyor.

Yeni algoritma, soruları sohbetlere başlamadan önce işler ve soruların “kimlik doğrulamasını” üç aşamada gerçekleştirir.

Sol tarafta, gelişmiş bir NLP sisteminin bile anlamadığı sorulara gelen ‘yol engeli’. Sağ tarafta, önerilen algoritmanın kaynak hatasını düzeltmeye çalıştığı bir açıklama. Kaynak: https://arxiv.org/pdf/2101.00391.pdf

Bu sistem, dilbilimsel tetikleyicileri soru tarafından oluşturulan kurallı bir üreticiden alır ve cümleyi varsayılan gerçek ifadelerine ayırır. Eğer soru birden fazla önvarsayıma yol açarsa, her biri soruşturulur ve yanlış önvarsayımları ele alan nihai cevaba katkıda bulunur.

Veri Setleri

İlk aşamada oluşturulan önvarsayımlar, “altın” önvarsayımlarla doğrulama veri seti oluşturmak için manuel olarak düzeltilmiştir. Orijinal sorulardan kaynaklanmayan, ancak soruşturmanın dallanmasıyla ortaya çıkan önvarsayımlar veri setinden çıkarılmıştır.

Makalenin iki yazarı, her bir soru ile ilişkili Wikipedia sayfasına dayalı olarak 462 önvarsayımları evet/hayır doğrulama açısından manuel olarak注釈lediler. Anlaşmazlık durumları, veri setine işlenmeden önce hậu-facto tartışmada çözüldü.

Araştırmacılar, zero-shot NLI kullanmıştır. Bu, Wikipedia makalelerini soru ile ilgili olarak sorgulamak için gereken bir önkoşul/hipotez sınıflandırma görevidir. Bu işlem, modelin desteklediği veya soru içerdiği daha fazla çift oluşturur, bu nedenle filtrelenen sonuçlar toplandı ve etiketlendi.

Sonuçlar ve Cevap Oluşturma

En etkili sonuçlar, en çok emek gerektiren çözümüyle elde edildi: ALBERT QNLI ile oluşturulan, Wiki cümleleri ve önvarsayımları ile daha ince ayarlanmış, kural tabanlı/NLI hibrit bir çözüm.

Doğrulama modellerinin performansı, ‘Wiki cümleleri’ soru ile ilgili Wikipedia makalelerinden alınan cümleleri, ‘Wiki önvarsayımları’ ise bu cümlelerden oluşturulan önvarsayımları kullanır.

Bu formülasyon kullanılarak, araştırmacılar “Bu soru cevaplanamaz çünkü…” gibi cümlelere Wikipedia’dan alınan bir gerçeği ekleyen bir şablon sistemi geliştirdiler. İdeal bir çözüm olmasa da, yazarlar, doğrulanamayan cevapların yanlış negatiflerin oluşmasını azaltacağına inanıyor.

Sistem nihayetinde Genişletilmiş Transformer İnşaat (ETC) modelinde uygulandı.

Sonuçlar

Bu yaklaşımın nihai performansına bağlı olarak, yalnızca “cevaplanamaz”ın yerine “doğrulanamaz”ın geçmesi ile sonuçlanabilir. Aslında, bu, gelecekte daha iyi doğrulama sistemleri için altyapıyı oluşturuyor gibi görünüyor.

Araştırmacılar, token tabanlı API isteklerinin uzun cevaplar oluştururken bir sınırlama teşkil ettiğini kabul ediyor ve bu sistemin “canlı” soruşturmasının, özellikle de GPT-3 gibi büyük ölçekli sistemlerin, eğitim zamanında genelleştirilmiş bilgiyi içermesi yerine ağ tabanlı doğrulama rutinlerine dayanması nedeniyle gecikme ekleyeceği varsayılıyor.

Örneğin, kimin Estella’nın annesi olduğuna inandığı believe gibi bir nonfactive fiil altında bir sahip olma ifadesi içerir, ancak bizim üreticimiz yine de ‘Estella’nın annesi var’ gibi bir önvarsayımda bulunacaktır.

Bununla birlikte, ekip, bu araştırmaya dayanarak geliştirilecek daha esnek ve işbirlikçi soru-cevap sistemlerini öngörüyor:

Gelecekte, bu çalışmaya dayanarak daha güçlü ve işbirlikçi QA sistemleri önermeyi planlıyoruz. Örneğin, farklı türdeki önvarsayımlı hatalar daha esnek cevap stratejileriyle ele alınabilir – örneğin, tekil önvarsayımların ihlali, tüm olası cevapları sunmak yerine ihlal edildiğini belirtmek yerine daha iyi şekilde ele alınabilir.