Araştırmacılar Bilgisayarları Şaşırtabilecek Soru Seti Geliştirdiler

Maryland Üniversitesi’nden araştırmacılar, insanların kolayca cevaplayabileceği ancak günümüzde var olan en iyi bilgisayar cevaplama sistemlerinin cevaplayamayacağı bir soru seti oluşturmayı başardılar. Takım, insan-bilgisayar işbirliği yoluyla soruları üretti ve 1.200’den fazla kelimeyi içeren bir veritabanı oluşturdu. Bir bilgisayar sistemi bu soruları öğrenebilir ve ustalaşırsa, mevcut olan herhangi bir bilgisayar sisteminin insan dilini en iyi şekilde anlayan sistemi olacaktır.

Çalışma, Bilgisayarlı Dilbilim Derneği İşlemleri dergisinde yayımlandı.

UMD’den bilgisayar bilimi yardımcı doçenti ve makalenin kıdemli yazarı Jordan Boyd-Gaber, yeni gelişmeleri konuştu.

“Çoğu soru-cevap bilgisayar sistemi, neden böyle cevapladıklarını açıklamaz, ancak bizim çalışmamız bilgisayarların gerçekten ne anladığını görmemizi sağlar” dedi. “Ayrıca, bilgisayar dil sistemlerinin gerçekten okuyup insanların yapabildiği gibi işlemleri yapıp yapmadığını ortaya çıkaracak bir test veritabanı ürettik.”

Şu anda, bu programlar ve sistemler için sorular insan yazarlar veya bilgisayarlar tarafından üretiliyor. Sorun, insanların soruları üretirken, bilgisayarlar için karmaşık olan tüm soru unsurlarından haberdar olmamasıdır. Bilgisayar sistemleri ise formülleri kullanır, boşluk doldurma soruları yazar, hatalar yapar ve anlamsızlık üretebilir.

İnsanlar ve bilgisayarlar arasında işbirliği yaparak soruları üretmelerine olanak tanıyan özel bir bilgisayar arayüzü oluşturmak için Boyd-Garber ve araştırmacılar ekibi çalıştı. Onlara göre, bu arayüz bir insan bir soru yazarken bilgisayarın “düşündüğünü” söyleyebilir. Yazar daha sonra soruyu bilgisayarın zayıflıklarına göre düzenleyebilir ve bu da bilgisayarı şaşırtabilir.

Yazar soru yazarken, bilgisayarın tahminleri sıralanır ve tahminlerden sorumlu kelimeler vurgulanır.

Sistem bir soruyu doğru cevaplayabilir ve arayüz cevaba yol açan kelimeleri veya ifadeleri vurgulayabilir. Bu bilgiyle, yazar soruyu daha zor hale getirebilir, ancak soru aynı anlama sahip olur. Bilgisayar sonunda şaşırsa da, uzman insanlar hala cevaplayabilir.

İnsanlar ve bilgisayarlar birlikte çalıştığında, bilgisayarın cevaplayamadığı 1.213 bilgisayar sorusu geliştirdiler. Araştırmacılar, lise bilgi yarışması takımları ve “Jeopardy!” şampiyonları da dahil olmak üzere insan oyuncular ve bilgisayarlar arasında bir yarışmada soruları test etti. En zayıf insan takımı en güçlü bilgisayar sistemini yendi.

UMD’den bilgisayar bilimi yüksek lisans öğrencisi ve makalenin ortak yazarı Shi Feng, yeni araştırmayı konuştu.

“Üç veya dört yıldır, insanların bilgisayar soru-cevap sistemlerinin çok kırılgan olduğunu ve kolayca kandırılabileceğini fark ettikleri bilinmektedir” dedi. “Ancak bu, makaleyi gerçekten insanların modeli kendilerini kırmalarına yardımcı olan bir makine kullandığının farkında olduğumuz ilk makale.”

Kullanılan sorular, bilgisayarları şaşırtan altı farklı dil olgusunu ortaya çıkardı. İki kategori vardır. İlk olanı, yeniden ifadeleme, dikkati dağıtan dil ve beklenmedik bağlamları içeren dil olgusudur. İkincisi, mantık ve hesaplamayı içeren akıl yürütme becerileridir ve mental triangülasyon ve birden fazla adımın bir sonuca ulaşmak için birleştirilmesini içerir.

“İnsanlar daha genelleyebilir ve daha derin bağlantılar görebilir” dedi Boyd-Garber. “Bilgisayarların sınırsız hafızası olmasa da, ağaçların arasında ormanı görebilme avantajına sahipler. Bilgisayarların sorunlarını kataloglamak, ele almamız gereken konuları anlamamıza yardımcı olur, böylece bilgisayarların gerçekten insanların yaptığı gibi cevaplar vermesini ve soruları cevaplamasını sağlayabiliriz.”

Bu araştırma, bilgisayar sistemlerinin sonunda insan dilini ustalaşması için temel oluşturuyor. Kesinlikle geliştirilmeye ve iyileştirilmeye devam edilecek.

“Bu makale, bilgisayar sistemlerinin gerçekten iyi cevaplar vermesini sağlamak için önümüzdeki birkaç yıl için bir araştırma gündemi oluşturuyor” dedi Boyd-Garber.