Google, GPT-3 Tarzında Sorgu Sistemini Göz Önünde Bulunduruyor, Arama Sonuçları Olmadan

Google’ dan dört araştırmacının yeni bir makalesi, kullanıcıların sorularını otoriter bir şekilde cevaplayabilen, ancak arama sonuçları listesi sunmayan bir ‘uzman’ sistemi öneriyor. Bu, GPT-3’ün ortaya çıkmasıyla birlikte kamuoyunun dikkatini çeken Q&A paradigmine benzer.

Makale, Arama Yeniden Düşünme: Dilettantlardan Uzmanlar Yaratabilme başlığını taşıyor ve kullanıcıya bir sorgu cevabı olarak arama sonuçları listesi sunmanın bilişsel bir yük olduğunu öne sürüyor. Ayrıca, doğal dil işleme sisteminin (NLP) otoriter ve kesin bir cevap sunma yeteneğinde gelişmeler öneriyor.

Önerilen ‘uzman’ modelinde, binlerce olası arama sonucu kaynağı dil modeline dahil ediliyor ve kullanıcıların kendileri için değerlendirme ve gezinme kaynağı olarak açıkça mevcut değil. Kaynak: https://arxiv.org/pdf/2105.02274.pdf

Makale, Google Araştırma’dan Donald Metzler’ın liderliğinde, GPT-3 gibi derin öğrenme otoregresif dil modellerinden elde edilebilen çok alanlı oracle cevaplarında iyileştirmeler öneriyor. Öngörülen ana iyileştirmeler şunlar: a) modelin cevaba yol açan kaynakları doğru bir şekilde alıntılayabilmesi ve b) modelin ‘halüsinasyon’ cevaplar üretmesini veya mevcut olmayan kaynak materyali uydurmasını önleyebilmesi.

Çok Alanlı Eğitim ve Yetenekler

Önerilen dil modeli, ‘Tüm Bilgi Alım Görevleri için Tek Bir Model’ olarak karakterize ediliyor ve çeşitli alanlarda, görseller ve metin dahil, eğitilecek. Ayrıca, bilginin kökeni hakkında bir anlayışa ihtiyaç duyacak, ki bu GPT-3 tarzı mimarilerde eksik.

‘Dizini tek bir, birleşik modelle değiştirmek için, modelin kendisi belge tanımlayıcı evreni hakkında bilgi sahibi olabilmesi gerekir, tıpkı geleneksel dizinlerin yaptığı gibi. Bunu başarmak için geleneksel LM’lerden uzaklaşarak, terim-terim, terim-belge ve belge-belge ilişkilerini ortaklaşa modelleyen korpus modellerine doğru ilerlemek gerekir.’

Yukarıdaki resim, makaleden, bir kullanıcı sorgusuna verilen üç yaklaşımı gösteriyor: solda, Google algoritmik arama sonuçlarının dil modelleri, ‘en iyi cevabı’ seçip önceliklendirmiş, ancak birçok sonucun başında sunuyor. Orta, GPT-3 tarzı bir sohbet cevabı, otoriter bir şekilde konuşuyor, ancak iddialarını haklı çıkarmıyor veya kaynaklar göstermiyor. Sağda, önerilen uzman sistemi, ‘en iyi cevabı’ doğrudan didaktik bir cevaba dahil ediyor ve akademik tarzda dipnot alıntıları (orijinal resimde gösterilmemiş) ile cevaba yol açan kaynakları gösteriyor.

Zehirlenmiş ve Yanlış Sonuçları Kaldırma

Araştırmacılar, arama dizinlerinin dinamik ve sürekli güncellenen doğasının, bu tür bir makine öğrenimi modelini tamamen taklit etmenin bir zorluğunu vurguluyor. Örneğin, bir zamanlar güvenilir bir kaynak modelin dünya anlayışına doğrudan eğitilmişse, daha sonra bu kaynağın etkisini kaldırmak (örneğin, güvenilirliği kaybetmesi durumunda), URL’yi SERP’lerden kaldırmaktan daha zor olabilir, çünkü eğitim sırasında veri kavramları soyut ve geniş bir şekilde temsil edilebilir.

Ayrıca, böyle bir modelin, yeni makalelere ve yayınlara karşı aynı düzeyde yanıt verebilmek için sürekli eğitilmesi gerekecektir. Bu, sürekli ve otomatik güncellemeleri gerektirir, bu da mevcut rejimden farklıdır, burada küçük değişiklikler yapılır, ancak algoritma kendisi genellikle yalnızca nadiren güncellenir.

Merkezi Uzman Oracle için Saldırı Yüzeyleri

Birleştirilmiş bir modelin sürekli olarak yeni veri assimile etmesi ve genelleştirmesi, arama sorguları için saldırı yüzeyini değiştirebilir.

Şu anda, bir saldırgan, yüksek sıralamaya sahip domainler veya sayfalar için yarar elde edebilir, bu sayfalar ya yanlış bilgi içerir ya da kötü amaçlı kod içerir. Daha az şeffaf bir ‘uzman’ oracle altında, kullanıcıları saldırı domainlerine yönlendirmek için fırsatlar azaltılır, ancak zehirli veri saldırılarını enjekte etme olasılığı artırılır.

Bu, önerilen sistemin arama sıralama algoritmasını ortadan kaldırmadığı, ancak kullanıcıdan gizlediği için, üst sonuçların önceliklerini otomatikleştirdiği ve bunları didaktik bir ifadeye dahil ettiği içindir. Saldırgan kullanıcılar, uzun süredir Google arama algoritmasına karşı saldırılar düzenleyebiliyorlar, sahte ürünler satmak için, kullanıcıları zararlı yazılım dağıtan domainlere yönlendirmek için veya siyasi manipülasyon amaçları için, birçok diğer kullanım senaryosu arasında.

Yapay Genel Zeka Değil

Araştırmacılar, böyle bir sistemin Yapay Genel Zeka (AGI) olarak nitelendirilmeyeceğini vurguluyor ve evrensel bir uzman cevabı, doğal dil işleme bağlamında, bu modellerin karşılaştığı tüm zorluklarla birlikte ele alıyor.

Makale, ‘yüksek kaliteli’ bir cevaba beş gereksinim belirliyor:

1: Otorite
Mevcut sıralama algoritmalarında olduğu gibi, ‘otorite’ yüksek kaliteli ve güvenilir kaynaklardan alıntı yapılmasından elde ediliyor. Araştırmacılar gözlemliyor:

‘Cevaplar, yüksek otoriteye sahip kaynaklardan alınan içerik oluşturmalıdır. Bu, dizinler ve belge meta verileri arasındaki bağlantıları daha açık bir şekilde kurmanın neden bu kadar önemli olduğunu gösteriyor. Tüm belgelerin bir korpus içinde otorite puanıyla işaretlenmesi durumunda, bu puan model eğitimi, cevap oluşturma veya her ikisi sırasında dikkate alınmalıdır.’

Araştırmacılar, geleneksel SERP sonuçlarının, böyle bir uzman oracle bulunup popüler hale gelirse, kullanılamayacaklarını öne sürmüyor. Ancak, tüm makale, geleneksel sıralama sistemini ve arama sonuçları listesini, ‘onlarca yıllık’ ve eskimiş bir bilgi alma sistemi olarak sunuyor.

‘Sıralamanın bu paradigmanın kritik bir bileşeni olması, kullanıcılara olası cevaplar sunan bir arama sistemi olduğunu gösteren bir semptomdur, bu da kullanıcıya önemli bir bilişsel yük getirir. Cevaplar yerine sıralanmış sonuç listeleri sunma isteği, soru cevaplama sistemlerini geliştirmek için bir motivasyon faktörüydü.’

2: Şeffaflık
Araştırmacılar yorumluyor:

‘Mümkün olduğunda, sunulan bilginin kökeni kullanıcıya açık olmalıdır. Bu, bilginin birincil kaynağı mı? Değilse, birincil kaynak nedir?’

3: Önyargıları İşleme
Makale, önceden eğitilmiş dil modellerinin empirik gerçeği değerlendirmek yerine, veri trendlerini genelleştirmeye ve önceliklendirmeye tasarlandığını not ediyor. Ayrıca, bu direktifin modeli saldırıya açık hale getirdiğini (2016’da Microsoft’un kasıtsız ırkçı sohbet botu gibi) ve böyle önyargılı sistem cevaplarına karşı koruyucu sistemlere ihtiyaç olduğunu kabul ediyor.

4: Çeşitli Görüşleri Destekleme
Makale, çeşitli bakış açılarını güvence altına almak için mekanizmalar öneriyor:

‘Üretilen cevaplar, çeşitli perspektifleri temsil etmelidir, ancak kutuplaştırıcı olmamalıdır. Örneğin, tartışmalı konular hakkında sorgulamalar için, konunun her iki tarafı adil ve dengeli bir şekilde kapsanmalıdır. Bu, model önyargısı ile yakın bir ilişkiye sahiptir.’

5: Erişilebilir Dil
Yüksek kaliteli cevaplarda, yetkili cevabın farklı bir dilde olması durumunda doğru çevirilerin sunulmasının yanı sıra, makale, cevapların ‘mümkün olduğunca açık terimlerle’ yazılmasını öneriyor.