Doğrulama İçin Alıntıların Kullanımının Tehlikeleri

Görüş Doğal Dil Oluşturma modelleri gibi GPT-3, yanlış veya hayal ürünü bilgileri sunma eğilimindedir. Metin tabanlı sahte haberlerin büyümesiyle ilgili olarak endişe verici bir dönemde, bu ‘hoşgörülü’ uçuşlar, otomatik yazma ve özetleme sistemlerinin geliştirilmesi ve AI odaklı gazetecilik dahil olmak üzere çeşitli alt sektörler için varoluşsal bir engel oluşturur.

Merkezi problem, GPT tarzı dil modellerinin büyük eğitim metinlerinden ana özellikler ve sınıflar türetmesi ve bu özellikleri dilin inşasında yetkin ve otantik bir şekilde kullanmasıdır. Ancak bu, oluşturulan içeriğin doğruluğu veya kabul edilebilirliği konusunda bir garanti vermez.

NLG sistemleri şu anda insan doğrulamasına dayanmaktadır. Ya modeller, insan kullanıcılar tarafından doğrulama veya düzenleme için kullanılan tohum metin oluşturucular olarak kullanılır ya da insanlar, daha az soyut ve ‘yaratıcı’ modelleri bilgilendirmek amacıyla veri kümelerinin kalitesini artırmak için pahalı filtreler olarak kullanılır.

Eski Haberler ve Sahte Gerçekler

Doğal Dil Oluşturma (NLG) modelleri, öğrenilen anlamsal mimari nedeniyle inandırıcı ve possível çıktılar üretebilir. Ancak bu, oluşturulan bilginin doğruluğunu garanti etmez.

NLG modellerinin oluşturduğu bilgilerin doğruluğu, eğitim verilen verilerin güvenilir ve güncel olmasına bağlıdır. Bu, ön işleme ve insan doğrulaması açısından büyük bir yük oluşturur.

GPT-3 ölçekli sistemler, eğitilmesi uzun zaman alan ve pahalı bir süreçtir. Ayrıca, bir kez eğitildikten sonra, ‘çekirdek düzeyde’ güncellemek zor olabilir.

Bu nedenle, en son bilgileri kullanabilen eğitilmiş dil modelleri oluşturmak zor trởür.

COVID-19 ve 2022 Ukrayna işgali hakkında hiçbir şey bilmeyen GPT-3’ün bir örneği.

Bir modelin iddialarını doğrulamak için alıntılar elde etmeye çalışırken, modelinsometimes doğru alıntılar üretebilmesi, bu özelliğinin güvenilirliğine yanlış bir güven duygusu yaratır.

GPT-3’ün doğru ve yanlış alıntı örnekleri.

GopherCite

NLG modellerindeki bu genel eksikliği gidermek amacıyla Google’ın DeepMind, GopherCite adlı 280 milyar parametreli bir model önerdi. Bu model, oluşturduğu yanıtlara destek olarak gerçek alıntılar sunabilir.

GopherCite’nin gerçek alıntılar kullanarak iddialarını desteklediği örnekler. Source: https://arxiv.org/pdf/2203.11147.pdf

GopherCite, insan tercihlerinden takviye öğrenimi (RLHP) kullanarak, gerçek alıntılar sunabilen sorgu modelleri oluşturur. Alıntılar, arama motorlarından veya kullanıcı tarafından sağlanan bir belgeden elde edilir.

GopherCite’nin performansı, model yanıtlarının insan değerlendirilmesi yoluyla ölçüldü. Yanıtlar, Google’ın NaturalQuestions veri kümesinde %80, ELI5 veri kümesinde %67 oranında ‘yüksek kaliteli’ bulundu.

Yalan Alıntılar

Ancak, GopherCite, Oxford Üniversitesi’nin TruthfulQA benchmark’üne karşı test edildiğinde, yanıtları nadiren doğru olarak değerlendirildi.

Bu, ‘destekli cevaplar’ kavramının objektif olarak gerçeği tanımlamadığından kaynaklanmaktadır. Kaynak alıntılarının yararlılığı, yazarın kendisi ‘hayal ürünü’ olabilecek içerikler üretmesinden kaynaklanabilir.

GopherCite’nin ‘inandırıcı’ ve ‘destekli’ cevaplar sunmasına rağmen, gerçeği yansıtmadığını gösteren örnekler.

İnsan kültürü, objektif gerçeği tanımlamak için kullanılan metodolojiler ve çerçeveler açısından makine öğreniminden çok daha ileridedir. Ancak, önemli ‘gerçekler’ thường tartışmalı ve reddedilir.

NLG mimarilerinde, insan liderliğindeki konsensüs, outsourced, AMT tarzı modellerde bir gerçeği tanımlama ölçütü olarak kullanılır. Ancak, insan değerlendiriciler ve aralarındaki uyuşmazlıkları çözen diğer insanlar da partial ve yanlıştır.

Örneğin, GopherCite deneyleri, model çıktısını değerlendirmek için ‘süper rater’ modeli kullanır. Kalite güvence setine göre en az %85 oranında başarılı olan 113 ‘süper rater’ seçildi.

GopherCite çıktısını değerlendirmek için kullanılan karşılaştırma uygulamasının ekran görüntüsü.

Bu, kaybedilen bir fractal takibinin mükemmel bir resmidir: rater’ları değerlendirmek için kullanılan kalite güvence seti, başka bir ‘insan tanımlı’ gerçeği ölçütüdür. Aynı şekilde, GopherCite’nin başarısız olduğu Oxford TruthfulQA seti de böyledir.

Destekli ve ‘doğrulanmış’ içerik açısından, NLG sistemleri yalnızca insan verisinden insan çeşitliliğini ve farklılıklarını sentezleyebilir. Bu, çözülmemiş bir problemdir. İnsanlar, görüşlerini destekleyen kaynakları alıntılar ve bazen yanlış veya eksik bilgi içerikli içerikler üretirler.

Bu nedenle, alıntı destekli NLG sistemlerinin geliştirilmesi, kaynak materyalin öngörülemez doğası nedeniyle tehlikelidir. Kullanıcı güvenini artıran herhangi bir mekanizma, çıktı doğruluğunu artırmaz, yalnızca authenticity’ini artırır.

Bu teknikler, kurgu yazma ‘kaleidoskopları’ oluşturmak için yeterli olabilir; ancak nesnel belge analizi, AI merkezli gazetecilik ve makine özetleme gibi ‘gerçek dışı’ uygulamalar için tehlikeli bir takibidir.

İlk olarak 5 Nisan 2022’de yayımlanmıştır. 3:29 EET’de terim düzeltmesi için güncellenmiştir.