AI’nin Sınavlarda Hile Yapmasını Önleme Mücadelesi

Çin’deki bir üniversitenin yeni araştırma bulguları, GPT-3 gibi üretken doğal dil işleme modellerinin neden zor bir soru sorulduğunda ‘hile’ yaptığını, teknik olarak doğru ancak neden doğru olduğu konusunda hiçbir gerçek anlayışa sahip olmayan cevaplar ürettiğini ve neden kolay cevaplarının arkasındaki mantığı açıklamak için wenig veya hiç yetenek göstermediklerini açıklamaktadır. Araştırmacılar ayrıca, sistemlerin eğitim aşamasında daha fazla çalışmasını sağlamak için yeni yöntemler önermektedir.

Sorun iki katlıdır: önce, sonuçları hızlı bir şekilde ve kaynakların optimal kullanımı ile elde etmeye çalışan sistemler tasarlarız. GPT-3 gibi, kaynaklar ortalama bir NLP araştırma projesinin sahip olabileceğinden çok daha fazla olabilir, ancak sonuçlara dayalı optimizasyon kültürü vẫn metodolojiye hakimdir, çünkü akademik gelenek üzerinde hakim olmuştur.

Sonuç olarak, eğitim mimarimiz, modellerin hızlı bir şekilde yakınsadığını ve sorulara görünüşte uygun cevaplar ürettiğini ödüllendirmektedir, ancak NLP modeli daha sonra cevabını haklı çıkaramaz veya nasıl sonuçlara ulaştığını gösteremez.

Erken Hile Yapma Eğilimi

Bu, modelin daha karmaşık bilgi edinme türlerini öğrenmeden önce ‘kısayol cevapları’ öğrenmesinden kaynaklanmaktadır. Artan doğruluk genellikle eğitim boyunca oldukça ayrımsız bir şekilde ödüllendirilir, bu nedenle model, soruları ‘kolay’ bir şekilde cevaplayabilen herhangi bir yaklaşımı önceliklendirmektedir ve gerçek bir anlayış olmadan.

Kısayol öğrenimi, eğitim sırasında ilk başarıları temsil edeceğinden, oturum doğal olarak daha zor olan ve daha faydalı ve tam bir epistemolojik perspektif kazanma görevinden uzaklaşacaktır, bu da daha derin ve daha içgörülü katmanlara sahip olabilir.

AI’ye ‘Kolay’ Cevaplar Verme

İkinci sorun, recent araştırma girişimlerinin AI’nin bu şekilde ‘hile’ yapma eğilimini incelemiş olması ve ‘kısayollar’ fenomenini tanımlamış olmasıdır, ancak şimdiye kadar, katkıda bulunan veri kümesindeki ‘kısayol’a ermöglichen materyali sınıflandırmak için hiçbir çaba gösterilmemiştir, bu da makine okuma anlama (MRC) sistemlerinde temel bir mimari hatanın ilk adımı olabilir.

Yeni makale, Wangxuan Institute of Computer Technology ve Peking Üniversitesi’ndeki MOE Key Laboratory of Computational Linguistics arasındaki bir işbirliği, çeşitli dil modellerini, ‘kolay’ ve ‘zor’ çözümler için sınıflandırmalar içeren yeni bir veri kümesiyle test etmektedir.

Source: https://arxiv.org/pdf/2106.01024.pdf

Veri kümesi, daha karmaşık ve derin cevaplar için kriter olarak yeniden ifadeyi kullanır, çünkü elde edilen bilgiyi yeniden formüle etmek için anlamsal bir anlayış gerekli olur. Karşılaştırıldığında, ‘kısayol’ cevapları, tarihler ve diğer kapsayıcı anahtar kelimeler gibi tokenleri kullanarak, bağlam veya akıl yürütme olmadan faktüel olarak doğru cevaplar üretebilir.

Kısayol Verileri Bir Veri Kümesindeki Etkisi Almost ‘Viral’

Araştırmacılar, veri kümelerinin genellikle ‘kısayol’ sorularının yüksek bir oranını içerdiğini, bu da eğitilen modellerin ‘kısayol’ hilelerine güvenmesine neden olmaktadır.

Deneylerde kullanılan iki model BiDAF ve Google’ın BERT-base idi. Araştırmacılar, her iki modelin de, daha yüksek oranda ‘zor’ sorular içeren veri kümesi varyasyonlarında eğitilmiş olsalar bile, ‘kısayol’ sorularında daha zor paraphrased sorulardan daha iyi performans gösterdiğini gözlemlemektedir,尽管 veri kümelerindeki örneklerin sayısı küçüktür.

Bu, ‘kısayol verilerini’ neredeyse bir virüs gibi sunar – bir veri kümesinde çok azının bulunması, geleneksel standartlar ve uygulamalar altında eğitilirken benimsenmesi ve önceliklendirilmesi için yeterli olur.

Hileyi Kanıtlama

Araştırmada kullanılan bir yöntem, ‘kolay’ bir varlık kelimesini anormal bir kelime ile değiştirmektir. ‘Kısayol’ yöntemi kullanılmışsa, ‘hile’li cevabın mantığı sağlanamaz, ancak cevap daha derin bir bağlamdan ve daha geniş bir metin yelpazesinin anlamsal değerlendirmesinden sağlanırsa, sistem hatayı çözerek doğru bir cevap oluşturabilir.

Bir konum olan ‘Amerika’ yerine ‘Beyoncé’ (bir kişi) koymak, modelin cevabının arkasındaki mantığını gösterir.

Kısayollar Ekonomik Bir Zorunluluk Nedeniyle

NLP eğitim iş akışlarında ‘kısayolların’ neden önceliklendirildiğine ilişkin bazı mimari nedenler hakkında, yazarlar ‘MRC modelleri, QWM gibi kısayol hilelerini, comprehension zorlukları gibi paraphrasing tanımlamalarından daha az hesaplama kaynağı ile öğrenebilir’ diye yorumda bulunmaktadırlar.

Bu, standardize edilmiş optimizasyon ve kaynak koruyucu felsefelerin ve sınırlı kaynaklarla kısa zaman çerçevelerinde sonuçlar elde etme baskısının bir sonucu olabilir.

Araştırmacılar ayrıca not etmektedir:

‘[Çünkü] kısayol hilesi, çoğu eğitim sorusunu doğru bir şekilde cevaplamak için kullanılabilir, kalan çözülmemiş sorular, modellerin zorlu beceriler gerektiren sofistike çözümleri keşfetmeye motive etmeyebilir.’

Eğer makalenin sonuçları daha sonra doğrulanırsa, veri ön işlemenin devasa ve sürekli büyüyen alanı, ‘gizli kriptoları’ veri olarak ele almak zorunda kalabilir veya NLP mimarilerini daha zorlu rutinler için veri alımı önceliklendirmek üzere yeniden tasarlayabilir.