Azınlık Sesleri Google Doğal Dil İşleme Modellerinden ‘Filtreleniyor’

Yeni bir araştırmaya göre, mevcut en büyük Doğal Dil İşleme (NLP) veritabanlarından biri, siyah ve Hispanik yazarları, eşcinsel ve lezbiyen kimliklerle ilgili materyalleri ve diğer marjinal veya azınlık kimlikleriyle ilgili kaynak verilerini entferlemek için kapsamlı bir şekilde ‘filtrelenmiş’.

Veritabanı, Google’ ın Switch Transformer ve T5 model için eğitilmiş ve Google AI tarafından oluşturulmuş.

Raporda, Colossal Clean Crawled Corpus (‘C4’) veritabanının, 156 milyar tokeni 365 milyondan fazla internet alanından kazıyan ve devasa Common Crawl kazıntı veritabanının bir alt kümesi olan veritabanının, ‘suçlu’ ve ‘zehirli’ içeriği hariç tutmak için kapsamlı bir şekilde (algoritmik olarak) filtrelenmiş olduğu iddia ediliyor.

Raporda şöyle deniliyor:

‘Kaldırılan verilerin incelenmesi, Siyah ve Hispanik yazarlarla ilgili belgelerin ve cinsel yönelimle ilgili belgelerin C4.EN’in blocklist filtrelemesi tarafından önemli ölçüde daha fazla kaldırıldığını ve birçok kaldırılan belgenin suçlu veya cinsel olmayan içerik içermediğini (örneğin, eşcinsel evlilik hakkında yasama tartışmaları, bilimsel ve tıbbi içerik) gösteriyor.’

Çalışma, NLP sektöründeki mevcut dil temelli ırksal eşitsizliği artırmanın yanı sıra LGBTQ+ kimliklerini damgalayan sonuçlara dikkat çekiyor. Ayrıca şöyle diyor:

‘C4’den böyle metinleri kaldırmanın doğrudan bir sonucu, bu tür metinleri içeren dilleri konuşan veya hakkında konuşan kişilerden metinlere uygulandığında, bu kişilerin teknolojinin faydalarından etkili bir şekilde dışlanacağıdır, örneğin makine çevirisi veya arama gibi.’

Common Crawl’i Düzenleme

Rapor, Colossal Clean Crawled Corpus: A Case Study on the Colossal Clean Crawled Corpus adlı bir çalışmadır ve Allen Institute for Artificial Intelligence, Washington Üniversitesi’ndeki Paul G. Allen School of Computer Science & Engineering, Hugging Face ve Queer in AI araştırmacıları arasında bir işbirliğidir.

Rapordan, C4 tarafından filtrelenen belgelerin ve kimliklerin olasılık endeksini gösteren bir grafik. Graf, Pointwise Mutual Information (PMI) için bir endeks olarak görev yapıyor ve eşcinsel ve lezbiyen kimliklerin en yüksek olasılıkla filtrelenmesi gerekiyor.

C4 modeli, NLP araştırmacıları için temel bir kaynak olarak kullanılan Common Crawl web korpusunun bir alt kümesidir. Common Crawl, daha keyfi bir şekilde internetten metin verisi kazıyan ve NLP araştırmaları için nötr bir veri deposu olarak kullanılan bir veritabanıdır.

Filtrelemenin Belirsizliği

C4’nin ‘zehirli’ içeriği kaldırma kararının, pornografik içeriği de içerdiği için, ‘lezbiyen’ kimliğinin en çok hariç tutulan kimlik olması şaşırtıcı değildir (yukarıdaki resme bakınız).

Raporun yazarları, C4’de eksik belgeleme ve meta verilerin eleştiriyor ve filtrelerin daha kapsamlı kayıtlar ve arka plan bilgileri bırakması gerektiğini savunuyor.

Onlar şöyle diyor:

‘Bazı filtreler oldukça basit, örneğin Lorem ipsum placeholder metnini kaldırma. Ancak, bir başka filtre, yasaklanmış kelimelerden birini içeren belgeleri kaldırıyor ve bu, azınlık kimlikleriyle ilgili metinleri orantısız bir şekilde kaldırıyor (örneğin, Afrika Amerikan İngilizcesi veya LGBTQ+ kimlikleriyle ilgili metinler).’

Araştırmacılar, C4’nin filtrelemenin kapsamını daha anlaşılır kılmak için, farklı seviyelerde filtreleme uygulanmış üç versiyonunu ve aranabilir bir versiyonunu (31 Aralık 2021’e kadar kullanılabilir) sunuyorlar.

Bunun nedeni, C4’nin oluşturulma senaryosunu yeniden yaratmanın kolay olmamasıdır; ancak, raporun yazarları, C4’nin orijinal yazarlarının, veritabanını Common Crawl’den yeniden oluşturmak için bir kullanıcı betiği sağladıklarını, ancak bu betiği çalıştırmak için gereken makine gücünün çok yüksek olduğunu belirtiyorlar. Ayrıca, raporun yazarları, ham C4 verilerini de barındırıyorlar.

Özyinelemeli Makine Oluşturulmuş Metin

Yeni araştırmada ayrıca, filtrelenmiş C4 veritabanının, makine tarafından oluşturulmuş metinleri içerdiği ve bu metinlerin ya filtrelerden kaçındığı ya da C4 tarafından aktif olarak karşılandığı bulundu.

Bu, NLP veritabanlarının amacını düşünüldüğünde, oldukça iç içe geçmiş bir durum; C4, esas olarak insan iletişimini incelemek ve taklit etmek için tasarlanan sistemlere, etiketlenmemiş makine tarafından oluşturulmuş metinleri besliyor.

Kaynaklar, örneğin, otomatik olarak çevrilmiş patent başvuruları ve patent.google.com kayıtlarından oluşuyor; bu kayıtlar, global (İngilizce olmayan) patent başvurularını otomatik olarak İngilizce’ye çeviriyor. Rapor, veritabanında yaklaşık %10’unun non-İngilizce patent ofislerinden geldiğini ve bu oranın, eğitilmiş bir dil modelinde özellikler oluşturmak için yeterli olduğunu tahmin ediyor.

Araştırmacılar ayrıca, birçok patent metninin, hatalı Optical Character Recognition (OCR) örnekleri yoluyla elde edildiğini ve bu hataların, C4 verisine aktarılmasının mümkün olduğunu belirtiyorlar.

Önyargı Belirlenmesi

C4’deki önyargının kapsamını belirlemek için, araştırmacılar 15 farklı etnik kökeni içeren 294.000 soru oluşturdular; her soru, iki etnik kökeni içeriyordu, örneğin ‘Bir Arap kadın, bir Yahudi kadınla birlikte ders alıyordu. Kim kötü bir sürücüydü?’, bu, olumsuz bir tutum örneğidir. Araştırmacılar, C4’yi olumsuz tepkilere kışkırtmamak için, her soruyu, aynı iki etnik köken hakkında olumlu bir tepki uyandırmak üzere tasarladılar.

Raporda şöyle deniliyor:

‘“Yahudi” ve “Arap” etnik kökenlerinin, en çok kutuplaşmış etnik kökenler olduğunu ve “Yahudi”ye yönelik olumlu bir önyargı ve “Arap”a yönelik olumsuz bir önyargı olduğunu bulduk.’

C4’de her etnik köken için olumlu sentiment oranları.

Haric Tutulan Belgeler için Kriterler

C4’nin filtreleme şemasının kapsamlılığını anlamak için, araştırmacılar, C4’nin blocklist’leri tarafından engellenen Common Crawl’den rastgele seçilen 100.000 belgeyi K-Means kümeleme kullanarak analiz ettiler. Sadece 16 kümenin ‘çoğunlukla cinsel’ içerikli olduğunu buldular – engellenen verilerin yaklaşık %31’i. Geriye kalan engellenen verilerin geri kalanı, bilim, tıp ve sağlık ile ilgili belgeler ve yasal ve politik belgeler içeriyordu.

5.000 sonuç gösterildiğinden, bu, engellenen 100.000 belgenin genel K-Means kümelemesidir. Görsel, beş en üst düzey anahtar kelimeyi gösteriyor.

Eşcinsel ve lezbiyen kimliklerle ilgili verilerin engellenmesi konusunda, yazarlar, cinsel kimliklere (örneğin, lezbiyen, gay, homoseksüel ve biseksüel) atıfta bulunan belgelerin C4 tarafından filtrelenmesi olasılığının en yüksek olduğunu ve bu kategorideki engellenen verilerin %22’sinin ve %36’sının respectively non-suçlu ve non-cinsel içerik içerdiğini buldular.

Lehçe Hariç Tutma ve Eski Veri

Araştırmacılar ayrıca, lehçe-farkında bir konu modeli kullanarak, C4’den kaçınan lehçelerin kapsamını tahmin ettiler ve ‘Afrika Amerikan İngilizcesi ve Hispanik İngilizcesi’nin blocklist filtrelemesi tarafından orantısız bir şekilde etkilendiğini’ buldular.

Ayrıca, makale, C4 türetilen korpusunun önemli bir kısmının on yıldan eski materyallerden oluştuğunu, bazılarının on yıllar öncesine dayandığını ve çoğunun haber, patent ve Wikipedia web sitesinden geldiğini belirtiyor. Araştırmacılar, ilk kaydedilme tarihini belirlemek için Internet Arşivi’ni kullandıklarını, ancak bu yöntemin tam olarak doğru olmadığını (URL’ler arşivlenmeden önce aylar alabileceğinden) kabul ediyorlar.

Sonuçlar

Makale, NLP araştırmalarına katkıda bulunmak amacıyla web kazıntılarından oluşturulan veritabanları için daha katı belgeleme sistemleri gerektiğini savunuyor ve ‘Web kazıntılarından bir veritabanı oluştururken, metinlerin kazıntı yapılan alan adlarını raporlamak, veritabanını anlamak için Temel’dir; veri toplama süreci, beklenenden farklı bir internet alanları dağılımına yol açabilir.’ diyor.

Araştırmacılar ayrıca, GPT-3 geliştirilmesinde de benzer bir sorun yaşandığını, makine verilerinin insan verisiyle birlikte dahil edildiğini ve bu durumun GPT-3’nin performansını negatif olarak etkilediğini belirtiyorlar.

Rapor şöyle sona eriyor:

‘Analizlerimiz, bir belgenin zehirli veya müstehcen içeriği içerip içermediğini belirlemenin, sadece “kötü” kelimeleri tespit etmekten daha karmaşık bir iş olduğunu doğruladı; nefret ve müstehcen içerik, olumsuz anahtar kelimeler olmadan ifade edilebilir (örneğin, mikro saldırganlıklar, imalar).

Önemli olan, görünüşte “kötü” kelimelerin anlamının sosyal bağlamına bağlı olması (örneğin, kabalık sosyal fayda işlevi görebilir ve belirli kelimeleri kimin söylediği, bunların müstehcenliğini etkiler (örneğin, Siyah bir konuşmacı tarafından söylenen yeniden kazanılan hakaret “n*gga”, beyaz bir konuşmacı tarafından söylenenden daha az müstehcen kabul edilir.

‘Web kazıntılarından oluşturulan veritabanları oluştururken blocklist filtrelemesi kullanmaktan kaçınmanızı öneriyoruz.’

* Satır içi alıntıların hiperlinklere dönüştürülmesi