Python’da Kullanılabilen Bir Yapay Zeka Tabanlı Önyargı Kontrolü için Haber Makaleleri

Kanada, Hindistan, Çin ve Avustralya’dan araştırmacılar, haber metinlerinde “haksız dil”i tespit etmek ve değiştirmek için kullanılabilen ücretsiz bir Python paketi üretmek için işbirliği yaptı.

Sistem, Dbias olarak adlandırıldı ve çeşitli makine öğrenimi teknolojileri ve veritabanlarını kullanarak, önyargılı metni daha tarafsız bir versiyona dönüştürebilen üç aşamalı bir dairesel iş akışı geliştirdi.

Dbias, haber metinlerindeki önyargılı dili daha az kışkırtıcı bir versiyona dönüştürüyor. Kaynak: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

Sistem, Hugging Face’den Pip aracılığıyla kurulabilen ve mevcut projelere ek bir aşama, eklenti veya plugin olarak entegre edilebilen tekrar kullanılabilir ve self-contained bir iş akışı temsil eder.

Nisan ayında, Google Docs’da benzer bir işlevsellik, özellikle de düzenlenebilir olmaması nedeniyle eleştirilere maruz kaldı. Dbias ise, son kullanıcıların istediği herhangi bir haber korpusuna daha seçici bir şekilde eğitilebiliyor ve özel adillik rehberleri geliştirme yeteneğini koruyor.

Önyargılı dili otomatik olarak tarafsız veya sıradan dile dönüştürmek için tasarlanan Dbias iş akışı, kullanıcının sürekli olarak eğitilmesini değil, önyargılı kelimelerin individüasyonunu amaçlıyor. Esasen, son kullanıcı etik filtreleri tanımlayacak ve sistemi buna göre eğitecek; Google Docs yaklaşımında ise sistem, tek taraflı bir şekilde kullanıcıyı eğitiyor.

Dbias iş akışının kavramsal mimarisi.

Araştırmacılara göre, Dbias, Natural Language Processing (NLP) alt sektörünün bugüne kadar karakterize ettiği off-the-shelf montaj projelerine kıyasla,真正 olarak yapılandırılabilir ilk önyargı algılama paketi.

The yeni makale, Haber Makalelerinde Adilliği Sağlamak için Bir Yaklaşım olarak adlandırıldı ve Toronto Üniversitesi, Toronto Metropolitan Üniversitesi, Bangalore’daki Çevresel Kaynaklar Yönetimi, Çin’deki DeepBlue Academy of Sciences ve Sidney Üniversitesi’nden katkıda bulunanlar tarafından yazıldı.

Yöntem

Dbias’taki ilk modül, Önyargı Algılama olarak adlandırıldı ve DistilBERT paketini kullanıyor – Google’ın oldukça optimize edilmiş BERT paketinin bir varyasyonu. Projede, DistilBERT, Media Bias Annotation (MBIC) veritabanına fine-tune edildi.

MBIC, çeşitli medya kaynaklarından haber makalelerini içerir, bunlar arasında Huffington Post, USA Today ve MSNBC bulunur. Araştırmacılar, veritabanının genişletilmiş versiyonunu kullandılar.

Özgün veri, crowdsourced işçiler tarafından annotasyonlandı (bu yöntem, 2021’in sonlarında eleştirilere maruz kaldı), ancak yeni makalenin yazarları, veritabanında ek önyargılı örnekler tespit etti ve bunları manuel olarak ekledi. Tespit edilen önyargı örnekleri ırk, eğitim, etnik köken, dil, din ve cinsiyetle ilgiliydi.

The next module, Önyargı Tanıma, Named Entity Recognition (NER) kullanıyor ve önyargılı kelimeleri girdi metninden individüe ediyor. Makalede denir ki:

‘Örneğin, “Tornado ve iklim değişikliği hakkında sahte-bilimsel hype almayın” haberinin önyargılı olduğu tespit edildi ve önyargı tanıma modülü, “sahte-bilimsel hype” ifadesini önyargılı bir kelime olarak tanımlayabilir.’

NER, bu görev için özel olarak tasarlanmadı, ancak daha önce önyargı tanıma için kullanılmıştı, özellikle de 2021’de Durham Üniversitesi‘nden bir proje için.

Bu aşamada, araştırmacılar RoBERTa ve SpaCy English Transformer NER pipeline’ı kullandılar.

Sonraki aşama, Önyargı Maskesi, tespit edilen önyargılı kelimelerinnovel bir çoklu maskesini içerir ve birden fazla önyargılı kelime tespit edildiğinde sırayla çalışır.

Dbias’ın üçüncü aşamasında, önyargılı dil pragmatik dile dönüştürülür.

Gerekirse, bu aşamanın geri bildirimi, daha fazla değerlendirme için iş akışının başlangıcına geri gönderilir ve uygun alternatif cümleler veya kelimeler üretildiğinde sona erer. Bu aşama, Masked Language Modeling (MLM) kullanır ve Facebook Research tarafından yürütülen bir 2021 işbirliği tarafından kurulan çizgiler boyunca çalışır.

Normalde, MLM görevi %15’lik bir oranda rastgele kelimeleri maskeler, ancak Dbias iş akışı, tespit edilen önyargılı kelimeleri girdi olarak alır.

Mimari, Google Colab Pro’da bir NVIDIA (NVDA ) P100 ile 24GB VRAM ve 16’lık bir batch boyutunda kuruldu ve eğitildi, yalnızca iki etiket (önyargılı ve önyargsız) kullanıldı.

Testler

Araştırmacılar, Dbias’ı beş benzer yaklaşımla karşılaştırdı: LG-TFIDF ile Lojistik Regresyon ve TfidfVectorizer (TFIDF) kelime gömme; LG-ELMO; MLP-ELMO (ELMO gömme içeren bir yapay sinir ağı); BERT; ve RoBERTa.

Testlerde kullanılan metrikler, doğruluk (ACC), kesinlik (PREC), geri çağırma (Rec) ve F1 puanı idi. Araştırmacılar, tek bir iş akışında tüm üç görevi gerçekleştirebilecek herhangi bir sistem hakkında bilgi sahibi olmadıkları için, rakip çerçeveler için, yalnızca Dbias’ın birincil görevlerini – önyargı algılama ve tanıma – değerlendirdiler.

Dbias denemelerinin sonuçları.

Dbias, daha ağır bir işleme izine sahip olan rakip çerçeveler de dahil olmak üzere tüm sonuçları aşmayı başardı.

Makalede denir ki:

‘Sonuç ayrıca, derin sinir gömme yöntemlerinin, geleneksel gömme yöntemlerine (örneğin, TFIDF) kıyasla önyargı sınıflandırma görevinde daha iyi performans gösterdiğini gösteriyor. Bu, ELMO’nun (derin sinir gömme) LG ile birlikte kullanıldığında TFIDF vektörleştirme ile karşılaştırıldığında daha iyi performans göstermesinden anlaşılabilir.

‘Bu muhtemelen derin sinir gömme yöntemlerinin, metin içindeki kelimelerin farklı bağlamlarındaki bağlamını daha iyi yakalayabilmesinden kaynaklanmaktadır. Derin sinir gömme yöntemleri ve derin sinirli yöntemler (MLP, BERT, RoBERTa) ayrıca geleneksel ML yöntemine (LG) kıyasla daha iyi performans gösteriyor.’

Araştırmacılar ayrıca, Transformer tabanlı yöntemlerin önyargı algılama görevinde rakip yöntemleri aştığını belirtiyorlar.

Ek bir test, Dbias’ı çeşitli SpaCy Core Web sürümleriyle karşılaştırdı, bunlar arasında core-sm (küçük), core-md (orta) ve core-lg (büyük) vardı. Dbias, bu denemelerde de liderlik konumunu korudu:

Araştırmacılar, önyargı tanıma görevlerinin genellikle daha büyük ve daha pahalı modellerde daha iyi doğruluk gösterdiğini gözlemleyerek sonuçlarını tamamladılar, bu durumun artan parametre ve veri noktaları sayısından kaynaklandığını düşünüyorlar. Ayrıca, bu alandaki gelecekteki çalışmaların, yüksek kaliteli veri setlerini annotasyon için daha büyük çaba sarf etmesine bağlı olacağını gözlemlediler.

Orman ve Ağaçlar

Umarız ki, bu tür bir ince önyargı tanıma projesi, daha az miyop bir bakış açısına sahip olan ve herhangi bir hikayeyi پوشmak için yapılan seçimin, yalnızca rapor edilen görüntüleme istatistiklerinden daha fazlasıyla motive edilebilecek bir önyargı eylemi olduğunu dikkate alan önyargı arama çerçevelerine dahil edilecektir.

İlk olarak 14 Temmuz 2022’de yayınlandı.