Wyzwalacz stronniczości oparty na sztucznej inteligencji do artykułów prasowych, dostępny w Pythonie

Naukowcy z Kanady, Indii, Chin i Australii współpracowali przy tworzeniu bezpłatnego pakietu Python, który może skutecznie służyć do wykrywania i zastępowania “niesprawiedliwego języka” w kopiach prasowych.

System, zatytułowany Dbias, wykorzystuje różne technologie uczenia maszynowego i bazy danych, aby opracować trzystopniowy cykl pracy, który może udoskonalić zniekształcony tekst aż do uzyskania wersji bezstronnej lub co najmniej bardziej neutralnej.

Ładunek językowy w fragmencie wiadomości prasowej zidentyfikowany jako ‘zniekształcony’ jest transformowany w mniej kontrowersyjną wersję przez Dbias. Źródło: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

System reprezentuje wielokrotnie wykorzystywany i samodzielny potok, który może być zainstalowany za pomocą Pip z Hugging Face i zintegrowany z istniejącymi projektami jako dodatkowy etap, dodatek lub wtyczka.

W kwietniu podobna funkcjonalność zaimplementowana w Google Docs spotkała się z krytyką, nie tylko ze względu na brak edytowalności. Dbias, z drugiej strony, może być bardziej selektywnie szkolony na dowolnym korpusie wiadomości, jaki użytkownik końcowy sobie życzy, zachowując możliwość opracowania niestandardowych wytycznych dotyczących uczciwości.

Krytyczną różnicą jest to, że potok Dbias jest przeznaczony do automatycznego transformowania “ładunku językowego” (słów, które dodają krytyczną warstwę do komunikacji faktów) w język neutralny lub prozaiczny, a nie do szkolenia użytkownika w sposób ciągły. Podstawą jest to, że użytkownik końcowy zdefiniuje filtry etyczne i przeszkoli system odpowiednio; w przypadku podejścia Google Docs system jest – można powiedzieć – szkolony przez użytkownika w sposób jednokierunkowy.

Konceptualna architektura potoku Dbias.

Według naukowców, Dbias jest pierwszym prawdziwie konfigurowalnym pakietem do wykrywania stronniczości, w przeciwieństwie do gotowych projektów, które charakteryzowały ten podsektor Przetwarzania Języka Naturalnego (NLP) do tej pory.

Nowy artykuł nowy artykuł zatytułowany Podejście do zapewnienia uczciwości w artykułach prasowych, pochodzi od współpracowników z Uniwersytetu w Toronto, Toronto Metropolitan University, Environmental Resources Management w Bangalore, DeepBlue Academy of Sciences w Chinach oraz Uniwersytetu w Sydney.

Metoda

Pierwszym modułem w Dbias jest Wykrywanie stronniczości, który wykorzystuje pakiet DistilBERT – wysoko zoptymalizowaną wersję dość wymagającego BERT Google’a. Dla tego projektu DistilBERT został dostosowany do zestawu danych Media Bias Annotation (MBIC).

MBIC składa się z artykułów prasowych z różnych źródeł, w tym Huffington Post, USA Today i MSNBC. Naukowcy wykorzystali rozszerzoną wersję zestawu danych.

Chociaż oryginalne dane zostały zaadnotowane przez pracowników crowdsourcingowych (metodę, która pod koniec 2021 roku została poddana krytyce), naukowcy nowego artykułu byli w stanie zidentyfikować dodatkowe nieoznaczone przypadki stronniczości w zestawie danych i dodać je ręcznie. Zidentyfikowane przypadki stronniczości dotyczyły rasy, edukacji, etniczności, języka, religii i płci.

Następny moduł, Rozpoznawanie stronniczości, wykorzystuje Named Entity Recognition (NER), aby wyodrębnić słowa zniekształcone z tekstu wejściowego. W artykule napisano:

‘Na przykład, wiadomość “Nie kupuj pseudo-naukowej propagandy na temat tornad i zmian klimatu” została sklasyfikowana jako zniekształcona przez poprzedni moduł wykrywania stronniczości, a moduł rozpoznawania stronniczości może teraz zidentyfikować termin “pseudo-naukowa propaganda” jako słowo zniekształcone.’

NER nie jest specjalnie zaprojektowany do tego zadania, ale został wykorzystany wcześniej do identyfikacji stronniczości, szczególnie w projekcie z 2021 roku z Uniwersytetu w Durham w Wielkiej Brytanii.

Dla tego etapu naukowcy wykorzystali RoBERTa w połączeniu z potokiem NER SpaCy English Transformer.

Następny etap, Maska stronniczości, obejmuje nową wielokrotną maskę zidentyfikowanych słów zniekształconych, która działa sekwencyjnie w przypadku wielu zidentyfikowanych słów zniekształconych.

Ładunek językowy jest zastępowany językiem pragmatycznym w trzecim etapie Dbias. Należy zauważyć, że ‘mówienie’ i ‘używanie’ są tym samym działaniem, chociaż to pierwsze jest uważane za pejoratywne.

W razie potrzeby, informacje zwrotne z tego etapu będą wysyłane z powrotem na początek potoku do dalszej oceny, aż do wygenerowania odpowiedniej liczby alternatywnych sformułowań lub słów. Ten etap wykorzystuje Masked Language Modeling (MLM) zgodnie z wytycznymi współpracy z 2021 roku pod przewodnictwem Facebook Research.

Zwykle zadanie MLM maskuje 15% słów losowo, ale potok Dbias mówi procesowi, aby przyjął zidentyfikowane słowa zniekształcone jako dane wejściowe.

Architektura została zaimplementowana i przeszkolona na Google Colab Pro na NVIDIA P100 z 24 GB pamięci VRAM, przy rozmiarze partii 16, z wykorzystaniem tylko dwóch etykiet (zniekształcony i niezniekształcony).

Testy

Naukowcy przetestowali Dbias w porównaniu z pięcioma porównywalnymi podejściami: LG-TFIDF z regresją logistyczną i TfidfVectorizer (TFIDF) wektorami słów; LG-ELMO; MLP-ELMO (sztuczna sieć neuronowa z wektorami ELMO); BERT; i RoBERTa.

Wyniki testów obejmowały dokładność (ACC), precyzję (PREC), recall (Rec) i wynik F1. Ponieważ naukowcy nie mieli wiedzy na temat istniejącego systemu, który mógłby wykonać wszystkie trzy zadania w jednym potoku, zezwolono na współzawodnictwo ram, oceniając tylko podstawowe zadania Dbias – wykrywanie i rozpoznawanie stronniczości.

Wyniki testów Dbias.

Dbias przewyższył wyniki wszystkich konkurujących ram, w tym tych o większym śladzie obliczeniowym