Kąt Andersona
Narzędzie AI do wykrywania stronniczości w artykułach prasowych, dostępne w Pythonie

Kluczowe punktyDbias to pierwszy konfigurowalny pakiet do wykrywania stronniczości w artykułach…
Zobacz więcej
- Dbias to pierwszy konfigurowalny pakiet do wykrywania stronniczości w artykułach prasowych.
- Potok automatycznie przekształca załadowany język w neutralny tekst, zamiast szkolić użytkowników.
- Dbias przewyższył wszystkie konkurencyjne frameworki, w tym BERT i RoBERTa, w wykrywaniu stronniczości.
Naukowcy z Kanady, Indii, Chin i Australii współpracowali przy tworzeniu bezpłatnego pakietu Pythona, który może skutecznie wykrywać i zastępować “niesprawiedliwy język” w artykułach prasowych.
System, nazwany Dbias, wykorzystuje różne technologie uczenia maszynowego i bazy danych do stworzenia trzystopniowego cyklicznego procesu, który może udoskonalać stronniczy tekst do momentu, gdy zwróci wersję bezstronną lub co najmniej bardziej neutralną.

Język nacechowany emocjonalnie we fragmencie artykułu prasowego uznanym za ‘stronniczy’ jest przekształcany w mniej podburzający przez Dbias. Źródło: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf
System reprezentuje wielokrotnie wykorzystywany i samodzielny proces, który może być zainstalowany za pomocą Pip z Hugging Face i zintegrowany z istniejącymi projektami jako dodatkowy etap, dodatek lub wtyczka.
W kwietniu podobna funkcjonalność zaimplementowana w Google Docs spotkała się z krytyką, nie tylko ze względu na brak edytowalności. Dbias, z drugiej strony, może być bardziej selektywnie szkolony na dowolnym korpusie wiadomości, który użytkownik końcowy sobie życzy, zachowując możliwość tworzenia niestandardowych wytycznych dotyczących uczciwości.
Kluczowa różnica polega na tym, że proces Dbias jest przeznaczony do automatycznego przekształcania “języka nacechowanego emocjonalnie” (słów, które dodają krytyczną warstwę do komunikacji faktów) w język neutralny lub prozaiczny, a nie do szkolenia użytkownika w sposób ciągły. Podstawowo, użytkownik końcowy zdefiniuje filtry etyczne i przeszkoli system odpowiednio; w podejściu Google Docs to system – jak można argumentować – jednostronnie szkoli użytkownika.

Konceptualna architektura procesu Dbias.
Zdaniem naukowców, Dbias jest pierwszym prawdziwie konfigurowalnym pakietem do wykrywania stronniczości, w przeciwieństwie do projektów zestawionych z gotowych części, które charakteryzowały ten podsektor przetwarzania języka naturalnego do tej pory.
Nowy artykuł nosi tytuł Podejście do zapewnienia uczciwości w artykułach prasowych i pochodzi od współpracowników z Uniwersytetu w Toronto, Uniwersytetu Metropolitalnego w Toronto, Environmental Resources Management w Bangalore, DeepBlue Academy of Sciences w Chinach i Uniwersytetu w Sydney.
Metoda
Pierwszym modułem w Dbias jest Wykrywanie stronniczości, który wykorzystuje pakiet DistilBERT – wysoko zoptymalizowaną wersję dość wymagającego pod względem maszynowym pakietu BERT Google. Dla tego projektu DistilBERT został dostosowany do zestawu danych Media Bias Annotation (MBIC).

Zestaw MBIC składa się z artykułów prasowych z różnych źródeł medialnych, w tym Huffington Post, USA Today i MSNBC. Naukowcy wykorzystali rozszerzoną wersję zestawu danych.
Chociaż oryginalne dane zostały opatrzone adnotacjami przez pracowników crowdsourcingowych (metodą, która była poddana krytyce pod koniec 2021 roku), naukowcy nowego artykułu byli w stanie zidentyfikować dodatkowe nieoznaczone przypadki stronniczości w zestawie danych i ręcznie je dodać. Zidentyfikowane przypadki stronniczości dotyczyły rasy, edukacji, etniczności, języka, religii i płci.
Następny moduł, Rozpoznawanie stronniczych wyrażeń, wykorzystuje Named Entity Recognition (NER), aby wyodrębnić stronnicze słowa z tekstu wejściowego. Artykuł stwierdza:
‘Na przykład, wiadomość „Nie daj się nabrać na pseudonaukową sensację o tornadach i zmianie klimatu” została sklasyfikowana jako stronnicza przez poprzedni moduł wykrywania stronniczości, a moduł rozpoznawania stronniczych wyrażeń może teraz zidentyfikować słowo „pseudonaukowa sensacja” jako stronnicze wyrażenie.’
NER nie jest specjalnie zaprojektowany do tego zadania, ale został wykorzystany wcześniej do identyfikacji stronniczości, szczególnie w projekcie z 2021 roku z Uniwersytetu w Durham w Wielkiej Brytanii.
Dla tego etapu naukowcy wykorzystali RoBERTa w połączeniu z potokiem NER SpaCy English Transformer.

Następny etap, Maskowanie stronniczych słów, obejmuje nową metodę z wieloma maskami dla stronniczych słów, która działa sekwencyjnie w przypadku wielu zidentyfikowanych stronniczych słów.

Język nacechowany emocjonalnie jest zastępowany rzeczowym językiem w trzecim etapie Dbias. Słowa „mouthing” i „using” opisują to samo działanie, lecz pierwsze jest uznawane za pogardliwe.
W razie potrzeby, informacja zwrotna z tego etapu zostanie wysłana z powrotem na początek procesu do dalszej oceny, aż do momentu, gdy zostaną wygenerowane odpowiednie alternatywne sformułowania lub słowa. Ten etap wykorzystuje Masked Language Modeling (MLM) zgodnie z podejściem opracowanym w ramach współpracę z 2021 roku pod przewodnictwem Facebook Research.
Zwykle zadanie MLM maskuje 15% słów losowo, ale proces Dbias nakazuje użyć zidentyfikowanych stronniczych słów jako danych wejściowych.
Architektura została zaimplementowana i przeszkolona na Google Colab Pro na NVIDIA (NVDA ) P100 z 24 GB pamięci VRAM przy rozmiarze partii 16, przy użyciu tylko dwóch etykiet (stronnicza i bezstronna).
Testy
Naukowcy przetestowali Dbias przeciwko pięciu porównywalnym podejściom: LG-TFIDF z regresją logistyczną i TfidfVectorizer (TFIDF) osadzaniem słów; LG-ELMO; MLP-ELMO (jednokierunkowa sztuczna sieć neuronowa z osadzeniami ELMO); BERT; i RoBERTa.
Metryki użyte do testów to dokładność (ACC), precyzja (PREC), recall (Rec) i wynik F1. Ponieważ naukowcy nie mieli wiedzy o żadnym istniejącym systemie, który mógłby wykonać wszystkie trzy zadania w jednym procesie, dla porównywanych systemów zastosowano wyjątek, oceniając tylko zadania podstawowe Dbias – wykrywanie stronniczości i rozpoznawanie stronniczych wyrażeń.

Wyniki testów Dbias.
Dbias przewyższył wyniki wszystkich frameworków porównawczych, w tym tych o większym śladzie obliczeniowym
Artykuł stwierdza:
‘Wynik również pokazuje, że głębokie osadzanie neuronowe może przewyższać tradycyjne metody osadzania (np. TFIDF) w zadaniu klasyfikacji stronniczości. Jest to pokazane przez lepsze wyniki głębokiego osadzania neuronowego (tj. ELMO) w porównaniu z wektorowaniem TFIDF, gdy stosuje się je z LG.’
‘Prawdopodobnie jest to spowodowane tym, że głębokie osadzanie neuronowe może lepiej uchwycić kontekst słów w tekście w różnych kontekstach. Głębokie osadzanie neuronowe i metody głębokiego uczenia się (MLP, BERT, RoBERTa) również działają lepiej niż tradycyjne metody uczenia maszynowego (LG).’
Naukowcy zauważają również, że metody oparte na architekturze Transformer przewyższają metody porównawcze w wykrywaniu stronniczości.
Dodatkowy test obejmował porównanie między Dbias a różnymi wariantami SpaCy Core Web, w tym core-sm (mały), core-md (średni) i core-lg (duży). Dbias uzyskał najlepsze wyniki również w tych testach:

Naukowcy kończą, obserwując, że zadania rozpoznawania stronniczych wyrażeń ogólnie wykazują lepszą dokładność w większych i bardziej kosztownych modelach, co – jak spekulują – jest spowodowane zwiększoną liczbą parametrów i punktów danych. Zauważają również, że skuteczność przyszłej pracy w tym polu będzie zależała od większych wysiłków w celu adnotacji wysokiej jakości zestawów danych.
Las i drzewa
Miejmy nadzieję, że projekty rozpoznające subtelne przejawy stronniczości zostaną z czasem włączone do systemów o szerszej perspektywie. Powinny one uwzględniać fakt, że sam wybór tematu do opisania jest przejawem stronniczości, na który mogą wpływać także czynniki inne niż raportowane statystyki oglądalności.
Pierwotnie opublikowane 14 lipca 2022.












