Nowe badanie próbuje poprawić algorytmy wykrywania mowy nienawiści

Spółki medialne, zwłaszcza Twitter, od dawna są krytykowane za sposób, w jaki oznaczają mowę i decydują, które konta zablokować. Podstawowy problem prawie zawsze wiąże się z algorytmami, których używają do monitorowania postów online. Systemy sztucznej inteligencji są daleko od ideału w tym zadaniu, ale nieustannie prowadzone są prace, aby je udoskonalić.

W tym zakresie znajduje się nowe badanie przeprowadzone na Uniwersytecie Południowej Kalifornii, które próbuje zmniejszyć pewne błędy, które mogą prowadzić do uprzedzeń rasowych.

Nieuznawanie kontekstu

Jednym z problemów, które nie otrzymują wystarczającej uwagi, jest fakt, że algorytmy, które mają powstrzymać rozpowszechnianie mowy nienawiści, w rzeczywistości zwiększają uprzedzenia rasowe. Dzieje się tak, gdy algorytmy nie rozpoznają kontekstu i zaczynają oznaczać lub blokować tweety od mniejszości.

Największym problemem z algorytmami w odniesieniu do kontekstu jest to, że są one nadwrażliwe na pewne terminy identyfikujące grupy, takie jak “czarny”, “gej” i “transseksualny”. Algorytmy uważają te terminy za klasyfikatory mowy nienawiści, ale często są one używane przez członków tych grup, a kontekst jest ważny.

W celu rozwiązania problemu ślepoty kontekstowej badacze stworzyli bardziej wrażliwy na kontekst klasyfikator mowy nienawiści. Nowy algorytm jest mniej skłonny do błędnego oznaczenia postu jako mowy nienawiści.

Algorytm

Badacze opracowali nowe algorytmy z uwzględnieniem dwóch nowych czynników: kontekstu w odniesieniu do identyfikatorów grupowych oraz obecności innych cech mowy nienawiści w poście, takich jak język dehumanizujący.

Brendan Kennedy jest doktorantem w dziedzinie informatyki i współautorem badania, które zostało opublikowane 6 lipca na ACL 2020.

“Chcemy przybliżyć wykrywanie mowy nienawiści do gotowości do zastosowania w świecie rzeczywistym”, powiedział Kennedy.

“Modele wykrywania mowy nienawiści często “psują się” lub generują złe przewidywania, gdy są wprowadzane do danych z świata rzeczywistego, takich jak dane z mediów społecznościowych lub innych tekstów online, ponieważ są one spolaryzowane przez dane, na których zostały wyszkolone, aby kojarzyć pojawianie się terminów identyfikujących społecznie z mową nienawiści”.

Powodem, dla którego algorytmy są często niedokładne, jest to, że są one szkolone na niezbalansowanych zbiorach danych z bardzo wysokim poziomem mowy nienawiści. W związku z tym algorytmy nie potrafią nauczyć się, jak radzić sobie z tym, jak wygląda świata rzeczywistego.

Profesor Xiang jest ekspertem w dziedzinie przetwarzania języka naturalnego.

“Kluczowe jest to, aby modele nie ignorowały identyfikatorów, ale dopasowywały je do odpowiedniego kontekstu”, powiedział Ren.

“Jeśli nauczysz modelu z niezbalansowanego zbioru danych, model zaczyna dostrzegać dziwne wzorce i zaczyna blokować użytkowników w sposób nieodpowiedni”.

Aby przetestować algorytm, badacze użyli losowego próbek tekstu z dwóch stron mediów społecznościowych, które mają wysoki poziom mowy nienawiści. Tekst został najpierw oznaczony ręcznie przez ludzi jako uprzedzający lub dehumanizujący. Następnie model został porównany z modelem badaczy pod kątem nieodpowiedniego oznaczenia mowy nienienawiści, przy użyciu 12 500 artykułów z New York Times, w których nie było mowy nienawiści. Podczas gdy modele stanu sztuki osiągnęły 77% dokładności w identyfikowaniu mowy nienawiści i nie-nienawiści, model badaczy osiągnął wyższy poziom dokładności, wynoszący 90%.

“To badanie nie czyni wykrywania mowy nienawiści doskonałym, jest to ogromny projekt, nad którym pracuje wiele osób, ale czyni ono stopniowy postęp”, powiedział Kennedy.

“Oprócz zapobiegania cenzurze postów w mediach społecznościowych przez członków grup chronionych, mamy nadzieję, że nasza praca pomoże zapewnić, że wykrywanie mowy nienawiści nie wyrządza niepotrzebnej szkody, wzmacniając fałszywe skojarzenia uprzedzeń i dehumanizacji z grupami społecznymi”.