AI-Powered Bias Checker for News Articles, Available in Python

Vědci v Kanadě, Indii, Číně a Austrálii spolupracovali na vytvoření volně dostupného balíčku Python, který lze účinně použít k identifikaci a nahrazení „nespravedlivého jazyka“ v novinových článcích.

Systém, nazvaný Dbias, využívá různé technologie strojového učení a databáze k vývoji tří-etapového cyklického workflow, který může rafinovat zaujatý text až do té doby, než vrátí nezávislý, nebo alespoň více neutrální verzi.

Loaded language in a news snippet identified as ‘biased’ is transformed into a less incendiary version by Dbias. Source: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

Systém představuje opakovaně použitelnou a samostatnou pipeline, která může být nainstalována prostřednictvím Pip z Hugging Face a integrována do stávajících projektů jako doplňková fáze, doplněk nebo plugin.

V dubnu podobná funkčnost implementovaná v Google Docs čelila kritice, zejména kvůli jejímu nedostatku editability. Dbias, na druhé straně, může být více selektivně trénován na libovolném korpusu novin, který si koncový uživatel přeje, a zachovat schopnost vyvinout speciální směrnice pro spravedlnost.

Kritický rozdíl spočívá v tom, že pipeline Dbias je určen k automatickému transformování „nabitých slov“ (slov, která přidávají kritickou vrstvu k faktické komunikaci) na neutrální nebo prózající jazyk, spíše než aby školil uživatele nangoing basis. V podstatě koncový uživatel definuje etické filtry a trénuje systém podle toho; v přístupu Google Docs systém – zřejmě – školí uživatele, v jednostranném způsobu.

Conceptual architecture for the Dbias workflow.

Podle výzkumníků je Dbias prvním skutečně konfigurovatelným balíčkem pro detekci zaujatosti, na rozdíl od předem sestavených projektů, které charakterizovaly tuto sub-sektor zpracování přirozeného jazyka (NLP) do dneška.

Nová práce se jmenuje Přístup k zajištění spravedlnosti v novinových článcích a pochází od přispěvatelů z University of Toronto, Toronto Metropolitan University, Environmental Resources Management v Bangalore, DeepBlue Academy of Sciences v Číně a The University of Sydney.

Metoda

První modul v Dbias je Bias Detection, který využívá DistilBERT balíček – vysoce optimalizovanou verzi Googlu poměrně náročné BERT. Pro projekt byl DistilBERT fine-tuned na Media Bias Annotation (MBIC) dataset.

MBIC se skládá z novinových článků z různých zdrojů, včetně Huffington Post, USA Today a MSNBC. Výzkumníci použili rozšířenou verzi datové sady.

Ačkoli původní data byla anotována crowdsourced pracovníky (metodou, která čelila kritice na konci roku 2021), výzkumníci nové práce byli schopni identifikovat další nelabelované instance zaujatosti v datové sadě a tyto ručně přidali. Identifikované případy zaujatosti se týkaly rasy, vzdělávání, etnicity, jazyka, náboženství a pohlaví.

Následující modul, Bias Recognition, využívá Named Entity Recognition (NER) k identifikaci zaujatých slov z vstupního textu. Práce uvádí:

‘Například zpráva “Don’t buy the pseudo-scientific hype about tornadoes and climate change” byla klasifikována jako zaujatá předcházejícím modulem detekce zaujatosti a modul rozpoznání zaujatosti může nyní identifikovat termín “pseudo-scientific hype” jako zaujaté slovo.’

NER není specificky navržen pro tuto úlohu, ale byl použit předtím pro identifikaci zaujatosti, zejména pro projekt z roku 2021 z Durham University ve Spojeném království.

Pro tuto fázi výzkumníci použili RoBERTa v kombinaci se SpaCy English Transformer NER pipeline.

Následující fáze, Bias Masking, zahrnuje novou více-masking identifikovaných zaujatých slov, která funguje sekvenčně v případech více identifikovaných zaujatých slov.

Loaded language is replaced with pragmatic language in the third stage of Dbias. Note that ‘mouthing’ and ‘using’ equate to the same action, though the former is considered derisive.

Jak je nutné, zpětná vazba z této fáze bude odeslána zpět na začátek pipeline pro další hodnocení, dokud nebude vygenerováno dostatečné množství vhodných alternativních frází nebo slov. Tato fáze využívá Masked Language Modeling (MLM) podle linií stanovených 2021 spoluprací vedenou Facebook Research.

Obvykle úloha MLM maskuje 15 % slov náhodně, ale workflow Dbias místo toho řekne procesu, aby vzal identifikovaná zaujatá slova jako vstup.

Architektura byla implementována a trénována na Google Colab Pro na NVIDIA P100 s 24GB VRAM při velikosti batche 16, pomocí pouze dvou štítků (zaujatý a nezaujatý).

Testy

Výzkumníci otestovali Dbias proti pěti srovnatelným přístupům: LG-TFIDF s Logistic Regression a TfidfVectorizer (TFIDF) word embeddings; LG-ELMO; MLP-ELMO (feed-forward umělá neuronová síť obsahující ELMO embeddings); BERT; a RoBERTa.

Metriky použité pro testy byly přesnost (ACC), přesnost (PREC), recall (Rec) a F1 skóre. Jelikož výzkumníci neměli žádné znalosti o existujícím systému, který by mohl splnit všechny tři úkoly v jediné pipeline, dispense bylo učiněno pro soutěžící rámce, vyhodnocením pouze primárních úkolů Dbias – detekce zaujatosti a rozpoznání.

Results from the Dbias trials.

Dbias se podařilo překonat výsledky ze všech soutěžících rámců, včetně těch s těžším zpracováním.

Práce uvádí:

‘Výsledek také ukazuje, že hluboké neuronové embeddings obecně mohou překonat tradiční embedding metody (například TFIDF) v úkolu klasifikace zaujatosti. To je ukázáno lepšími výsledky hlubokých neuronových embeddings (například ELMO) ve srovnání s TFIDF vectorizací, když se používají s LG.

‘To je pravděpodobně způsobeno tím, že hluboké neuronové embeddings mohou lépe zachytit kontext slov v textu v různých kontextech. Hluboké neuronové embeddings a hluboké neuronové metody (MLP, BERT, RoBERTa) také vykonávají lépe než tradiční ML metody (LG).’

Výzkumníci také poznamenávají, že Transformer-based metody překonávají soutěžící metody v detekci zaujatosti.

Další test zahrnoval srovnání mezi Dbias a různými verzemi SpaCy Core Web, včetně core-sm (malé), core-md (střední) a core-lg (velké). Dbias byl schopen vést i v těchto testech:

Výzkumníci uzavírají tím, že úkoly rozpoznání zaujatosti obecně vykazují lepší přesnost u větších a dražších modelů, pravděpodobně kvůli zvýšenému počtu parametrů a datových bodů. Také poznamenávají, že účinnost budoucích prací v tomto oboru bude záviset na větších úsilích o anotaci vysoce kvalitních datových sad.

Les a stromy

Doufáme, že tento druh jemně zrnitých projektů rozpoznání zaujatosti bude nakonec začleněn do rámců pro hledání zaujatosti, které jsou schopny mít méně myopický pohled a vzít v úvahu, že výběr konkrétního příběhu je sám o sobě aktem zaujatosti, který je potenciálně poháněn více než jen hlášenými statistikami prohlížení.

První publikováno 14. července 2022.