Andersonův úhel

Nástroj AI pro kontrolu předpojatosti zpravodajských článků, dostupný v Pythonu

Martin Anderson
Přidejte Unite.AI mezi své preferované zdroje na Google
Klíčové bodyDbias je první konfigurovatelný balíček pro detekci zkreslení u novinových článků.
Zobrazit více
  • Dbias je první konfigurovatelný balíček pro detekci zkreslení u novinových článků.
  • Pipeline automaticky transformuje načtený jazyk na neutrální text, místo aby školila uživatele.
  • Dbias překonal všechny konkurenční frameworky včetně BERT a RoBERTa v detekci zkreslení.

Výzkumníci v Kanadě, Indii, Číně a Austrálii spolupracovali na vytvoření volně dostupného balíčku Pythonu, který lze účinně použít k identifikaci a nahrazení “nespravedlivého jazyka” v novinových článcích.

Systém, nazvaný Dbias, využívá různé technologie strojového učení a databáze k vývoji třístupňového cyklického pracovního postupu, který lze použít k vylepšení předpojatého textu až do té míry, že vrátí nestrannou nebo alespoň neutrálnější verzi.

Citově zabarvený jazyk v úryvku článku označeného jako 'předpojatý' je systémem Dbias převeden do méně pobuřující podoby. Zdroj: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

Citově zabarvený jazyk v úryvku článku označeného jako ‘předpojatý’ je systémem Dbias převeden do méně pobuřující podoby. Zdroj: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

Systém představuje opakovaně použitelnou a samostatnou pipeline, kterou lze nainstalovat pomocí Pip z Hugging Face a integrovat do stávajících projektů jako doplňkový stupeň, modul nebo plugin.

V dubnu podobná funkčnost implementovaná v Google Docs byla kritizována, zejména pro svou nedostatečnou editovatelnost. Dbias na druhé straně lze více selektivně trénovat na libovolném korpusu zpravodajských textů, který si uživatel zvolí, a přitom zachovat schopnost vyvinout vlastní směrnice pro spravedlnost.

Kritický rozdíl spočívá v tom, že pipeline Dbias je navržena tak, aby automaticky transformovala “nabitý jazyk” (slova, která přidávají kritickou vrstvu k faktické komunikaci) na neutrální nebo prozaický jazyk, spíše než aby školil uživatele kontinuálně. Uživatel bude definovat etické filtry a trénovat systém podle toho; v přístupu Google Docs systém – jak lze argumentovat – školí uživatele, v jednostranném směru.

Konceptuální architektura pro workflow Dbias.

Konceptuální architektura pro workflow Dbias.

Podle výzkumníků je Dbias prvním skutečně konfigurovatelným balíčkem pro detekci předpojatosti, na rozdíl od projektů sestavených z předem připravených dílů, které charakterizovaly tento dílčí obor zpracování přirozeného jazyka (NLP) do současnosti.

Nová práce nese název Přístup k zajištění spravedlnosti v novinových článcích a pochází od přispěvatelů z University of Toronto, Toronto Metropolitan University, Environmental Resources Management v Bangaluru, DeepBlue Academy of Sciences v Číně a The University of Sydney.

Metoda

První modul v Dbias je Detekce předpojatosti, který využívá balíček DistilBERT – vysoce optimalizovanou verzi výpočetně poměrně náročného modelu BERT od Googlu. Pro tento projekt byl DistilBERT jemně naladěn na dataset MBIC (Media Bias Annotation).

MBIC se skládá z novinových článků z různých zdrojů, včetně Huffington Post, USA Today a MSNBC. Výzkumníci použili rozšířenou verzi datasetu.

Ačkoli původní data byla anotována pracovníky crowdsourcovanými (metodou, která byla kritizována na konci roku 2021), výzkumníci nové práce byli schopni identifikovat další neanotované případy předpojatosti v datasetu a ručně je přidali. Identifikované případy předpojatosti se týkaly rasy, vzdělávání, etnické příslušnosti, jazyka, náboženství a pohlaví.

Další modul, Rozpoznání předpojatosti, využívá Named Entity Recognition (NER) k identifikaci předpojatých slov ze vstupního textu. Práce uvádí:

‘Například novinový článek “Nevěřte pseudovědeckému humbuku o tornádech a změně klimatu” byl klasifikován jako předpojatý předcházejícím modulem detekce předpojatosti a modul rozpoznání předpojatosti může nyní identifikovat termín “pseudovědecký humbuk” jako předpojaté slovo.’

NER není specificky navržen pro tuto úlohu, ale byl dříve použit pro identifikaci předpojatosti, zejména pro projekt z roku 2021 z Durham University ve Spojeném království.

Pro tuto fázi výzkumníci použili RoBERTa v kombinaci se SpaCy English Transformer NER pipeline.

Další fáze, Maskování předpojatých slov, využívá novou metodu s více maskami pro identifikovaná předpojatá slova. Pokud je takových slov více, zpracovávají se postupně.

Citově zabarvený jazyk je nahrazen věcným jazykem ve třetí fázi Dbias. Poznámka: 'mouthing' a 'using' označují stejný úkon, i když první výraz je považován za hanlivý.

Citově zabarvený jazyk je nahrazen věcným jazykem ve třetí fázi Dbias. Poznámka: ‘mouthing’ a ‘using’ označují stejný úkon, i když první výraz je považován za hanlivý.

Je-li to nutné, zpětná vazba z této fáze bude odeslána zpět na začátek pipeline pro další vyhodnocení, dokud nebudou vygenerovány vhodné alternativní formulace nebo slova. Tato fáze využívá Masked Language Modeling (MLM) podle principů stanovených prací z roku 2021 vedenou Facebook Research.

Obvykle by úloha MLM maskovala 15 % slov náhodně, ale workflow Dbias místo toho říká procesu, aby vzal identifikovaná předpojatá slova jako vstup.

Architektura byla implementována a trénována na Google Colab Pro na NVIDIA (NVDA ) P100 s 24GB VRAM při velikosti batchu 16, pomocí pouze dvou štítků (předpojatý a neutrální).

Testy

Výzkumníci otestovali Dbias proti pěti srovnatelným přístupům: LG-TFIDF s Logistic Regression a TfidfVectorizer (TFIDF) word embeddings; LG-ELMO; MLP-ELMO (feed-forward umělá neuronová síť obsahující ELMO embeddings); BERT; a RoBERTa.

Metriky použité pro testy byly celková správnost (ACC), přesnost (PREC), úplnost (Rec) a F1 skóre. Jelikož výzkumníci neměli žádné znalosti o existujícím systému, který by mohl splnit všechny tři úkoly v jediném pipeline, byla udělena výjimka pro soutěžící rámce, a to tak, že se vyhodnotily pouze primární úkoly Dbias – detekce a rozpoznání předpojatosti.

Výsledky testů Dbias.

Výsledky testů Dbias.

Dbias se podařilo překonat výsledky ze všech soutěžících rámců, včetně těch s vyššími výpočetními nároky.

Práce uvádí:

‘Výsledek také ukazuje, že hluboké neuronové reprezentace obecně mohou překonat tradiční metody reprezentace (například TFIDF) v úkolu klasifikace předpojatosti. To je ukázáno lepšími výsledky hlubokých neuronových reprezentací (tj. ELMO) ve srovnání s TFIDF vektorizací, když se používají s LG. ‘

‘To je pravděpodobně způsobeno tím, že hluboké neuronové reprezentace mohou lépe zachytit kontext slov v textu v různých kontextech. Hluboké neuronové vložky a hluboké neuronové metody (MLP, BERT, RoBERTa) také dosahují lepších výsledků než tradiční ML metody (LG).’

Výzkumníci také poznamenávají, že metody založené na architektuře Transformer překonávají soutěžící metody v detekci předpojatosti.

Další test zahrnoval srovnání mezi Dbias a různými verzemi SpaCy Core Web, včetně core-sm (malé), core-md (střední) a core-lg (velké). Dbias dosáhl nejlepších výsledků i v těchto testech:

Výzkumníci uzavírají tím, že úkoly rozpoznání předpojatosti obecně vykazují lepší přesnost u větších a dražších modelů, a to zřejmě kvůli zvýšenému počtu parametrů a datových bodů. Také poznamenávají, že účinnost budoucích prací v tomto oboru bude záviset na větších úsilích o anotaci vysoce kvalitních datasetů.

Les a stromy

Doufejme, že se takové projekty podrobného rozpoznávání předpojatosti jednou stanou součástí systémů pro hledání předpojatosti, které dokážou zaujmout širší pohled a zohlednit, že výběr konkrétního příběhu je sám o sobě aktem předpojatosti, který může být ovlivněn více než jen hlášenými statistikami prohlížení. Poprvé publikováno 14. července 2022.

Spisovatel v oblasti strojového učení, odborník na syntézu lidských obrazů. Bývalý vedoucí výzkumného obsahu ve společnosti Metaphysic.ai, až do jejího sloučení do Brahma.ai společnosti DNEG.
Webová stránka: martinanderson.ai
Kontakt: martin@martinanderson.ai