En AI-drevet bias-checker til nyhedsartikler, tilgængelig i Python

Forskere i Canada, Indien, Kina og Australien har samarbejdet om at udvikle en gratis Python-pakke, der kan bruges til at spotte og erstatte “uretfærdig sprog” i nyhedsartikler.

Systemet, der hedder Dbias, bruger forskellige maskinlærings-teknologier og databaser til at udvikle en tre-stages cirkulær arbejdsgang, der kan forfine biased tekst indtil den returnerer en non-biased eller mere neutral version.

Loaded language i en nyhedsartikel identificeret som ‘biased’ er transformeret til en mindre kontroversiel version af Dbias. Source: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

Systemet repræsenterer en genbrugbar og selvstændig pipeline, der kan installeres via Pip fra Hugging Face, og integreres i eksisterende projekter som en supplerende fase, tilføjelse eller plugin.

I april blev lignende funktionalitet implementeret i Google Docs kritiseret, ikke mindst på grund af manglen på redigering. Dbias, på den anden side, kan være mere selektivt trænet på enhver samling af nyheder, som slutbrugeren ønsker, og beholde evnen til at udvikle tilpassede retfærdighedsretningslinjer.

Den kritiske forskel er, at Dbias-pipeline er designet til automatisk at transformere ‘loaded language’ (ord, der tilføjer en kritisk lag til faktuel kommunikation) til neutral eller prosaisk sprog, snarere end at undervise brugeren på en løbende basis. Essentielt set vil slutbrugeren definere etiske filtre og træne systemet derefter; i Google Docs-tilgangen træner systemet – argumenteret – brugeren på en ensidig måde.

Konceptuel arkitektur for Dbias-arbejdsgangen.

Ifølge forskerne er Dbias den første rigtigt konfiguerbare bias-detections-pakke, i modsætning til de færdige montageprojekter, der har kendetegnet denne undersektor af Natural Language Processing (NLP) til dato.

Den nye artikel er tituleret En tilgang til at sikre retfærdighed i nyhedsartikler, og kommer fra bidragydere fra University of Toronto, Toronto Metropolitan University, Environmental Resources Management i Bangalore, DeepBlue Academy of Sciences i Kina og University of Sydney.

Metode

Den første modul i Dbias er Bias Detection, der udnytter DistilBERT-pakken – en højttilegningsversion af Googles ret maskinintensive BERT. Til projektet blev DistilBERT fintuned på Media Bias Annotation (MBIC)-dataset.

MBIC består af nyhedsartikler fra en række medie-kilder, herunder Huffington Post, USA Today og MSNBC. Forskerne brugte den udvidede version af dataset.

Selvom den oprindelige data var annoteret af crowdsourced-arbejdere (en metode, der blev kritiseret sent i 2021), var forskerne bag den nye artikel i stand til at identificere yderligere ulabellede tilfælde af bias i dataset og tilføje dem manuelt. De identificerede tilfælde af bias relaterede til race, uddannelse, etnicitet, sprog, religion og køn.

Den næste modul, Bias Recognition, bruger Named Entity Recognition (NER) til at individuere biased ord fra input-teksten. Artiklen fastslår:

‘For eksempel har nyheden “Don’t buy the pseudo-scientific hype about tornadoes and climate change” været klassificeret som biased af den foregående bias-detection-modul, og bias-recognition-modulen kan nu identificere termen “pseudo-scientific hype” som et biased ord.’

NER er ikke specifikt designet til denne opgave, men er blevet brugt tidligere til bias-identifikation, navnlig til et 2021-projekt fra Durham University i Storbritannien.

Til denne fase brugte forskerne RoBERTa kombineret med SpaCy English Transformer NER-pipeline.

Den næste fase, Bias Masking, indebærer en ny multiple-mask af de identificerede bias-ord, der opererer sekventielt i tilfælde af multiple identificerede bias-ord.

Loaded language er erstattet med pragmatisk sprog i den tredje fase af Dbias. Bemærk, at ‘mouthing’ og ‘using’ er ens, selvom den sidste anses for at være nedladende.

Som nødvendigt vil feedback fra denne fase blive sendt tilbage til begyndelsen af pipeline for yderligere evaluering, indtil et antal passende alternative formuleringer eller ord er blevet genereret. Denne fase bruger Masked Language Modeling (MLM) langs linjer etableret af en 2021-samarbejde ledet af Facebook Research.

Normalt vil MLM-opgaven maskere 15% af ordene tilfældigt, men Dbias-arbejdsgangen fortæller processen at tage de identificerede biased ord som input.

Arkitekturen blev implementeret og trænet på Google Colab Pro på en NVIDIA P100 med 24GB VRAM ved en batch-størrelse på 16, ved brug af kun to labels (biased og unbiased).

Tests

Forskerne testede Dbias mod fem sammenlignelige tilgange: LG-TFIDF med Logistic Regression og TfidfVectorizer (TFIDF) ord-embeddings; LG-ELMO; MLP-ELMO (en feed-forward kunstig neural netværk, der indeholder ELMO-embeddings); BERT; og RoBERTa.

Målene, der blev brugt til testene, var nøjagtighed (ACC), præcision (PREC), recall (Rec) og en F1-score. Da forskerne ikke havde noget kendskab til nogen eksisterende system, der kunne udføre alle tre opgaver i en enkelt pipeline, blev der gjort en dispensation for de konkurrerende rammer, ved at kun evaluere Dbias’ primære opgaver – bias-detection og recognition.

Resultater fra Dbias-forsøgene.

Dbias lykkedes med at overgå resultaterne fra alle konkurrerende rammer, herunder dem med en tungere proces-fodaftryk

Artiklen fastslår:

‘Resultatet viser også, at dybe neurale embeddings generelt kan overgå traditionelle embeddings-metoder (f.eks. TFIDF) i bias-klassificeringsopgaven. Dette skyldes bedre præstation af dybe neurale embeddings (dvs. ELMO) i forhold til TFIDF-vektorisering, når det bruges med LG.

‘Dette skyldes sandsynligvis, at dybe neurale embeddings bedre kan fange konteksten af ordene i teksten i forskellige kontekster. De dybe neurale embeddings og dybe neurale metoder (MLP, BERT, RoBERTa) opfører sig også bedre end traditionelle ML-metoder (LG).’

Forskerne bemærker også, at Transformer-baserede metoder overgår konkurrerende metoder i bias-detection.

En yderligere test indebar en sammenligning mellem Dbias og forskellige varianter af SpaCy Core Web, herunder core-sm (small), core-md (medium) og core-lg (large). Dbias kunne føre an i disse forsøg:

Forskerne konkluderer med at bemærke, at bias-recognitions-opgaver generelt viser bedre nøjagtighed i større og mere dyre modeller, sandsynligvis på grund af det øgede antal parametre og datapunkter. De bemærker også, at effekten af fremtidigt arbejde på dette område vil afhænge af større bestræbelser på at annotere højkvalitets-datasets.

Skoven og træerne

Det er håbet, at denne type fine-grained bias-recognitions-projekt vil blive inkorporeret i bias-søgende rammer, der kan tage en mindre myopisk synsvinkel og tage i betragtning, at valget af at dække en bestemt historie i sig selv er en handling af bias, der potentielt kan være drevet af mere end bare rapporterede visningsstatistikker.

Offentliggjort første gang den 14. juli 2022.