Andersons vinkel
AI-værktøj til at kontrollere skævheder i nyhedsartikler, tilgængeligt i Python

NøglepunkterDbias er det første konfigurerbare biasdetekteringspakke til nyhedsartikler.
Vis mere
- Dbias er det første konfigurerbare biasdetekteringspakke til nyhedsartikler.
- Pipeline'en transformerer automatisk ladet sprog til neutral tekst i stedet for at træne brugerne.
- Dbias overgik alle konkurrerende rammer, herunder BERT og RoBERTa, i biasdetektering.
Forskere i Canada, Indien, Kina og Australien har samarbejdet om at udvikle en gratis Python-pakke, der kan bruges til at spotte og erstatte “uretfærdigt sprog” i nyhedsartikler.
Systemet, der hedder Dbias, bruger forskellige maskinlærings-teknologier og databaser til at udvikle en tretrins cirkulær arbejdsgang, der kan forfine partisk tekst indtil den returnerer en upartisk eller mere neutral version.

Ladet sprog i en nyhedsartikel identificeret som ‘partisk’ er transformeret til en mindre ophidsende version af Dbias. Kilde: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf
Systemet repræsenterer en genbrugbar og selvstændig pipeline, der kan installeres via Pip fra Hugging Face, og integreres i eksisterende projekter som en supplerende fase, tilføjelse eller plugin.
I april blev lignende funktionalitet implementeret i Google Docs kritiseret, ikke mindst på grund af manglen på redigering. Dbias, på den anden side, kan være mere selektivt trænet på enhver samling af nyheder, som slutbrugeren ønsker, og beholde evnen til at udvikle tilpassede retfærdighedsretningslinjer.
Den kritiske forskel er, at Dbias-pipeline er designet til automatisk at transformere ‘ladet sprog’ (ord, der tilføjer et vurderende lag til faktuel kommunikation) til neutralt eller almindeligt sprog, snarere end at undervise brugeren på en løbende basis. Essentielt set vil slutbrugeren definere etiske filtre og træne systemet derefter; i Google Docs-tilgangen træner systemet – kan man hævde – brugeren på en ensidig måde.

Konceptuel arkitektur for Dbias-arbejdsgangen.
Ifølge forskerne er Dbias den første virkeligt konfigurerbare pakke til at opdage skævheder, i modsætning til de færdige montageprojekter, der har kendetegnet denne undersektor af Natural Language Processing (NLP) til dato.
Den nye artikel er tituleret En tilgang til at sikre retfærdighed i nyhedsartikler, og kommer fra bidragydere fra University of Toronto, Toronto Metropolitan University, Environmental Resources Management i Bangalore, DeepBlue Academy of Sciences i Kina og University of Sydney.
Metode
Det første modul i Dbias er Registrering af skævhed, der udnytter DistilBERT-pakken – en stærkt optimeret version af Googles ret beregningskrævende BERT. Til projektet blev DistilBERT finjusteret på Media Bias Annotation (MBIC)-dataset.

MBIC består af nyhedsartikler fra en række medie-kilder, herunder Huffington Post, USA Today og MSNBC. Forskerne brugte den udvidede version af dataset.
Selvom den oprindelige data var annoteret af crowdsourced-arbejdere (en metode, der blev kritiseret sent i 2021), var forskerne bag den nye artikel i stand til at identificere yderligere ulabellede tilfælde af bias i dataset og tilføje dem manuelt. De identificerede tilfælde af bias relaterede til race, uddannelse, etnicitet, sprog, religion og køn.
Det næste modul, Genkendelse af partiske udtryk, bruger Named Entity Recognition (NER) til at identificere enkelte partiske ord fra input-teksten. Artiklen fastslår:
‘For eksempel har nyheden “Tro ikke på den pseudovidenskabelige hype om tornadoer og klimaforandringer” været klassificeret som partisk af den foregående bias-detection-modul, og bias-recognition-modulen kan nu identificere termen “pseudovidenskabelig hype” som et partisk udtryk.’
NER er ikke specifikt designet til denne opgave, men er blevet brugt tidligere til bias-identifikation, navnlig til et 2021-projekt fra Durham University i Storbritannien.
Til denne fase brugte forskerne RoBERTa kombineret med SpaCy English Transformer NER-pipeline.

Den næste fase, Maskering af partiske ord, indebærer en ny metode med flere masker til de identificerede partiske ord. Når flere sådanne ord er identificeret, behandles de i rækkefølge.

Ladet sprog er erstattet med pragmatisk sprog i den tredje fase af Dbias. Bemærk, at ‘mouthing’ og ‘using’ er ens, selvom det første udtryk anses for at være nedladende.
Efter behov vil feedback fra denne fase blive sendt tilbage til begyndelsen af pipeline for yderligere evaluering, indtil et antal passende alternative formuleringer eller ord er blevet genereret. Denne fase bruger Masked Language Modeling (MLM) efter en tilgang etableret gennem et 2021-samarbejde ledet af Facebook Research.
Normalt vil MLM-opgaven maskere 15% af ordene tilfældigt, men Dbias-arbejdsgangen fortæller processen at tage de identificerede partisk ord som input.
Arkitekturen blev implementeret og trænet på Google Colab Pro på en NVIDIA (NVDA ) P100 med 24GB VRAM ved en batch-størrelse på 16, ved brug af kun to labels (partisk og upartisk).
Tests
Forskerne testede Dbias mod fem sammenlignelige tilgange: LG-TFIDF med Logistic Regression og TfidfVectorizer (TFIDF) ord-embeddings; LG-ELMO; MLP-ELMO (et fremadkoblet kunstigt neuralt netværk, der indeholder ELMO-embeddings); BERT; og RoBERTa.
Målene, der blev brugt til testene, var nøjagtighed (ACC), præcision (PREC), recall (Rec) og en F1-score. Da forskerne ikke havde noget kendskab til nogen eksisterende system, der kunne udføre alle tre opgaver i en enkelt pipeline, blev der gjort en dispensation for de konkurrerende rammer, ved at kun evaluere Dbias’ primære opgaver – bias-detection og recognition.

Resultater fra Dbias-forsøgene.
Dbias lykkedes med at overgå resultaterne fra alle konkurrerende rammer, herunder dem med større beregningskrav
Artiklen fastslår:
‘Resultatet viser også, at dybe neurale embeddings generelt kan overgå traditionelle embeddings-metoder (f.eks. TFIDF) i bias-klassificeringsopgaven. Dette vises ved bedre præstation af dybe neurale embeddings (dvs. ELMO) i forhold til TFIDF-vektorisering, når de bruges sammen med LG.’
‘Dette skyldes sandsynligvis, at dybe neurale embeddings bedre kan fange konteksten af ordene i teksten i forskellige kontekster. De dybe neurale embeddings og dybe neurale metoder (MLP, BERT, RoBERTa) præsterer også bedre end traditionelle ML-metoder (LG).’
Forskerne bemærker også, at Transformer-baserede metoder overgår konkurrerende metoder i bias-detection.
En yderligere test indebar en sammenligning mellem Dbias og forskellige varianter af SpaCy Core Web, herunder core-sm (small), core-md (medium) og core-lg (large). Dbias kunne føre an i disse forsøg:

Forskerne konkluderer med at bemærke, at bias-recognitions-opgaver generelt viser bedre nøjagtighed i større og dyrere modeller, hvilket de formoder skyldes det øgede antal parametre og datapunkter. De bemærker også, at effekten af fremtidigt arbejde på dette område vil afhænge af større bestræbelser på at annotere højkvalitets-datasets.
Skoven og træerne
Det er håbet, at denne type finmaskede projekter til genkendelse af skævheder vil blive inkorporeret i bias-søgende rammer, der kan tage et bredere perspektiv og tage i betragtning, at valget af at dække en bestemt historie i sig selv er en handling af bias, der potentielt kan være drevet af mere end bare rapporterede visningsstatistikker.
Offentliggjort første gang den 14. juli 2022.












