Andersons vinkel
KI-basert kontroll av skjevheter i nyhetsartikler, tilgjengelig i Python

Viktige punkterDbias er den første konfigurerbare skjevhetsdeteksjonspakken for nyhetsartikler.
Vis mer
- Dbias er den første konfigurerbare skjevhetsdeteksjonspakken for nyhetsartikler.
- Rørledningen transformerer automatisk lastet språk til nøytral tekst i stedet for å trene brukere.
- Dbias overgikk alle konkurrerende rammeverk, inkludert BERT og RoBERTa, i skjevhetsdeteksjon.
Forskere i Canada, India, Kina og Australia har samarbeidet om å produsere en fritt tilgjengelig Python-pakke som kan brukes til å spore og erstatte “urimelig språk” i nyhetstekster.
Systemet, som heter Dbias, bruker ulike maskinlærings-teknologier og databaser for å utvikle en tre-stegs sirkulær arbeidsflyt som kan finpusse partisk tekst til den returnerer en ikke-partisk, eller i hvert fall mer nøytral versjon.

Ladet språk i et nyhetsutdrag identifisert som ‘partisk’ blir transformert til en mindre oppildnende versjon av Dbias. Kilde: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf
Systemet representerer en gjenbrukbar og selvstendig pipeline som kan installeres via Pip fra Hugging Face, og integreres i eksisterende prosjekter som en supplerende fase, tillegg eller plugin.
I april ble lignende funksjonalitet implementert i Google Docs kritisert, ikke minst for mangelen på redigerbarhet. Dbias, på den andre siden, kan være mer selektivt trent på ethvert korpus av nyhetstekster som sluttbrukeren ønsker, og beholde evnen til å utvikle skreddersydde retningslinjer for rettferdighet.
Den kritiske forskjellen er at Dbias-pipeline er ment å automatisk transformere ‘ladet språk’ (ord som legger til et vurderende lag til formidling av fakta) til nøytralt eller prosaisk språk, i stedet for å skole sluttbrukeren på en kontinuerlig basis. Essensielt sett vil sluttbrukeren definere etiske filtre og trene systemet deretter; i Google Docs-tilnærmingen er systemet – argumenterbart – i ferd med å trene sluttbrukeren, på en ensidig måte.

Konseptuell arkitektur for Dbias-arbeidsflyten.
Ifølge forskerne er Dbias den første virkelig konfigurerbare bias-avdekning-pakken, i motsetning til de ferdige monteringsprosjektene som har karakterisert denne undersektoren av naturlig språkbehandling (NLP) til dags dato.
Den nye artikkelen har tittelen En tilnærming for å sikre rettferdighet i nyhetsartikler, og kommer fra bidragsytere ved University of Toronto, Toronto Metropolitan University, Environmental Resources Management i Bangalore, DeepBlue Academy of Sciences i Kina og University of Sydney.
Metode
Den første modulen i Dbias er Bias-avdekning, som utnytter DistilBERT-pakken – en svært optimalisert versjon av Googles ganske beregningskrevende BERT. For prosjektet ble DistilBERT finjustert på Media Bias Annotation (MBIC)-datasettet.

MBIC består av nyhetsartikler fra en rekke mediekanaler, inkludert Huffington Post, USA Today og MSNBC. Forskerne brukte den utvidede versjonen av datasettet.
Selv om de opprinnelige dataene var annotert av crowdsourced-arbeidere (en metode som ble kritisert sent i 2021), var forskerne i den nye artikkelen i stand til å identifisere ytterligere uannoterte eksempler på bias i datasettet, og la til disse manuelt. De identifiserte tilfellene av bias gjaldt rase, utdanning, etnisitet, språk, religion og kjønn.
Neste modul, Bias-gjenkjenning, bruker Navngitt Entitet Gjenkjenning (NER) for å identifisere enkeltstående partiske ord fra inndata-teksten. Artikkelen sier:
‘For eksempel, nyheten “Ikke tro på den pseudovitenskapelige hypen om tornadoer og klimaendringer” har blitt klassifisert som partisk av den foregående bias-avdekning-modulen, og bias-gjenkjenning-modulen kan nå identifisere termen “pseudovitenskapelig hype” som et partisk ord.’
NER er ikke spesifikt designet for denne oppgaven, men har blitt brukt tidligere for bias-identifikasjon, særlig for et 2021-prosjekt fra Durham University i Storbritannia.
For denne fasen brukte forskerne RoBERTa kombinert med SpaCy English Transformer NER-pipeline.

Den neste fasen, Bias-masking, involverer en ny metode med flere masker av de identifiserte bias-ordene, som opererer sekvensielt i tilfeller med flere identifiserte bias-ord.

Ladet språk erstattes med pragmatisk språk i den tredje fasen av Dbias. Merk at ‘mouthing’ og ‘using’ tilsvarer samme handling, selv om den førstnevnte anses som nedlatende.
Ved behov vil tilbakemeldingen fra denne fasen bli sendt tilbake til begynnelsen av pipeline for videre evaluering til en rekke passende alternative formuleringer eller ord har blitt generert. Denne fasen bruker Masked Language Modeling (MLM) etter en tilnærming etablert gjennom et 2021-samarbeid ledet av Facebook Research.
Vanligvis vil MLM-oppgaven maskere 15% av ordene tilfeldig, men Dbias-arbeidsflyten forteller prosessen å ta de identifiserte partiske ordene som inndata.
Arkitekturen ble implementert og trent på Google Colab Pro på en NVIDIA (NVDA ) P100 med 24GB VRAM ved en batch-størrelse på 16, ved å bruke bare to merker (partisk og ikke-partisk).
Tester
Forskerne testet Dbias mot fem sammenlignbare tilnærminger: LG-TFIDF med Logistisk Regresjon og TfidfVectorizer (TFIDF) ord-embeddings; LG-ELMO; MLP-ELMO (et fremoverkoblet kunstig nevralt nettverk som inneholder ELMO-embeddings); BERT; og RoBERTa.
Målene som ble brukt for testene var nøyaktighet (ACC), presisjon (PREC), gjenfinning (Rec) og en F1-skår. Ettersom forskerne ikke hadde noen kunnskap om noen eksisterende system som kunne utføre alle tre oppgavene i en enkelt pipeline, ble det gjort unntak for de konkurrerende rammeverkene, ved å evaluere bare Dbias’ primære oppgaver – bias-avdekning og -gjenkjenning.

Resultater fra Dbias-prøvene.
Dbias lyktes i å overgå resultater fra alle konkurrerende rammeverk, inkludert de med høyere beregningskrav
Artikkelen sier:
‘Resultatet viser også at dype nevrale representasjoner, generelt sett, kan overgå tradisjonelle representasjonsmetoder (f.eks. TFIDF) i bias-klassifiseringsoppgaven. Dette vises ved bedre ytelse av dype nevrale representasjoner (dvs. ELMO) sammenlignet med TFIDF-vektorisering når de brukes med LG.’
‘Dette skyldes sannsynligvis at dype nevrale representasjoner kan bedre fange konteksten av ordene i teksten i forskjellige kontekster. Dype nevrale representasjoner og dype nevrale metoder (MLP, BERT, RoBERTa) presterer også bedre enn tradisjonelle ML-metoder (LG).’
Forskerne påpeker også at Transformer-baserte metoder overgår konkurrerende metoder i bias-avdekning.
En ekstra test involverte en sammenligning mellom Dbias og ulike varianter av SpaCy Core Web, inkludert core-sm (liten), core-md (medium) og core-lg (stor). Dbias var i stand til å oppnå de beste resultatene også i disse prøvene:

Forskerne konkluderer med å observere at bias-gjenkjenning-oppgaver generelt viser bedre nøyaktighet i større og mer kostbare modeller, på grunn av – de spekulerer – den økte mengden parametre og datapunkter. De observerer også at effekten av fremtidig arbeid i dette feltet vil avhenge av større anstrengelser for å annotere høykvalitetsdatasett.
Treet og skogen
Forhåpentligvis vil denne typen prosjekter for finmasket gjenkjenning av skjevheter etter hvert bli innarbeidet i bias-søkende rammeverk som kan ta et mindre snevert perspektiv, og ta hensyn til at valget av å dekke en bestemt historie i seg selv er en handling av bias som potensielt drives av mer enn bare rapporterte seertall.
Først publisert 14. juli 2022.












