En AI-drevet bias-sjekker for nyhetsartikler, tilgjengelig i Python

Forskere i Canada, India, Kina og Australia har samarbeidet om å produsere en fritt tilgjengelig Python-pakke som kan brukes til å spore og erstatte “urimelig språk” i nyhetskopier.

Systemet, tittelen Dbias, bruker ulike maskinlærings-teknologier og databaser for å utvikle en tre-stegs sirkulær arbeidsflyt som kan finpusse forvrengt tekst til den returnerer en ikke-forvrengt, eller i hvert fall mer nøytral versjon.

Belastet språk i en nyhetsutklipp identifisert som ‘forvrengt’ blir transformert til en mindre brannhet versjon av Dbias. Kilde: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

Systemet representerer en gjenbrukbar og selvinnholdende pipeline som kan installeres via Pip fra Hugging Face, og integreres i eksisterende prosjekter som en supplerende fase, tillegg eller plugin.

I april ble lignende funksjonalitet implementert i Google Docs kritisert, ikke minst for mangelen på redigerbarhet. Dbias, på den andre siden, kan være mer selektivt trent på noen korpus av nyheter som sluttbrukeren ønsker, og beholde evnen til å utvikle skreddersydd rettferdighetshåndhevelse.

Den kritiske forskjellen er at Dbias-pipeline er ment å automatisk transformere ‘belastet språk’ (ord som legger til en kritisk lag til faktisk kommunikasjon) til nøytralt eller prosaisk språk, i stedet for å skole sluttbrukeren på en kontinuerlig basis. Essensielt sett vil sluttbrukeren definere etiske filtre og trene systemet deretter; i Google Docs-tilnærmingen er systemet – argumenterbart – i ferd med å trene sluttbrukeren, på en ensidig måte.

Konseptuell arkitektur for Dbias-arbeidsflyten.

Ifølge forskerne er Dbias den første virkelig konfigurerbare bias-avdekning-pakken, i motsetning til de ferdige monteringsprosjektene som har karakterisert denne undersektoren av naturlig språkbehandling (NLP) til dags dato.

Den nye artikkelen er tittelen En tilnærming for å sikre rettferdighet i nyhetsartikler, og kommer fra bidragsytere ved University of Toronto, Toronto Metropolitan University, Environmental Resources Management i Bangalore, DeepBlue Academy of Sciences i Kina og University of Sydney.

Metode

Den første modulen i Dbias er Bias-avdekning, som utnytter DistilBERT-pakken – en høyt optimeret versjon av Googles ganske maskinintensive BERT. For prosjektet ble DistilBERT finjustert på Media Bias Annotation (MBIC)-datasettet.

MBIC består av nyhetsartikler fra en rekke mediekanaler, inkludert Huffington Post, USA Today og MSNBC. Forskerne brukte den utvidede versjonen av datasettet.

Selv om den opprinnelige data var annotert av crowdsourced-arbeidere (en metode som ble kritisert sent i 2021), var forskerne i den nye artikkelen i stand til å identifisere ytterligere uannoterte eksempler på bias i datasettet, og la til disse manuelt. De identifiserte tilfellene av bias relaterte til rase, utdanning, etnisitet, språk, religion og kjønn.

Neste modul, Bias-gjenkjenning, bruker Navngitt Entitet Gjenkjenning (NER) for å individuere forvrengte ord fra inndata-teksten. Artikkelen sier:

‘For eksempel, nyheten “Ikke kjøp den pseudo-vitenskapelige hypen om tornadoer og klimaendringer” har blitt klassifisert som forvrengt av den foregående bias-avdekning-modulen, og bias-gjenkjenning-modulen kan nå identifisere termen “pseudo-vitenskapelig hype” som et forvrengt ord.’

NER er ikke spesifikt designet for denne oppgaven, men har blitt brukt tidligere for bias-identifikasjon, særlig for et 2021-prosjekt fra Durham University i Storbritannia.

For denne fasen brukte forskerne RoBERTa kombinert med SpaCy English Transformer NER-pipeline.

Neste fasen, Bias-masking, involverer en ny flerfoldig masking av de identifiserte bias-ordene, som opererer sekvensielt i tilfeller med flere identifiserte bias-ord.

Belastet språk erstattes med pragmatisk språk i den tredje fasen av Dbias. Merk at ‘mouthing’ og ‘using’ tilsvarer samme handling, selv om den førstnevnte anses som nedlatende.

Som nødvendig vil tilbakemeldingen fra denne fasen bli sendt tilbake til begynnelsen av pipeline for videre evaluering til en rekke passende alternative formuleringer eller ord har blitt generert. Denne fasen bruker Masked Language Modeling (MLM) langs linjer etablert av en 2021-samarbeid ledet av Facebook Research.

Vanligvis vil MLM-oppgaven maskere 15% av ordene tilfeldig, men Dbias-arbeidsflyten forteller prosessen å ta de identifiserte forvrengte ordene som inndata.

Arkitekturen ble implementert og trent på Google Colab Pro på en NVIDIA P100 med 24GB VRAM ved en batch-størrelse på 16, ved å bruke bare to merker (forvrengt og ikke-forvrengt).

Tester

Forskerne testet Dbias mot fem sammenlignbare tilnærminger: LG-TFIDF med Logistisk Regresjon og TfidfVectorizer (TFIDF) ord-embeddings; LG-ELMO; MLP-ELMO (en feed-forward kunstig neural nettverk som inneholder ELMO-embeddings); BERT; og RoBERTa.

Målene som ble brukt for testene var nøyaktighet (ACC), presisjon (PREC), gjentakelse (Rec) og en F1-poeng. Ettersom forskerne ikke hadde noen kunnskap om noen eksisterende system som kunne utføre alle tre oppgavene i en enkelt pipeline, ble det gjort unntak for de konkurrerende rammeverkene, ved å evaluere bare Dbias’ primære oppgaver – bias-avdekning og -gjenkjenning.

Resultater fra Dbias-prøvene.

Dbias lyktes i å overgå resultater fra alle konkurrerende rammeverk, inkludert de med en tyngre prosesseringsavtrykk

Artikkelen sier:

‘Resultatet viser også at dypt neuralt embedings, generelt sett, kan overgå tradisjonelle embedings-metoder (f.eks. TFIDF) i bias-klassifiseringsoppgaven. Dette skyldes bedre ytelse av dypt neuralt embedings (dvs. ELMO) sammenlignet med TFIDF-vektorisering når det brukes med LG.

‘Dette skyldes sannsynligvis at dypt neuralt embedings kan bedre fange konteksten av ordene i teksten i forskjellige kontekster. Dypt neuralt embedings og dypt neuralt metoder (MLP, BERT, RoBERTa) utfører også bedre enn tradisjonelle ML-metoder (LG).’

Forskerne påpeker også at Transformer-baserte metoder overgår konkurrerende metoder i bias-avdekning.

En ekstra test involverte en sammenligning mellom Dbias og ulike varianter av SpaCy Core Web, inkludert core-sm (liten), core-md (medium) og core-lg (stor). Dbias var i stand til å lede bordet også i disse prøvene:

Forskerne konkluderer med å observere at bias-gjenkjenning-oppgaver generelt viser bedre nøyaktighet i større og mer kostbare modeller, på grunn av – de spekulerer – den økte mengden parametre og datapunkter. De observerer også at effekten av fremtidig arbeid i dette feltet vil avhenge av større anstrengelser for å annotere høykvalitetsdatasett.

Treet og skogen

Håper dette slags fine-graned bias-gjenkjenning-prosjekt vil til slutt bli inkorporert i bias-søkende rammeverk som kan ta en mindre myopisk utsikt, og ta hensyn til at valget av å dekke en bestemt historie i seg selv er en handling av bias som potensielt drives av mer enn bare rapporterte seertall.

Først publisert 14. juli 2022.