En AI-driven biaskontroll för nyhetsartiklar, tillgänglig i Python

Forskare i Kanada, Indien, Kina och Australien har samarbetat för att producera ett fritt tillgängligt Python-paket som kan användas för att upptäcka och ersätta “orättvis språk” i nyhetskopior.

Systemet, som heter Dbias, använder olika maskinlärningstekniker och databaser för att utveckla en tre-stegs cirkulär arbetsflöde som kan förfinas förbiast text tills det returnerar en icke-biast eller mer neutral version.

Laddat språk i en nyhetsklipp identifieras som ‘förbiast’ och omvandlas till en mindre kontroversiell version av Dbias. Källa: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

Systemet representerar en återanvändbar och självinnehållande pipeline som kan installeras via Pip från Hugging Face, och integreras i befintliga projekt som ett supplementär steg, tillägg eller plugin.

I april fick en liknande funktion som implementerats i Google Docs kritik, inte minst för dess brist på redigerbarhet. Dbias, å andra sidan, kan vara mer selektivt tränad på valfri korpus av nyheter som slutanvändaren önskar, och behålla förmågan att utveckla anpassade rättviseguidelines.

Den kritiska skillnaden är att Dbias-pipelinen är avsedd att automatiskt omvandla “laddat språk” (ord som lägger till en kritisk skikt till faktisk kommunikation) till neutralt eller prosaiskt språk, snarare än att utbilda användaren på ett kontinuerligt sätt. I princip kommer slutanvändaren att definiera etiska filter och träna systemet därefter; i Google Docs-approachen tränar systemet – möjligtvis – användaren på ett ensidigt sätt.

Konceptuell arkitektur för Dbias-arbetsflödet.

Enligt forskarna är Dbias den första riktigt konfigurerbara biasdetektionspaketet, i kontrast till de färdiga monteringsprojekten som har kännetecknat denna sub-sektor av Natural Language Processing (NLP) hittills.

Den nya artikeln heter En metod för att säkerställa rättvisa i nyhetsartiklar, och kommer från bidragsgivare vid University of Toronto, Toronto Metropolitan University, Environmental Resources Management i Bangalore, DeepBlue Academy of Sciences i Kina och University of Sydney.

Metod

Den första modulen i Dbias är Biasdetektering, som använder DistilBERT-paketet – en högt optimerad version av Googles ganska maskinintensiva BERT. För projektet fine-tunades DistilBERT på Media Bias Annotation (MBIC) dataset.

MBIC består av nyhetsartiklar från en mängd olika mediekällor, inklusive Huffington Post, USA Today och MSNBC. Forskarna använde den utökade versionen av datasetet.

Även om den ursprungliga datan annoterades av crowdsourcade arbetare (en metod som kritiserades sent 2021), kunde forskarna bakom den nya artikeln identifiera ytterligare oannoterade instanser av bias i datasetet och lägga till dem manuellt. De identifierade fallen av bias relaterade till ras, utbildning, etnicitet, språk, religion och kön.

Nästa modul, Biasigenkänning, använder Named Entity Recognition (NER) för att individuera förbiastade ord från indata-texten. Artikeln säger:

‘Till exempel har nyheten “Köp inte den pseudo-vetenskapliga hype om tornadoer och klimatförändringar” klassificerats som förbiast av den föregående biasdetekteringsmodulen, och biasigenkänningsmodulen kan nu identifiera termen “pseudo-vetenskaplig hype” som ett förbiastat ord.’

NER är inte specifikt utformad för denna uppgift, men har använts tidigare för biasidentifiering, bland annat för ett 2021-projekt från Durham University i Storbritannien.

För denna fas använde forskarna RoBERTa kombinerat med SpaCy English Transformer NER-pipelinen.

Nästa fas, Biasmaskning, innebär en ny flera-mask av de identifierade biasorden, som fungerar sekventiellt i fall av flera identifierade biasord.

Laddat språk ersätts med pragmatiskt språk i den tredje fasen av Dbias.

Som nödvändigt kommer feedback från denna fas att skickas tillbaka till början av pipelinen för ytterligare utvärdering tills ett antal lämpliga alternativa fraseringar eller ord har genererats. Denna fas använder Masked Language Modeling (MLM) längs linjer etablerade av en 2021-samarbete lett av Facebook Research.

Vanligtvis kommer MLM-uppgiften att maskera 15% av orden slumpmässigt, men Dbias-arbetsflödet ber processen att ta de identifierade förbiastade orden som indata.

Arkitekturen implementerades och tränades på Google Colab Pro på en NVIDIA P100 med 24 GB VRAM vid en batchstorlek på 16, med bara två etiketter (förbiast och icke-förbiast).

Tester

Forskarna testade Dbias mot fem jämförbara metoder: LG-TFIDF med Logistisk regression och TfidfVectorizer (TFIDF) ordinbäddningar; LG-ELMO; MLP-ELMO (en feed-forward artificiell neural nätverk som innehåller ELMO-inbäddningar); BERT; och RoBERTa.

Mätvärden som användes för testerna var noggrannhet (ACC), precision (PREC), återkallande (Rec) och en F1-poäng. Eftersom forskarna inte hade någon kunskap om något existerande system som kunde utföra alla tre uppgifterna i en enda pipeline, gjordes undantag för de konkurrerande ramverken genom att utvärdera endast Dbias primära uppgifter – biasdetektering och igenkänning.

Resultat från Dbias-testerna.

Dbias lyckades med att överträffa resultaten från alla konkurrerande ramverk, inklusive de med en tyngre bearbetningsavtryck

Artikeln säger:

‘Resultatet visar också att djupa neurala inbäddningar i allmänhet kan överträffa traditionella inbäddningsmetoder (t.ex. TFIDF) i biasklassificeringsuppgiften. Detta visas av den bättre prestandan hos djupa neurala inbäddningar (dvs. ELMO) jämfört med TFIDF-vektorisation när de används med LG.

‘Detta beror troligen på att djupa neurala inbäddningar kan bättre fånga kontexten av orden i texten i olika sammanhang. De djupa neurala inbäddningarna och de djupa neurala metoderna (MLP, BERT, RoBERTa) presterar också bättre än traditionella ML-metoder (LG).’

Forskarna noterar också att Transformer-baserade metoder överträffar konkurrerande metoder i biasdetektering.

En ytterligare test omfattade en jämförelse mellan Dbias och olika varianter av SpaCy Core Web, inklusive core-sm (små), core-md (medium) och core-lg (stor). Dbias kunde leda brädet även i dessa tester:

Forskarna drar slutsatsen att biasigenkänningsuppgifterna vanligtvis visar bättre noggrannhet i större och dyrare modeller, på grund av – som de spekulerar – det ökade antalet parametrar och datapunkter. De noterar också att effektiviteten av framtida arbete inom detta område kommer att bero på större ansträngningar för att annotera högkvalitativa dataset.

Skogen och träden

Hoppas att detta slags finmaskiga biasigenkänningsprojekt kommer att införlivas i bias-sökande ramverk som kan ta en mindre myopisk vy, och ta hänsyn till att valet att täcka en specifik historia i sig är en akt av bias som potentiellt drivs av mer än bara rapporterade vyningssstatistik.

Publicerad första gången den 14 juli 2022.