Andersons vinkel

AI-driven granskare av partiskhet i nyhetsartiklar – tillgänglig i Python

Martin Anderson
Lägg till Unite.AI bland dina föredragna källor på Google
Viktiga punkterDbias är det första konfigurerbara paketet för partiskhetsdetektion i nyhetsartiklar.
Visa mer
  • Dbias är det första konfigurerbara paketet för partiskhetsdetektion i nyhetsartiklar.
  • Pipelinen omvandlar automatiskt laddat språk till neutral text istället för att träna användare.
  • Dbias överträffade alla konkurrerande ramverk, inklusive BERT och RoBERTa, i partiskhetsdetektion.

Forskare i Kanada, Indien, Kina och Australien har samarbetat för att producera ett fritt tillgängligt Python-paket som kan användas för att upptäcka och ersätta “orättvist språk” i nyhetstexter.

Systemet, som heter Dbias, använder olika maskinlärningstekniker och databaser för att utveckla ett cirkulärt arbetsflöde i tre steg som kan bearbeta partisk text tills det returnerar en opartisk eller mer neutral version.

Laddat språk i ett nyhetsutdrag som identifierats som 'partisk' och omvandlas till en mindre provocerande version av Dbias. Källa: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

Laddat språk i ett nyhetsutdrag som identifierats som ‘partisk’ och omvandlas till en mindre provocerande version av Dbias. Källa: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

Systemet representerar en återanvändbar och fristående pipeline som kan installeras via Pip från Hugging Face, och integreras i befintliga projekt som ett kompletterande steg, tillägg eller plugin.

I april fick en liknande funktion som implementerats i Google Docs kritik, inte minst för dess brist på redigerbarhet. Dbias, å andra sidan, kan vara mer selektivt tränad på valfri korpus av nyheter som slutanvändaren önskar, och behålla förmågan att utveckla egna riktlinjer för rättvisa.

Den kritiska skillnaden är att Dbias-pipelinen är avsedd att automatiskt omvandla “laddat språk” (ord som lägger till ett värderande skikt till förmedlingen av fakta) till neutralt eller prosaiskt språk, snarare än att utbilda användaren på ett kontinuerligt sätt. I princip kommer slutanvändaren att definiera etiska filter och träna systemet därefter; i Google Docs-metoden tränar systemet – kan man hävda – användaren på ett ensidigt sätt.

Konceptuell arkitektur för Dbias-arbetsflödet.

Konceptuell arkitektur för Dbias-arbetsflödet.

Enligt forskarna är Dbias det första verkligt konfigurerbara paketet för att upptäcka partiskhet, i kontrast till projekt som sammanfogar färdiga komponenter som har kännetecknat denna del av naturlig språkbehandling (NLP) hittills.

Den nya artikeln heter En metod för att säkerställa rättvisa i nyhetsartiklar, och kommer från bidragsgivare vid University of Toronto, Toronto Metropolitan University, Environmental Resources Management i Bangalore, DeepBlue Academy of Sciences i Kina och University of Sydney.

Metod

Den första modulen i Dbias är Biasdetektering, som använder DistilBERT-paketet – en högt optimerad version av Googles relativt beräkningskrävande BERT. För projektet finjusterades DistilBERT på datamängden Media Bias Annotation (MBIC).

MBIC består av nyhetsartiklar från en mängd olika mediekällor, inklusive Huffington Post, USA Today och MSNBC. Forskarna använde den utökade versionen av datasetet.

Även om den ursprungliga datan annoterades av crowdsourcade arbetare (en metod som kritiserades sent 2021), kunde forskarna bakom den nya artikeln identifiera ytterligare oannoterade instanser av bias i datasetet och lägga till dem manuellt. De identifierade fallen av bias relaterade till ras, utbildning, etnicitet, språk, religion och kön.

Nästa modul, Biasigenkänning, använder Named Entity Recognition (NER) för att identifiera enskilda partiska ord i indatatexten. Artikeln säger:

‘Till exempel har nyheten “Tro inte på den pseudovetenskapliga hajpen om tornador och klimatförändringar” klassificerats som partisk av den föregående biasdetekteringsmodulen, och biasigenkänningsmodulen kan nu identifiera termen “pseudovetenskaplig hajp” som ett partiskt ord.’

NER är inte specifikt utformad för denna uppgift, men har använts tidigare för biasidentifiering, bland annat för ett 2021-projekt från Durham University i Storbritannien.

För denna fas använde forskarna RoBERTa kombinerat med SpaCy English Transformer NER-pipelinen.

Nästa fas, Biasmaskning, innebär en ny metod med flera masker för de identifierade partiska orden. Om flera sådana ord identifieras behandlas de i tur och ordning.

Laddat språk ersätts med sakligt språk i den tredje fasen av Dbias. Observera att 'mouthing' och 'using' motsvarar samma handling, även om den förra anses vara nedsättande.

Laddat språk ersätts med sakligt språk i den tredje fasen av Dbias. Observera att ”mouthing” och ”using” beskriver samma handling, men att det första ordet anses nedsättande.

Vid behov skickas återkoppling från denna fas tillbaka till början av pipelinen för ytterligare utvärdering tills ett antal lämpliga alternativa fraseringar eller ord har genererats. Denna fas använder Masked Language Modeling (MLM) enligt en metod som etablerades i ett 2021-samarbete lett av Facebook Research.

Vanligtvis kommer MLM-uppgiften att maskera 15% av orden slumpmässigt, men Dbias-arbetsflödet ber processen att ta de identifierade partiska orden som indata.

Arkitekturen implementerades och tränades på Google Colab Pro på en NVIDIA (NVDA ) P100 med 24 GB VRAM vid en batchstorlek på 16, med bara två etiketter (partisk och icke-partisk).

Tester

Forskarna testade Dbias mot fem jämförbara metoder: LG-TFIDF med Logistisk regression och TfidfVectorizer (TFIDF) ordinbäddningar; LG-ELMO; MLP-ELMO (ett framåtriktat artificiellt neuralt nätverk som innehåller ELMO-inbäddningar); BERT; och RoBERTa.

Mätvärden som användes för testerna var noggrannhet (ACC), precision (PREC), täckning (Rec) och en F1-poäng. Eftersom forskarna inte hade någon kunskap om något existerande system som kunde utföra alla tre uppgifterna i en enda pipeline, gjordes undantag för de konkurrerande ramverken genom att utvärdera endast Dbias primära uppgifter – biasdetektering och igenkänning.

Resultat från Dbias-testerna.

Resultat från Dbias-testerna.

Dbias lyckades med att överträffa resultaten från alla konkurrerande ramverk, även dem som kräver mer beräkningskraft

Artikeln säger:

‘Resultatet visar också att djupa neurala inbäddningar i allmänhet kan överträffa traditionella inbäddningsmetoder (t.ex. TFIDF) i biasklassificeringsuppgiften. Detta visas av den bättre prestandan hos djupa neurala inbäddningar (dvs. ELMO) jämfört med TFIDF-vektorisation när de används med LG.’

‘Detta beror troligen på att djupa neurala inbäddningar kan bättre fånga kontexten av orden i texten i olika sammanhang. De djupa neurala inbäddningarna och de djupa neurala metoderna (MLP, BERT, RoBERTa) presterar också bättre än traditionella ML-metoder (LG).’

Forskarna noterar också att Transformer-baserade metoder överträffar konkurrerande metoder i biasdetektering.

Ett ytterligare test omfattade en jämförelse mellan Dbias och olika varianter av SpaCy Core Web, inklusive core-sm (liten), core-md (medium) och core-lg (stor). Dbias uppnådde bäst resultat även i dessa tester:

Forskarna drar slutsatsen att biasigenkänningsuppgifterna vanligtvis visar bättre noggrannhet i större och dyrare modeller, på grund av – som de spekulerar – det ökade antalet parametrar och datapunkter. De noterar också att effektiviteten av framtida arbete inom detta område kommer att bero på större ansträngningar för att annotera högkvalitativa dataset.

Skogen och träden

Förhoppningsvis kommer denna typ av finmaskiga projekt för att identifiera partiskhet att införlivas i ramverk som kan anlägga ett mindre snävt perspektiv. De behöver också ta hänsyn till att själva valet att bevaka en viss nyhet är en partisk handling, som kan drivas av mer än enbart rapporterad visningsstatistik.

 

Publicerad första gången den 14 juli 2022.

Skribent inom maskininlärning, domänspecialist på mänsklig bildsyntes. Tidigare chef för forskningsinnehåll på Metaphysic.ai, fram till dess upplösning i DNEG:s Brahma.ai.
Webbplats: martinanderson.ai
Kontakt: martin@martinanderson.ai