Een AI-gestuurde vooroordelscontrole voor nieuwsartikelen, beschikbaar in Python

Onderzoekers in Canada, India, China en Australië hebben samengewerkt om een gratis beschikbare Python-pakket te produceren dat effectief kan worden gebruikt om ‘oneerlijke taal’ in nieuwsberichten te detecteren en te vervangen.

Het systeem, getiteld Dbias, gebruikt verschillende machine learning-technologieën en databases om een driedelige cirkelvormige workflow te ontwikkelen die bevooroordeelde tekst kan verfijnen totdat deze een niet-bevooroordeelde, of ten minste meer neutrale versie retourneert.

Geladen taal in een nieuwsfragment wordt geïdentificeerd als ‘bevooroordeeld’ en wordt getransformeerd in een minder ontvlambaar exemplaar door Dbias. Bron: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf

Het systeem vertegenwoordigt een herbruikbare en zelfstandige pipeline die via Pip van Hugging Face kan worden geïnstalleerd en in bestaande projecten kan worden geïntegreerd als een aanvullende fase, add-on of plug-in.

In april werd soortgelijke functionaliteit geïmplementeerd in Google Docs onder vuur genomen, niet in de laatste plaats vanwege het ontbreken van bewerkbaarheid. Dbias daarentegen kan selectiever worden getraind op elke corpus van nieuws dat de eindgebruiker wenst, met behoud van de mogelijkheid om maatwerkrechtvaardigheidsrichtlijnen te ontwikkelen.

Het cruciale verschil is dat de Dbias-pipeline bedoeld is om ‘geladen taal’ (woorden die een kritische laag toevoegen aan feitelijke communicatie) automatisch te transformeren in neutrale of prozaïsche taal, in plaats van de gebruiker te onderwijzen op een voortdurende basis. In wezen zal de eindgebruiker ethische filters definiëren en het systeem dienovereenkomstig trainen; in de aanpak van Google Docs wordt het systeem – naar men kan aannemen – de gebruiker getraind, op een eenzijdige manier.

Conceptuele architectuur voor de Dbias-workflow.

Volgens de onderzoekers is Dbias het eerste echt configureerbare vooroordelsdetectiepakket, in tegenstelling tot de kant-en-klare assemblageprojecten die deze subsector van Natural Language Processing (NLP) tot nu toe hebben gekenmerkt.

Het nieuwe artikel heeft als titel Een benadering om rechtvaardigheid in nieuwsartikelen te waarborgen en komt van bijdragers aan de Universiteit van Toronto, Toronto Metropolitan University, Environmental Resources Management in Bangalore, DeepBlue Academy of Sciences in China en de Universiteit van Sydney.

Methode

Het eerste module in Dbias is Vooroordeeldetectie, die het DistilBERT-pakket gebruikt – een zeer geoptimaliseerde versie van Google’s redelijk machine-intensieve BERT. Voor het project werd DistilBERT fijngesteld op de Media Bias Annotation (MBIC)-dataset.

MBIC bestaat uit nieuwsartikelen van verschillende mediabronnen, waaronder de Huffington Post, USA Today en MSNBC. De onderzoekers gebruikten de uitgebreide versie van de dataset.

Hoewel de oorspronkelijke gegevens waren geannoteerd door crowdsourced werknemers (een methode die eind 2021 onder vuur kwam), konden de onderzoekers van het nieuwe artikel extra ongelabelde voorbeelden van vooroordelen in de dataset identificeren en handmatig toevoegen. De geïdentificeerde voorbeelden van vooroordelen hadden betrekking op ras, onderwijs, etniciteit, taal, religie en geslacht.

De volgende module, Vooroordeelherkenning, gebruikt Named Entity Recognition (NER) om bevooroordeelde woorden van de invoertekst te individualiseren. Het artikel vermeldt:

‘Bijvoorbeeld, het nieuws “Koop de pseudo-wetenschappelijke hype over tornado’s en klimaatverandering niet” is door de voorafgaande vooroordeeldetectiemodule als bevooroordeeld geclassificeerd, en de vooroordeelherkenningmodule kan nu het woord “pseudo-wetenschappelijke hype” als een bevooroordeeld woord identificeren.’

NER is niet specifiek ontworpen voor deze taak, maar is eerder gebruikt voor vooroordeelidentificatie, met name voor een 2021-project van de Universiteit van Durham in het VK.

Voor deze fase gebruikten de onderzoekers RoBERTa in combinatie met de SpaCy English Transformer NER-pipeline.

De volgende fase, Vooroordeelmaskering, omvat een novum van meerdere maskers van de geïdentificeerde vooroordeelwoorden, die sequentieel werkt in gevallen van meerdere geïdentificeerde vooroordeelwoorden.

Geladen taal wordt vervangen door pragmatische taal in de derde fase van Dbias. Let op dat ‘mouthing’ en ‘using’ hetzelfde actie betekenen, hoewel de eerste als minachtend wordt beschouwd.

Indien nodig wordt de feedback van deze fase teruggestuurd naar het begin van de pipeline voor verdere evaluatie totdat een aantal geschikte alternatieve zinsbouw of woorden is gegenereerd. Deze fase gebruikt Masked Language Modeling (MLM) langs lijnen vastgesteld door een 2021-samenwerking geleid door Facebook Research.

Normaal gesproken zal de MLM-taak 15% van de woorden willekeurig maskeren, maar de Dbias-workflow vertelt het proces om de geïdentificeerde bevooroordeelde woorden als invoer te nemen.

De architectuur werd geïmplementeerd en getraind op Google Colab Pro op een NVIDIA P100 met 24GB VRAM bij een batchgrootte van 16, met slechts twee labels (bevooroordeeld en onbevooroordeeld).

Tests

De onderzoekers testten Dbias tegen vijf vergelijkbare benaderingen: LG-TFIDF met Logistic Regression en TfidfVectorizer (TFIDF) woordembeddings; LG-ELMO; MLP-ELMO (een feed-forward kunstmatig neuronaal netwerk met ELMO-embeddings); BERT; en RoBERTa.

De gebruikt metrics voor de tests waren nauwkeurigheid (ACC), precisie (PREC), recall (Rec) en een F1-score. Aangezien de onderzoekers geen kennis hadden van enig bestaand systeem dat alle drie taken in één pipeline kon uitvoeren, werd dispensatie gemaakt voor de concurrerende kaders, door alleen Dbias’ primaire taken – vooroordeeldetectie en -herkenning – te evalueren.

Resultaten van de Dbias-proeven.

Dbias slaagde erin de resultaten van alle concurrerende kaders te overtreffen, inclusief die met een zwaardere verwerkingstijd

Het artikel vermeldt:

‘Het resultaat toont ook aan dat diepe neurale embeddings in het algemeen traditionele embedmethoden (bijv. TFIDF) in de vooroordeelclassificatietaken kunnen overtreffen. Dit wordt aangetoond door de betere prestaties van diepe neurale embeddings (d.w.z. ELMO) in vergelijking met TFIDF-vectorisatie wanneer deze wordt gebruikt met LG.

‘Dit is waarschijnlijk omdat diepe neurale embeddings de context van de woorden in de tekst in verschillende contexten beter kunnen vastleggen. De diepe neurale embeddings en diepe neurale methoden (MLP, BERT, RoBERTa) presteren ook beter dan traditionele ML-methoden (LG).’

De onderzoekers merken ook op dat Transformer-gebaseerde methoden concurrerende methoden in vooroordeeldetectie overtreffen.

Een aanvullende test omvatte een vergelijking tussen Dbias en verschillende smaken van de SpaCy Core Web, waaronder core-sm (klein), core-md (medium) en core-lg (groot). Dbias kon ook in deze proeven de bovenste plaats behalen:

De onderzoekers concluderen door op te merken dat vooroordeelherkenningsTaken over het algemeen betere nauwkeurigheid vertonen in grotere en duurdere modellen, vanwege – naar men vermoedt – het grotere aantal parameters en datapunten. Zij merken ook op dat de effectiviteit van toekomstig werk in dit veld zal afhangen van grotere inspanningen om hoogwaardige datasets te annoteren.

Het bos en de bomen

Hopelijk zal dit soort fijngewerkte vooroordeelherkenningprojecten uiteindelijk worden geïntegreerd in vooroordeelzoekkaders die een minder myope kijk kunnen bieden en rekening kunnen houden met het feit dat het kiezen van een bepaald verhaal een daad van vooroordeel is die potentieel wordt aangedreven door meer dan alleen gerapporteerde kijkcijfers.

Origineel gepubliceerd op 14 juli 2022.