Andersons hoek
AI-gestuurde controle op vooringenomenheid in nieuwsartikelen, beschikbaar in Python

Belangrijkste puntenDbias is het eerste configureerbare biasdetectiepakket voor nieuwsartikelen.
Meer weergeven
- Dbias is het eerste configureerbare biasdetectiepakket voor nieuwsartikelen.
- De pijplijn transformeert automatisch geladen taal naar neutrale tekst in plaats van gebruikers te trainen.
- Dbias presteerde beter dan alle concurrerende frameworks, waaronder BERT en RoBERTa, bij biasdetectie.
Onderzoekers in Canada, India, China en Australië hebben samengewerkt om een gratis beschikbaar Python-pakket te produceren dat effectief kan worden gebruikt om ‘oneerlijke taal’ in nieuwsberichten te detecteren en te vervangen.
Het systeem, getiteld Dbias, gebruikt verschillende machine learning-technologieën en databases om een driedelige cirkelvormige workflow te ontwikkelen die bevooroordeelde tekst kan verfijnen totdat deze een niet-bevooroordeelde, of ten minste meer neutrale versie retourneert.

Geladen taal in een nieuwsfragment wordt geïdentificeerd als ‘bevooroordeeld’ en wordt getransformeerd in een minder opruiende versie door Dbias. Bron: https://arxiv.org/ftp/arxiv/papers/2207/2207.03938.pdf
Het systeem vertegenwoordigt een herbruikbare en zelfstandige pipeline die via Pip van Hugging Face kan worden geïnstalleerd en in bestaande projecten kan worden geïntegreerd als een aanvullende fase, add-on of plug-in.
In april werd soortgelijke functionaliteit geïmplementeerd in Google Docs onder vuur genomen, niet in de laatste plaats vanwege het ontbreken van bewerkbaarheid. Dbias daarentegen kan selectiever worden getraind op elk nieuwscorpus dat de eindgebruiker wenst, met behoud van de mogelijkheid om eigen richtlijnen voor eerlijkheid te ontwikkelen.
Het cruciale verschil is dat de Dbias-pipeline bedoeld is om ‘geladen taal’ (woorden die een kritische laag toevoegen aan feitelijke communicatie) automatisch te transformeren in neutrale of prozaïsche taal, in plaats van de gebruiker te onderwijzen op een voortdurende basis. In wezen zal de eindgebruiker ethische filters definiëren en het systeem dienovereenkomstig trainen; in de aanpak van Google Docs traint het systeem – zo zou men kunnen stellen – de gebruiker, op een eenzijdige manier.

Conceptuele architectuur voor de Dbias-workflow.
Volgens de onderzoekers is Dbias het eerste echt configureerbare vooroordelsdetectiepakket, in tegenstelling tot de kant-en-klare assemblageprojecten die deze subsector van Natural Language Processing (NLP) tot nu toe hebben gekenmerkt.
Het nieuwe artikel heeft als titel Een benadering om rechtvaardigheid in nieuwsartikelen te waarborgen en komt van bijdragers aan de Universiteit van Toronto, Toronto Metropolitan University, Environmental Resources Management in Bangalore, DeepBlue Academy of Sciences in China en de Universiteit van Sydney.
Methode
De eerste module in Dbias is Vooroordeeldetectie, die het DistilBERT-pakket gebruikt – een zeer geoptimaliseerde versie van Google’s tamelijk rekenintensieve BERT. Voor het project werd DistilBERT verder getraind op de Media Bias Annotation (MBIC)-dataset.

MBIC bestaat uit nieuwsartikelen van verschillende mediabronnen, waaronder de Huffington Post, USA Today en MSNBC. De onderzoekers gebruikten de uitgebreide versie van de dataset.
Hoewel de oorspronkelijke gegevens waren geannoteerd door crowdsourced werknemers (een methode die eind 2021 onder vuur kwam), konden de onderzoekers van het nieuwe artikel extra ongelabelde voorbeelden van vooroordelen in de dataset identificeren en handmatig toevoegen. De geïdentificeerde voorbeelden van vooroordelen hadden betrekking op ras, onderwijs, etniciteit, taal, religie en geslacht.
De volgende module, Vooroordeelherkenning, gebruikt Named Entity Recognition (NER) om afzonderlijke bevooroordeelde woorden in de invoertekst te identificeren. Het artikel vermeldt:
‘Bijvoorbeeld, het nieuws “Geloof de pseudowetenschappelijke ophef over tornado’s en klimaatverandering niet” is door de voorafgaande vooroordeeldetectiemodule als bevooroordeeld geclassificeerd, en de vooroordeelherkenningmodule kan nu het woord “pseudowetenschappelijke ophef” als een bevooroordeeld woord identificeren.’
NER is niet specifiek ontworpen voor deze taak, maar is eerder gebruikt voor vooroordeelidentificatie, met name voor een 2021-project van de Universiteit van Durham in het VK.
Voor deze fase gebruikten de onderzoekers RoBERTa in combinatie met de SpaCy English Transformer NER-pipeline.

De volgende fase, Vooroordeelmaskering, gebruikt een nieuwe methode met meerdere maskers voor de geïdentificeerde bevooroordeelde woorden. Als er meerdere van zulke woorden zijn, worden ze achtereenvolgens verwerkt.

Geladen taal wordt vervangen door pragmatische taal in de derde fase van Dbias. Let op dat ‘mouthing’ en ‘using’ dezelfde handeling betekenen, hoewel de eerste als minachtend wordt beschouwd.
Indien nodig wordt de feedback van deze fase teruggestuurd naar het begin van de pipeline voor verdere evaluatie totdat een aantal geschikte alternatieve formuleringen of woorden is gegenereerd. Deze fase gebruikt Masked Language Modeling (MLM) volgens een aanpak die is vastgesteld in een 2021-samenwerking geleid door Facebook Research.
Normaal gesproken zal de MLM-taak 15% van de woorden willekeurig maskeren, maar de Dbias-workflow vertelt het proces om de geïdentificeerde bevooroordeelde woorden als invoer te nemen.
De architectuur werd geïmplementeerd en getraind op Google Colab Pro op een NVIDIA (NVDA ) P100 met 24GB VRAM bij een batchgrootte van 16, met slechts twee labels (bevooroordeeld en onbevooroordeeld).
Tests
De onderzoekers testten Dbias tegen vijf vergelijkbare benaderingen: LG-TFIDF met Logistic Regression en TfidfVectorizer (TFIDF) woordembeddings; LG-ELMO; MLP-ELMO (een feed-forward kunstmatig neuronaal netwerk met ELMO-embeddings); BERT; en RoBERTa.
De gebruikte meetwaarden voor de tests waren nauwkeurigheid (ACC), precisie (PREC), recall (Rec) en een F1-score. Aangezien de onderzoekers geen kennis hadden van enig bestaand systeem dat alle drie taken in één pipeline kon uitvoeren, werd voor de concurrerende systemen een uitzondering gemaakt, door alleen Dbias’ primaire taken – vooroordeeldetectie en -herkenning – te evalueren.

Resultaten van de Dbias-proeven.
Dbias slaagde erin de resultaten van alle concurrerende kaders te overtreffen, ook die met hogere rekeneisen
Het artikel vermeldt:
‘Het resultaat toont ook aan dat diepe neurale embeddings in het algemeen traditionele embedmethoden (bijv. TFIDF) in de vooroordeelclassificatietaken kunnen overtreffen. Dit wordt aangetoond door de betere prestaties van diepe neurale embeddings (d.w.z. ELMO) in vergelijking met TFIDF-vectorisatie wanneer deze worden gebruikt met LG.’
‘Dit is waarschijnlijk omdat diepe neurale embeddings de context van de woorden in de tekst in verschillende contexten beter kunnen vastleggen. De diepe neurale embeddings en diepe neurale methoden (MLP, BERT, RoBERTa) presteren ook beter dan traditionele ML-methoden (LG).’
De onderzoekers merken ook op dat Transformer-gebaseerde methoden concurrerende methoden in vooroordeeldetectie overtreffen.
Een aanvullende test omvatte een vergelijking tussen Dbias en verschillende varianten van de SpaCy Core Web, waaronder core-sm (klein), core-md (medium) en core-lg (groot). Dbias kon ook in deze proeven de bovenste plaats behalen:

De onderzoekers concluderen door op te merken dat taken voor het herkennen van bevooroordeelde woorden over het algemeen betere nauwkeurigheid vertonen in grotere en duurdere modellen, vanwege – naar men vermoedt – het grotere aantal parameters en datapunten. Zij merken ook op dat de effectiviteit van toekomstig werk in dit veld zal afhangen van grotere inspanningen om hoogwaardige datasets te annoteren.
Het bos en de bomen
Hopelijk zal dit soort fijngewerkte vooroordeelherkenningprojecten uiteindelijk worden geïntegreerd in vooroordeelzoekkaders die een minder kortzichtige blik kunnen bieden en rekening kunnen houden met het feit dat de keuze om een bepaald verhaal te behandelen op zichzelf al een bevooroordeelde handeling is die potentieel wordt aangedreven door meer dan alleen gerapporteerde kijkcijfers.
Origineel gepubliceerd op 14 juli 2022.












