MIT: Meting van mediavooroordeel in grote nieuwsuitgevers met machine learning

Een onderzoek van MIT heeft machine learning-technieken gebruikt om vooroordelen in taalgebruik te identificeren in ongeveer 100 van de grootste en meest invloedrijke nieuwsuitgevers in de VS en daarbuiten, waaronder 83 van de meest invloedrijke gedrukte nieuwspublicaties. Het is een onderzoeksinspanning die de weg wijst naar geautomatiseerde systemen die potentieel de politieke karakter van een publicatie kunnen classificeren en lezers een dieper inzicht kunnen geven in de ethische houding van een uitgever op onderwerpen waar ze zich mogelijk hartstochtelijk over bekommeren.

Het onderzoek richt zich op de manier waarop onderwerpen worden aangepakt met specifieke taal, zoals ondocumenteerde immigrant | illegale immigrant, foetus | ongeboren baby, demonstranten | anarchisten.

Het project gebruikte Natural Language Processing (NLP)-technieken om dergelijke voorbeelden van ‘geladen’ taal (onder de veronderstelling dat ogenschijnlijk meer ‘neutrale’ termen ook een politieke houding vertegenwoordigen) te extraheren en te classificeren in een breed kaart dat links- en rechts-georiënteerde vooroordelen over meer dan drie miljoen artikelen van ongeveer 100 nieuwsuitgevers onthult, resulterend in een navigeerbare vooroordeelkaart van de publicaties in kwestie.

Het artikel komt van Samantha D’Alonzo en Max Tegmark van de afdeling Natuurkunde van MIT, en stelt vast dat een aantal recente initiatieven rond ‘feitencontrole’, in de nasleep van talrijke ‘nepnieuws’-schandalen, kunnen worden geïnterpreteerd als oneerlijk en dienend aan de belangen van bepaalde groepen. Het project is bedoeld om een meer gegevensgedreven benadering te bieden voor het bestuderen van het gebruik van vooroordelen en ‘invloedrijke’ taal in een vermeend neutrale nieuwscontext.

Een spectrum van (letterlijk) links-rechtsfrases, zoals afgeleid uit het onderzoek. Bron: https://arxiv.org/pdf/2109.00024.pdf

NLP-verwerking

De brondata van het onderzoek werd verkregen uit de open source Newspaper3K-database, en bestond uit 3.078.624 artikelen verkregen uit 100 mediabronnen, waaronder 83 kranten. De kranten werden geselecteerd op basis van hun bereik, terwijl online mediabronnen ook artikelen bevatten van de militaire nieuwsanalysesite Defense One en Science.

De bronnen die in het onderzoek werden gebruikt.

Het artikel meldt dat de gedownloade tekst ‘minimaal’ werd voorbewerkt. Directe citaten werden geëlimineerd, aangezien het onderzoek geïnteresseerd is in de taal die door journalisten wordt gekozen (hoewel citaatselecties op zichzelf een interessant onderzoeksgebied zijn).

Britse spellingen werden gewijzigd in Amerikaanse om de database te standaardiseren, alle leestekens werden verwijderd en alle behalve ordinaalgetallen werden eveneens verwijderd. Initiële zinscapitalisatie werd omgezet in kleine letters, maar alle andere capitalisatie werd behouden.

De eerste 100.000 meest voorkomende frases werden geïdentificeerd en uiteindelijk gerangschikt, gezuiverd en samengevoegd in een frasenlijst. Alle redundante taal die kon worden geïdentificeerd (zoals ‘Deel dit artikel’ en ‘artikel opnieuw gepubliceerd’) werd eveneens verwijderd. Variaties over wezenlijk identieke frases (d.w.z. ‘grote technologie’ en ‘Big Tech’, ‘cyberbeveiliging’ en ‘cyber security’) werden gestandaardiseerd.

‘Notenpikken’

De eerste test was over het onderwerp ‘Black lives matter’, en kon frasewoordvoorkeur en valent synoniemen over de gegevens heen onderscheiden.

Algemene principiële componenten voor artikelen over Black Lives Matter (BLM). We zien mensen die deelnemen aan burgerlijke actie gekarakteriseerd, letterlijk en figuurlijk van links naar rechts, als demonstranten, anarchisten en, aan het rechtse uiteinde van het spectrum, als ‘rellenmakers’. De kranten die de frase oorspronkelijk publiceerden, worden weergegeven in het rechterpaneel.

Terwijl ‘protestanten’ van ‘anarchisten’ naar ‘rellenmakers’ gaan als we langs de politieke houding van de uitgever in kwestie glijden, merkt het artikel op dat de NLP-extractie en -analyse wordt gehinderd door de praktijk van ‘notenpikken’ – waarbij een mediabron een frase citeert die als geldig wordt beschouwd door een verschillend politiek segment van de samenleving, en (ogenschijnlijk) kan vertrouwen op zijn lezerschap om de frase negatief te bekijken. Het artikel noemt ‘de politie ontmantelen’ als voorbeeld van dit.

Natuurlijk betekent dit dat een ‘links-georiënteerde’ frase verschijnt in een over het algemeen rechtse context, en vertegenwoordigt een ongebruikelijke uitdaging voor een NLP-systeem dat vertrouwt op gecodeerde frases als signaal voor politieke houdingen.

Dergelijke frases zijn ‘bivalent’ [SIC], terwijl bepaalde andere frases een universeel negatieve connotatie hebben (bijv. ‘kindermoord’) die altijd als negatief wordt weergegeven over een reeks uitgevers.

Het onderzoek onthult ook soortgelijke kaarten voor ‘hete’ onderwerpen zoals abortus, technologiecensuur, VS-immigratie en wapenbeheersing.

Hobby-paarden

Er zijn bepaalde omstreden politieke neigingen in mediabronnen die niet voorspelbaar zijn in deze manier, zoals het onderwerp van militaire uitgaven. Het artikel vond dat ‘links-georiënteerde’ CNN eindigde naast de rechtse National Review en Fox News op dit onderwerp.

Over het algemeen kan de politieke houding echter worden bepaald door andere frases, zoals de voorkeur voor de frase ‘militair-industrieel complex’ boven de meer rechtse ‘defensie-industrie’. De resultaten laten zien dat het eerste wordt gebruikt door uitgevers die kritisch staan tegenover de gevestigde orde, zoals Canary en American Conservative, terwijl het tweede vaker wordt gebruikt door Fox en CNN.

Het onderzoek stelt verschillende andere progressies vast vanuit establishment-kritische naar pro-establishment-taal, waaronder de reeks van ‘doodgeschoten’ tot de meer passieve ‘de moord’; ‘gevangene-misdadigers’ tot ‘gevangen mensen’; en ‘oliewinning’ tot ‘grote olie’.

Valent synoniemen met establishment-vooroordeel, van boven naar beneden.

Het onderzoek erkent dat uitgevers ‘zullen afwijken’ van hun basispolitieke houding, hetzij op een linguïstiek niveau (zoals het gebruik van bivalente frases), of om verschillende andere motieven. Bijvoorbeeld, de eerbiedwaardige rechtse Britse publicatie The Spectator, opgericht in 1828, bevat vaak en prominent linkse denkstukken die tegen de algemene politieke stroom van zijn inhoudsstromen wrijven. Of dit wordt gedaan uit een gevoel van onpartijdig rapporteren of om zijn kernlezerschap periodiek in verkeer-genererende commentaren te laten ontbranden, is een kwestie van gissing – en geen eenvoudig geval voor een machine learning-systeem dat duidelijke en consistente tokens zoekt.

Deze specifieke ‘hobby-paarden’ en dubbelzinnig gebruik van ‘verontrustende’ standpunten onder individuele nieuwsorganisaties verwarren enigszins de links-rechtskaart die het onderzoek uiteindelijk biedt, hoewel het een bredere indicatie geeft van politieke affiliatie.

Teruggehouden betekenis

Hoewel het artikel dateert van 2 september en eind augustus 2021 is gepubliceerd, heeft het relatief weinig aandacht gekregen. Gedeeltelijk kan dit komen doordat kritisch onderzoek dat is gericht op de mainstream media, onwaarschijnlijk met enthousiasme zal worden ontvangen door de media; maar het kan ook te wijten zijn aan de aarzeling van de auteurs om duidelijke en ondubbelzinnige grafieken te produceren die aangeven waar invloedrijke en krachtige mediapublicaties op verschillende onderwerpen staan, samen met geaggregeerde waarden die aangeven in welke mate een publicatie naar links of rechts leunt. In feite lijken de auteurs pijn te doen om de potentieel ontvlambare uitwerking van de resultaten te dempen.

Bovendien toont de uitgebreide gepubliceerde gegevens van het project frequentietellingen van incidenten van woorden, maar lijkt te zijn geanonimiseerd, waardoor het moeilijk is om een duidelijk beeld te krijgen van media-vooroordeel over de publicaties die zijn bestudeerd. Zonder het project op de een of andere manier te operationaliseren, laat dit alleen de geselecteerde voorbeelden die in het artikel worden gepresenteerd.

Later onderzoek van deze aard zou mogelijk nuttiger zijn als het niet alleen de gebruikte frasen voor onderwerpen zou beschouwen, maar ook of het onderwerp überhaupt werd behandeld, aangezien stilte veel zegt, en een eigen politieke karakter heeft dat vaak meer zegt dan alleen budgettaire beperkingen of andere pragmatische factoren die nieuwsselectie kunnen informeren.

Nonetheless, het MIT-onderzoek lijkt het grootste van zijn soort tot nu toe, en kan het kader vormen voor toekomstige classificatiesystemen, en zelfs secundaire technologieën zoals browserplug-ins die waarschuwende lezers kunnen attenderen op de politieke kleur van de publicatie die ze op dat moment lezen.

Bellen, vooroordeel en terugslag

Bovendien zou het moeten worden overwogen of dergelijke systemen de neiging van algoritmirische aanbevelingssystemen zouden versterken om een kijker in omgevingen te leiden waarin ze nooit een tegenstrijdig of uitdagend standpunt zien, wat waarschijnlijk de houding van de lezer op kernonderwerpen verder zal versterken.

Of een dergelijke inhoudsbubbel een ‘veilige omgeving’ is, een belemmering voor intellectuele groei, of een bescherming tegen gedeeltelijke propaganda, is een waardeoordeel – een filosofische kwestie die moeilijk te benaderen is vanuit het mechanistische, statistische standpunt van machine learning-systemen.

Verder, net zoals het MIT-onderzoek heeft geprobeerd om de gegevens de resultaten te laten definiëren, is de classificatie van de politieke waarde van frases onvermijdelijk ook een soort waardeoordeel, en een die niet gemakkelijk kan weerstaan de mogelijkheid van taal om toxische of omstreden inhoud opnieuw te coderen in nieuwe frases die niet in het handboek, de forumregels of de trainingsdatabase staan.

Als een dergelijke codificatie ingebed zou raken in populaire online systemen, lijkt het waarschijnlijk dat een voortdurende inspanning om de ethische en politieke temperatuur van grote nieuwsuitgevers in kaart te brengen, kan uitgroeien tot een koude oorlog tussen de mogelijkheid van AI om vooroordeel te detecteren en de uitgevers om hun standpunt uit te drukken in een evoluerende idioom dat routinematig de begrip van semantiek van machine learning voorbijgaat.

14/09/21 – 1.41 GMT+2 – Gewijzigd ‘100 kranten’ in ‘100 nieuwsuitgevers’
4:58 pm – Correctie van artikelcitaat om Samantha D’Alonzo op te nemen, en verwante correcties.