MIT: Måling av mediabias i større nyhetskanaler med maskinlæring

En studie fra MIT har brukt maskinlæringsteknikker til å identifisere partiske uttrykk over rundt 100 av de største og mest innflytelsesrike nyhetskanalene i USA og ellers, inkludert 83 av de mest innflytelsesrike trykte nyhetspublikasjoner. Dette er et forskningsarbeid som viser veien mot automatiserte systemer som potensielt kan auto-klassifisere den politiske karakteren til en publikasjon, og gi lesere en dypere innsikt i den etiske holdningen til en kanal på temaer de kan føle sterkt om.

Arbeidet handler om hvordan temaer behandles med bestemte uttrykk, som uvedkommende innvandrer | ulovlig innvandrer, foster | ufødt barn, demonstranter | anarkister.

Prosjektet brukte Natural Language Processing (NLP)-teknikker til å trekke ut og klassifisere slike eksempler på ‘ladede’ uttrykk (under antagelse om at tilsynelatende mer ‘nøytrale’ termer også representerer en politisk holdning) inn i en bred kartlegging som avslører venstre- og høyre-orientert bias over mer enn tre millioner artikler fra rundt 100 nyhetskanaler, resulterende i en navigerbar bias-landskap av publikasjonene i question.

Papiret kommer fra Samantha D’Alonzo og Max Tegmark ved MITs fysikkavdeling, og observerer at flere nylige initiativer rundt ‘fakta-sjekking’, i kjølvannet av tallrike ‘falske nyheter’-skandaler, kan tolkes som uærlige og som tjener bestemte interesser. Prosjektet er ment å gi en mer data-drevet tilnærming til å studere bruken av bias og ‘påvirkningsspråk’ i en supposert nøytral nyhetskontekst.

Et spekter av (bokstavelig talt) venstre-til-høyre-uttrykk, som er avledet fra studien. Kilde: https://arxiv.org/pdf/2109.00024.pdf

NLP-behandling

Kilde-dataene fra studien ble hentet fra den åpne kilde Newspaper3K-databasen, og bestod av 3 078 624 artikler hentet fra 100 medienyhetskilder, inkludert 83 aviser. Avisene ble valgt ut ifra deres rekkevidde, mens nettmedier også inkluderte artikler fra det militære nyhetsanalyse-nettstedet Defense One og Science.

Kildene som ble brukt i studien.

Papiret rapporterer at den lastede teksten ble ‘minimally’ forbehandlet. Direkte sitater ble eliminert, ettersom studien er interessert i språket valgt av journalister (selv om sitatvalg i seg selv er en interessant studiefelt).

Britiske stavinger ble endret til amerikanske for å standardisere databasen, alle punktum fjernet, og alle unntatt ordinaltall også fjernet. Initial setning store bokstaver ble konvertert til små bokstaver, men alle andre store bokstaver beholdt.

De første 100 000 mest vanlige uttrykkene ble identifisert, og til slutt rangert, renset og slått sammen i en uttrykkliste. All redundant språk som kunne identifiseres (som ‘Del denne artikkelen’ og ‘artikkel gjenpublisert’) ble likvidert. Variasjoner over i hovedsak like uttrykk (dvs. ‘stor teknologi’ og ‘Stor Teknologi’, ‘cybersikkerhet’ og ‘cyber sikkerhet’) ble standardisert.

‘Nøtteplukking’

Den første testen var på temaet ‘Black lives matter’, og kunne skjelne uttrykk-bias og valent synonymer over data.

Generaliserte prinsipkomponenter for artikler om Black Lives Matter (BLM). Vi ser mennesker som deltar i sivil handling karakterisert, både bokstavelig og figurativt, fra venstre til høyre, som demonstranter, anarkister og, på den høyre ende av spekteret, som ‘opløser’. Avisene som opprinnelig uttrykket er representert i høyre panel.

Mens ‘protestere’ går over fra ‘anarkister’ til ‘opløsere’ når vi skyver langs den politiske holdningen til kanalen i question, merker papiret at NLP-uttrekk og analyseholdningen hindres av praksisen med ‘nøtteplukking’ – hvor en mediekanal vil sitere en frase som er gyldig for en annen politisk del av samfunnet, og kan (apparat) stole på at dens leserskare vil se frasen negativt. Papiret sitater ‘defund the police’ som et eksempel på dette.

Naturligvis betyr dette at en ‘venstre-orientert’ frase dukker opp i en ellers høyre-orientert kontekst, og representerer en usædvanlig utfordring for et NLP-system som avhenger av kodifiserte fraser for å fungere som indikatorer for politiske holdninger.

Slike fraser er ‘bi-valente’ [SIC], mens visse andre fraser har en så universelt negativ konnotasjon (dvs. ‘infanticide’) at de alltid representeres som negative over en rekke kanaler.

Forskningen avslører også lignende kartlegginger for ‘varme’ temaer som abort, teknologiensensur, USAs innvandring og våpenkontroll.

Hobbyhest

Det finnes visse kontroversielle politiske holdninger i mediekanaler som ikke deler seg forutsigbart på denne måten, som temaet militærutgifter. Papiret fant at ‘venstre-orientert’ CNN endte opp ved siden av høyre-orientert National Review og Fox News på dette temaet.

I allminnelhet, imidlertid, kan politisk holdning bestemmes av andre fraser, som å foretrekke frasen ‘militær-industriell kompleks’ over den mer høyre-orienterte ‘forsvarsindustrien’. Resultatene viser at den førstnevnte brukes av etablissements-kritiske kanaler som Canary og American Conservative, mens den sistnevnte brukes oftere av Fox og CNN.

Forskningen etablerer flere andre fremgangsmåter fra etablissements-kritisk til pro-etablissements språk, inkludert skalaen fra ‘skutt og drept’ til den mer passive ‘drapet’; ‘fengslede forbrytere’ til ‘innfengte mennesker’; og ‘oljeprodusenter’ til ‘stor olje’.

Valent synonymer med etablissements-bias, topp til bunn.

Forskningen erkjenner at kanaler vil ‘svinge bort’ fra deres basis-politiske holdning, enten på et språklig nivå (som bruken av bi-valente fraser), eller for ulike andre motiver. For eksempel, den venerable høyre-orienterte britiske publikasjonen The Spectator, etablert i 1828, presenterer ofte og fremtredende venstre-orientert tanker som gnager mot den generelle politiske strømmen av innholdet. Hvorvidt dette gjøres av en følelse av upartisk rapportering eller for å periodevis å inflamme dens kjernelesere til trafikk-genererende kommentar-stormer, er en sak for spekulasjon – og ikke en enkel sak for et maskinlæringssystem som søker etter klare og konsistente token.

Disse spesielle ‘hobbyhestene’ og tvetydige bruken av ‘jarring’ synspunkter blant enkelte nyhetsorganisasjoner forvirrer litt den venstre-høyre-kartleggingen som forskningen til slutt tilbyr, selv om den gir en bred indikasjon av politisk tilknytning.

Undertrykt betydning

Selv om den er datert 2. september og publisert ved slutten av august 2021, har papiret fått relativt liten oppmerksomhet. Delvis kan dette være fordi kritisk forskning rettet mot hovedstrømsmedier er usannsynlig å bli entusiastisk mottatt av dem; men det kan også være på grunn av forfatternes motvilje mot å produsere klare og ubestemte grafiske fremstillinger som stratifiserer hvor innflytelsesrike og mektige mediepublikasjoner står på ulike temaer, sammen med aggregerte verdier som indikerer hvor mye en publikasjon heller mot venstre eller høyre. I virkeligheten synes forfatterne å ta seg tid til å dempe den potensielle brannende effekten av resultater.

Liksom viser den omfattende publiserte data fra prosjektet frekvens-tellinger av hendelser av ord, men synes å være anonymisert, noe som gjør det vanskelig å få et klart bilde av mediebias over publikasjonene som ble studert. Uten å operationalisere prosjektet på noen måte, etterlater dette bare de valgte eksemplene presentert i papiret.

Senere studier av denne typen ville kanskje være mer nyttige hvis de også tok i betraktning ikke bare uttrykkene som brukes for temaer, men også om temaet ble dekket i det hele tatt, ettersom stilhet taler volumer, og har i seg selv en distinkt politisk karakter som ofte taler til mer enn bare budsjettbegrensninger eller andre pragmatiske faktorer som kan informere nyhetsvalg.

Likevel synes MIT-studien å være den største av sin type til dags dato, og kunne danne rammen for fremtidige klassifiseringssystemer, og selv sekundære teknologier som nettleser-utvidelser som kunne varsle vanlige lesere om den politiske fargen til publikasjonen de nå leser.

Boble, bias og motreaksjon

I tillegg må det vurdere om slike systemer ville forsterke en av de mest kontroversielle aspektene ved algoritme-basert anbefalingssystemer – tendensen til å lede en seer inn i miljøer hvor de aldri ser en motsatt eller utfordrende synspunkt, noe som sannsynligvis ville forsterke lesers holdning til kjerne-temaer.

Om slike en innhold-boble er et ‘trygt miljø’, et hinder for intellektuell vekst, eller en beskyttelse mot delvis propaganda, er en verdi-dømmelse – en filosofisk sak som er vanskelig å nærme seg fra den mekaniske, statistiske standpunktet til maskinlæringssystemer.

Videre, like mye som MIT-studien har tatt seg tid til å la dataene definere resultater, er klassifiseringen av den politiske verdien av fraser uunngåelig også en type verdi-dømmelse, og en som ikke lett kan motstå evnen til å rekodifisere giftig eller kontroversielt innhold til nye fraser som ikke er i håndboken, forumreglene eller treningsdatabasen.

Hvis en slik kodifisering skulle bli innbygd i populære nett-systemer, synes det sannsynlig at en pågående innsats for å kartlegge den etiske og politiske temperaturen til større nyhetskanaler kunne utvikle seg til en kald krig mellom AI sin evne til å skjelne bias og utgivernes evne til å uttrykke sin holdning i en utviklende idiom designet til å jevnt overgå maskinlæringens forståelse av semantikk.

14/09/21 – 1.41 GMT+2 – Endret ‘100 aviser’ til ‘100 nyhetskanaler’
4:58pm – Rettet papir-citater til å inkludere Samantha D’Alonzo, og relaterte korreksjoner.