En NLP-tilnærming til å oppdage overdrivelse i vitenskapsjournalistikk

Forskere fra Danmark har utviklet et system for å oppdage overdrivelse som er designet for å mildne effektene av at journalister overdriver implikasjonene av nye vitenskapslige forskningsrapporter når de summerer og rapporterer om dem. Arbeidet har blitt fremmet av omfanget av ny publisert forskning om COVID-19 som har blitt forvrengt i rapporteringskanaler, selv om forfatterne innrømmer at det er anvendbart på et bredt område av den generelle vitenskapsjournalistiske sektoren.

Den rapporten, med tittelen Semi-Supervised Exaggeration Detection of Health Science Press Releases, kommer fra Københavns Universitet, og påpeker at problemet forverres av tendensen hos publikasjoner til ikke å inkludere kilde-lenker til den opprinnelige forskningen – en stadig mer vanlig journalistisk praksis som forsøker å erstatte den opprinnelige rapporten og substituere den gjenrapporterte summeringen som ‘kildekunnskap’ – selv der hvor rapporten er offentlig tilgjengelig.

Fra rapporten, en typisk manifestasjon av overdrivelse av vitenskapslige papirer. Kilde: https://arxiv.org/pdf/2108.13493.pdf

Problemene er ikke begrenset til eksterne journalistiske reaksjoner på nye rapporter, men kan også omfatte andre typer summeringer, inkludert interne PR-tiltak fra universiteter og forskningsinstitusjoner; promoveringsmateriell rettet mot å tiltrekke seg oppmerksomheten til nyhetskanaler; og de nyttige henvisningslenkene (og potensielle ammunisjon for finansieringsrunder) som følger når journalister ‘biter’.

Arbeidet utnytter Natural Language Processing (NLP) mot en nytt datasett av parrede pressemeldinger og abstrakter, med forskerne som hevder å ha utviklet ‘[en] ny, mer realistisk oppgaveformulering’ for å oppdage vitenskapslig overdrivelse. Forfatterne har lovet å publisere koden og dataene for arbeidet på GitHub snart.

Å takle sensasjonalisme

En rekke studier har behandlet problemet med vitenskapslig sensasjonalisme over de siste tretti årene, og har trukket oppmerksomheten til den desinformasjonen som dette kan føre til. Den avdøde amerikanske vitenskaps-sosiologen Dorothy Nelkin behandlet spørsmålet påfallende i boken Selling Science: How the Press Covers Science and Technology fra 1987; den Embo-rapporten fra 2006 Bad science in the headlines understreket behovet for mer vitenskapelig trente journalister, likevel som internettet var med på å bringe kritiske budsjetttrykk på de tradisjonelle mediene.

I tillegg, i 2014, tok British Medical Journal problemet i fokus i en rapport; og en studie fra Wellcome Open Research fra 2019 etablerte at overdrivelse av vitenskapslige papirer gir ingen fordel (i form av rekkevidde eller trafikk) til nyhetskanalene og andre rapporterings-systemer som driver denne praksisen.

Likevel, har pandemien ført de negative effektene av denne hyperbolen inn i kritisk fokus, med en rekke informasjonsplattformer, inkludert Google-søkeresultatsiden og Cornell Universitys Arxiv-indeks av vitenskapslige papirer, nå automatisk legger til advarsler til alle innhold som ser ut til å omhandle COVID.

Endrede grensesnitt for søk og innhold relatert til COVID, fra Google-søkeresultatsiden og fra Cornell Universitys innflytelsesrike Arxiv-vitenskapslige papir-repository.

Tidligere prosjekter har forsøkt å lage overdrivelsesdetekteringssystemer for vitenskapslige papirer ved å utnytte NLP, inkludert et samarbeid mellom forskere fra Hongkong og Kina i 2019, og et annet (uavhengig) dansk papir i 2017.

Forskere i den nye rapporten påpeker at disse tidligere forsøkene utviklet datasett av påstander fra abstrakter og summeringer fra PubMed og EurekAlert, merket for ‘styrke’, og brukte dem til å trene maskinlæringsmodeller til å forutsi påstandsstyrke i usette data.

MT-PET

Den nye forskningen kombinerer en pressemelding og en abstrakt som en kombineret dataenhet, og utnytter det resulterende datasett i MT-PET, en multi-oppgave-kapabel versjon av Pattern Exploiting Training-forskningen som først ble presentert i 2020 som Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference, et kombineret forskningsarbeid fra to tyske forskningsinstitusjoner.

Ingen eksisterende datasett ble funnet å være egnet for oppgaven, og teamet curerte derfor et nytt datasett av parrede setninger fra abstrakter og relaterte pressemeldinger, vurderert av ‘eksperter’ i forhold til deres tendens til å overdrive.

Forskere brukte few-shot tekst-klassifiseringsrammeverket PETAL som en del av en pipeline til å automatisk generere mønster-verbaliser-par, deretter re-itererte gjennom dataene til omtrent likeverdige tupler ble funnet for to kvaliteter: overdrivelsesdeteksjon og påstandsstyrke.

‘Gull’-dataene for testing ble gjenbrukt fra de ovennevnte tidligere forskningsprosjektene, bestående av 823 par av abstrakter og pressemeldinger. Forskerne avviste muligheten for å bruke 2014 BMJ-dataene, siden de er parafrasert.

Dette prosessen resulterte i et datasett på 663 abstrakt/pressemeldingspar merket for overdrivelse og påstandsstyrke. Forskerne valgte tilfeldig 100 av dem som few-shot læringstreningdata, med 553 eksempler satt av til side for testing. I tillegg ble et lite treningssett opprettet bestående av 1 138 setninger, klassifisert som om de representerer hovedkonklusjonen av summeringen eller pressemeldingen. Disse ble brukt til å identifisere ‘konklusjonssentenser’ i uparrede par.

Testing

Forskere testet tilnærmingen i tre konfigurasjoner: en fullt overvåket innstilling med eksklusivt merket data; en enkelt-oppgave PET-scenario; og på den nye MT-PET, som legger til en sekundær formuleringstråd som en hjelpeoppgave (siden målet med prosjektet er å undersøke to separate kvaliteter fra et datasett med parrede datakonstruksjoner).

Forskere fant at MT-PET forbedret resultatene fra basis-PET i alle testmiljøer, og fant at å identifisere påstandsstyrken hjalp til å produsere soft-merkede treningdata for overdrivelsesdeteksjon. Likevel, rapporten påpeker at i visse konfigurasjoner blant et komplekst sett av tester, spesielt relatert til påstandsstyrke, tilstedeværelsen av profesjonelt merket data kan være en faktor i forbedrede resultater (i forhold til tidligere forskningsprosjekter som behandler dette problemet). Dette kan ha implikasjoner for omfanget av hvilken pipeline kan automatiseres, avhengig av data-vektingen av oppgaven.

Likevel, forskerne konkluderer at MT-PET ‘hjelper i de mer vanskelige tilfellene av å identifisere og differensiere direkte årsaks-påstander fra svakere påstander, og at den mest performante tilnærmingen innebærer å klassifisere og sammenligne den enkelte påstandsstyrken av utsagn fra kilde- og måldokumenter’.

Til slutt, spekulerer arbeidet på at MT-PET ikke bare kan bli brukt på et bredere område av vitenskapslige papirer (utenfor helse-sektoren), men også kan danne grunnlaget for nye verktøy for å hjelpe journalister med å produsere bedre oversikter av vitenskapslige papirer (selv om dette, kanskje naivt, antar at journalister overdriver påstandsstyrke gjennom uvitenhet), samt å hjelpe forsknings-samfunnet med å formulere en klarere bruk av språk for å forklare komplekse ideer. Videre, rapporten påpeker:

‘[det] bør bemerkes at de prediktive ytelsesresultatene som rapporteres i denne rapporten er for pressemeldinger skrevet av vitenskapsjournalister – en kunne forvente dårligere resultater for pressemeldinger som mer sterkt forenkler vitenskapslige artikler.’