En NLP-tilgang til opdaging af overdrivelse i videnskabsjournalistik

Forskere fra Danmark har udviklet et ‘overdrivelsesdetektionssystem’ designet til at mindske effekterne af, at journalister overdriver betydningen af nye videnskabelige forskningsartikler, når de sammenfatter og rapporterer om dem. Arbejdet er blevet fremmet af, i hvilken udstrækning ny offentliggjort forskning om COVID-19 er blevet forvrænget i rapporteringskanaler, selvom forfatterne indrømmer, at det er anvendeligt på et bredt område af den generelle videnskabsrapporteringssektor.

Den artikel, med titlen Semi-Supervised Exaggeration Detection of Health Science Press Releases, kommer fra Københavns Universitet og påpeger, at problemet forværres af, at publikationer ikke inkluderer kildehenvisninger til den oprindelige forskning – en stadig mere almindelig journalistisk praksis, der forsøger at erstatte den oprindelige artikel og udgive den genrapporterede sammenfatning som ‘kildekendskab’ – selv hvor artiklen er offentligt tilgængelig.

Fra artiklen, en typisk manifestation af overdrivelse af videnskabelige artikler. Kilde: https://arxiv.org/pdf/2108.13493.pdf

Problemets omfang er ikke begrænset til eksterne journalistiske reaktioner på nye artikler, men kan også omfatte andre former for sammenfatninger, herunder interne PR-bestræbelser fra universiteter og forskningsinstitutioner; promoveringsmateriale rettet mod at tiltrække opmærksomhed fra nyhedsmedier; og de nyttige henvisninger (og potentielle ammunition til finansieringsrunder) der følger med, når journalister ‘bidder’.

Arbejdet udnytter Natural Language Processing (NLP) mod en ny dataset af parrede pressemeddelelser og abstracts, og forskerne hævder at have udviklet ‘[en] ny, mere realistisk opgaveformulering’ for opdaging af videnskabelig overdrivelse. Forfatterne har lovet at offentliggøre koden og data for arbejdet på GitHub snart.

At tackle sensationalisme

Et antal studier har behandlet problemet med videnskabelig sensationalisme i de sidste 30 år eller så, og har påpeget den misinformationsproblematik, det kan føre til. Den afdøde amerikanske videnskabsociolog Dorothy Nelkin behandlede spørgsmålet bemærkelsesværdigt i bogen Selling Science: How the Press Covers Science and Technology fra 1987; Embo-rapporten Bad science in the headlines fra 2006 fremhævede behovet for mere videnskabsuddannede journalister, lige som internettet var ved at bringe kritiske budgetmæssige presser på de traditionelle medier.

Derudover har den britiske medicinske tidsskrift i 2014 bragt problemet i fokus i en rapport; og en studie fra Wellcome Open Research fra 2019 fastslog, at overdrivelse af videnskabelige artikler giver ingen fordel (i form af rækkevidde eller trafik) til nyhedsmedier og andre rapporteringsystemer, der praktiserer denne praksis.

Men med pandemiens indtræden er de negative effekter af denne hyperbol blevet bragt i fokus, med en række informationsplatforme, herunder Google-søgeresultatsiden og Cornell Universitys Arxiv-indeks over videnskabelige artikler, der nu automatisk tilføjer advarsler til enhver indhold, der synes at beskæftige sig med COVID.

Ændrede grænseflader for søgninger og indhold relateret til COVID, fra Google-søgeresultatsiden og fra Cornell Universitys indflydelsesrige Arxiv videnskabelige papirrepository.

Tidligere projekter har forsøgt at opbygge overdrivelsesdetektionssystemer for videnskabelige artikler ved at udnytte NLP, herunder et samarbejde fra 2019 mellem forskere fra Hong Kong og Kina, og et andet (uafhængigt) dansk papir fra 2017.

Forskere bag den nye artikel påpeger, at disse tidligere bestræbelser udviklede datasets af påstande fra abstracts og sammenfatninger fra PubMed og EurekAlert, mærket med ‘styrke’, og brugte dem til at træne maskinlæringsmodeller til at forudsige påstandsstyrke i usete data.

MT-PET

Den nye forskning kombinerer i stedet en pressemeddelelse og et abstract som en kombineret dataentitet og udnytter herefter datasettet i MT-PET, en multi-task-kapabel version af Pattern Exploiting Training-forskningen, der først blev præsenteret i 2020 som Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference, et kombineret forskningsforsøg fra to tyske forskningsinstitutioner.

Ingen eksisterende dataset blev fundet at være egnet til opgaven, og holdet curerede derfor en ny dataset af parrede sætninger fra abstracts og relaterede pressemeddelelser, vurderet af ‘eksperter’ i forhold til deres tendens til at overdrive.

Forskere brugte few-shot text classification-rammen PETAL som en del af en pipeline til automatisk at generere mønster-verbaliser-par, og herefter gentog de processen gennem data, indtil omtrent ligeværdige tupler blev fundet for to kvaliteter: overdrivelsesdetektion og påstandsstyrke.

‘Guld’-data til testformål blev genbrugt fra de ovennævnte tidligere forskningsprojekter, bestående af 823 par af abstracts og pressemeddelelser. Forskerne afviste muligheden for at bruge BMJ-data fra 2014, da det er omskrevet.

Denne proces resulterede i en dataset på 663 abstract/pressemeddelelse-par mærket med overdrivelse og påstandsstyrke. Forskerne valgte tilfældigt 100 af dem som few-shot learning-træningsdata, med 553 eksempler sat til side til testformål. Derudover blev et lille træningsset oprettet, bestående af 1.138 sætninger, klassificeret efter, om de repræsenterer den primære konklusion af sammenfatningen eller pressemeddelelsen. Disse blev brugt til at identificere ‘konklusions-sætninger’ i umærkede par.

Test

Forskere testede tilgangen i tre konfigurationer: en fuldt overvåget indstilling med eksklusivt mærket data; en single-task PET-scenario; og på den nye MT-PET, der tilføjer en sekundær formulerings-tråd som en hjælpeopgave (da projektets formål er at undersøge to separate kvaliteter fra en dataset med parrede datakonstruktioner).

Forskere fandt, at MT-PET forbedrede grundlæggende PET-resultaterne på tværs af testmiljøer, og fandt, at identificering af påstandsstyrke hjalp med at producere blødt mærket træningsdata til overdrivelsesdetektion. Men artiklen påpeger, at i visse konfigurationer blandt en kompleks række tests, især relateret til påstandsstyrke, kan tilstedeværelsen af professionelt mærket data være en faktor i forbedrede resultater (i forhold til tidligere forskningsprojekter, der behandler dette problem). Dette kunne have implikationer for, i hvilken udstrækning pipeline kan automatiseres, afhængigt af dataemfasen i opgaven.

Ikke desto mindre konkluderer forskerne, at MT-PET ‘hjælper med at identificere og differentiere direkte kausale påstande fra svagere påstande, og at den mest performante tilgang indebærer at klassificere og sammenligne den enkelte påstandsstyrke af udsagn fra kilde- og måldokumenter’.

Til sidst spekulerer arbejdet på, at MT-PET ikke kun kan anvendes på et bredere udvalg af videnskabelige artikler (uden for sundhedssektoren), men også kan danne grundlag for nye værktøjer til at hjælpe journalister med at producere bedre oversigter over videnskabelige artikler (selv om dette måske naivt antager, at journalister overdriver påstandsstyrke gennem uvidenhed), samt hjælpe forskningssamfundet med at formulerer en klarere brug af sprog til at forklare komplekse ideer. Yderligere påpeger artiklen, at:

‘[det] skal bemærkes, at de prædiktive performancesresultater, der rapporteres i denne artikel, er for pressemeddelelser skrevet af videnskabsjournalister – man kunne forvente dårligere resultater for pressemeddelelser, der stærkere forenkler videnskabelige artikler.’