En NLP-tilgang til eksageringsdetektion i videnskabsjournalistik

Forskere fra Danmark har udviklet et ‘eksageringsdetektionssystem’ designet til at mindske effekterne af, at journalister overdriver implikationerne af nye videnskabelige forskningsartikler, når de sammenfatter og rapporterer om dem. Arbejdet er blevet udløst af, i hvilken udstrækning nyt publiceret forskning om COVID-19 er blevet forvrænget i rapporteringskanaler, selvom forfatterne indrømmer, at det er anvendeligt på tværs af et bredt spektrum af den generelle videnskabsjournalistiske sektor.

Den artikel, med titlen Semi-Supervised Exaggeration Detection of Health Science Press Releases, kommer fra Københavns Universitet og bemærker, at problemet forværres af, at publikationer ikke inkluderer kildehenvisninger til den originale forskning – en stigende almindelig journalistisk praksis, der forsøger at erstatte den originale artikel og udskifte den genrapporterede sammenfattelse med ‘kildekendskab’ – selv hvor artiklen er offentligt tilgængelig.

Fra artiklen, en typisk manifestation af eksagering af videnskabelige artikler. Kilde: https://arxiv.org/pdf/2108.13493.pdf

Problemstillingen er ikke begrænset til eksterne journalistiske reaktioner på nye artikler, men kan udstrække sig til andre former for sammenfattelse, herunder interne PR-bestræbelser fra universiteter og forskningsinstitutioner; promotionsmateriale rettet mod at tiltrække opmærksomhed fra nyhedsmedier; og de nyttige henvisninger (og potentiel ammunition til finansieringsrunder) der følger, når journalister ‘bidder’.

Arbejdet udnytter Natural Language Processing (NLP) mod en ny dataset af parrede pressemeddelelser og abstracts, og forskerne hævder at have udviklet ‘[en] ny, mere realistisk opgaveformulering’ for detektion af videnskabelig eksagering. Forfatterne har lovet at offentliggøre koden og data for arbejdet på GitHub snart.

At tackle sensationalisme

Et antal studier har behandlet problemstillingen om videnskabelig sensationalisme over de sidste 30 år eller så, og har peget på den misinformationsmulighed, dette kan føre til. Den afdøde amerikanske videnskabssociolog Dorothy Nelkin behandlede problemstillingen bemærkelsesværdigt i bogen fra 1987 Selling Science: How the Press Covers Science and Technology; Embo-rapporten fra 2006 Bad science in the headlines fremhævede behovet for mere videnskabsuddannede journalister, lige som internettet bragte kritiske budgetpres med sig på de traditionelle medier.

Derudover fremhævede den britiske medicinske tidsskrift problemstillingen i en rapport i 2014; og en studie fra Wellcome Open Research i 2019 fastslog, at eksagering af videnskabelige artikler giver ingen fordel (i forhold til rækkevidde eller trafik) for nyhedsmedier og andre rapporteringsystemer, der udøver denne praksis.

Men med pandemicens indtræden er de negative effekter af denne hyperbol blevet bragt i fokus, med en række informationsplatforme, herunder Google-søgeresultatsiden og Cornell University’s Arxiv-indeks over videnskabelige artikler, der nu automatisk tilføjer advarsler til enhver indhold, der synes at beskæftige sig med COVID.

Ændrede interfaces for søgninger og indhold relateret til COVID, fra Google-søgeresultatsiden og fra Cornell University’s inflydelsesrige Arxiv-videnskabelige papirrepository.

Tidligere projekter har forsøgt at oprette eksageringsdetektionssystemer for videnskabelige artikler ved at udnytte NLP, herunder et samarbejde i 2019 mellem forskere fra Hong Kong og Kina, og et andet (uafhængigt) dansk papir i 2017.

Forskerne bag den nye artikel bemærker, at disse tidligere bestræbelser udviklede datasets af påstande fra abstracts og sammenfattelser fra PubMed og EurekAlert, mærket for ‘styrke’, og brugte dem til at træne maskinlæringsmodeller til at forudsige påstandsstyrke i usete data.

MT-PET

Den nye forskning kombinerer i stedet en pressemeddelelse og en abstract som en kombineret dataenhed og udnytter den resulterende dataset i MT-PET, en multi-opgave-kapabel version af Pattern Exploiting Training-forskningen, der først blev præsenteret i 2020 som Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference, et kombineret forskningsforsøg fra to tyske forskningsinstitutioner.

Ingen eksisterende dataset blev fundet at være egnet til opgaven, og teamet curerede derfor en ny dataset af parrede sætninger fra abstracts og relaterede pressemeddelelser, vurderet af ‘eksperter’ i forhold til deres tendens til at eksagerere.

Forskerne brugte few-shot tekstklassifikationsrammen PETAL som en del af en pipeline til automatisk at generere mønster-verbalizer-par, derefter gentagne gange gennem data, indtil omtrent ensartede tupler blev fundet for to kvaliteter: eksageringsdetektion og påstandsstyrke.

‘Den gyldne’ testdata blev genbrugt fra de ovennævnte tidligere forskningsprojekter, bestående af 823 par af abstracts og pressemeddelelser. Forskerne afviste den mulige brug af BMJ-data fra 2014, da det er omskrevet.

Denne proces resulterede i en dataset på 663 abstract/pressemeddelelse-par mærket for eksagering og påstandsstyrke. Forskerne valgte tilfældigt 100 af dem som few-shot-lærings-træningsdata, med 553 eksempler sat til side til test. Derudover blev et lille træningsset oprettet bestående af 1.138 sætninger, klassificeret efter, om de repræsenterer den primære konklusion af sammenfattelsen eller pressemeddelelsen. Disse blev brugt til at identificere ‘konklusions-sætninger’ i umærkede par.

Test

Forskerne testede tilgangen i tre konfigurationer: en fuldt overvåget indstilling med eksklusivt mærket data; en single-task PET-scenario; og på den nye MT-PET, der tilføjer en sekundær formuleringstråd som en hjælpeopgave (da formålet med projektet er at undersøge to separate kvaliteter fra en dataset med parrede datakonstruktioner).

Forskerne fandt, at MT-PET forbedrede grundlæggende PET-resultaterne på tværs af testmiljøer og fandt, at identificering af påstandsstyrke hjalp med at producere soft-mærket træningsdata for eksageringsdetektion. Men artiklen bemærker, at i visse konfigurationer blandt en kompleks række tests, især relateret til påstandsstyrke, kan tilstedeværelsen af professionelt mærket data være en faktor i forbedrede resultater (i forhold til tidligere forskningsprojekter, der behandler dette problem). Dette kunne have implikationer for, i hvilken udstrækning pipeline kan automatiseres, afhængigt af dataemfasen i opgaven.

Alligevel konkluderer forskerne, at MT-PET ‘hjælper med at identificere og differentiere direkte årsagspåstande fra svagere påstande, og at den mest performante tilgang indebærer klassificering og sammenligning af den enkelte påstandsstyrke af udsagn fra kilde- og måldokumenter’.

I afslutning spekulerer arbejdet på, at MT-PET ikke kun kan anvendes på en bredere række af videnskabelige artikler (uden for sundhedssektoren), men også kan danne grundlag for nye værktøjer til at hjælpe journalister med at producere bedre oversigter over videnskabelige artikler (selv om dette måske naivt antager, at journalister eksagerer påstandsstyrke gennem uvidenhed), samt hjælpe forskningssamfundet med at formulerer en klarere brug af sprog til at forklare komplekse ideer. Yderligere bemærker artiklen:

‘[det] skal bemærkes, at de prædictive performancesresultater, der rapporteres i denne artikel, er for pressemeddelelser skrevet af videnskabsjournalister – man kunne forvente dårligere resultater for pressemeddelelser, der stærkt forenkler videnskabelige artikler.’