En NLP-ansats för upptäckt av överdrift i vetenskapsjournalistik

Forskare från Danmark har utvecklat ett system för “upptäckt av överdrift” som syftar till att mildra effekterna av journalister som överdriver implikationerna av nya vetenskapsliga forskningsartiklar när de sammanfattar och rapporterar om dem. Arbetet har initierats av den omfattning i vilken ny publicerad forskning om COVID-19 har förvanskats i rapporteringskanaler, även om författarna medger att det är tillämpligt på en bred del av den allmänna vetenskapsjournalistiska sektorn.

Den artikeln, med titeln Semi-Supervised Exaggeration Detection of Health Science Press Releases, kommer från Köpenhamns universitet och påpekar att problemet förvärras av benägenheten hos publikationer att inte inkludera källlänkar till den ursprungliga forskningen – en alltmer vanlig journalistisk praxis som försöker ersätta den ursprungliga artikeln och ersätta den omrapporterade sammanfattningen som “källkunskap” – även om artikeln är offentligt tillgänglig.

Från artikeln, en typisk manifestation av överdrift av vetenskapsartiklar. Källa: https://arxiv.org/pdf/2108.13493.pdf

Problemet är inte begränsat till externa journalistiska reaktioner på nya artiklar, utan kan även utvidgas till andra typer av sammanfattningar, inklusive interna PR-insatser från universitet och forskningsinstitut; marknadsföringsmaterial som syftar till att väcka nyhetsmediernas uppmärksamhet; och de användbara referenslänkarna (och potentiella argument för finansieringsrundor) som följer när journalister “nappar”.

Arbetet utnyttjar Natural Language Processing (NLP) mot en ny dataset av parade pressmeddelanden och sammanfattningar, med forskarna som hävdar att de har utvecklat “[en] ny, mer realistisk uppgiftsformulering” för upptäckt av vetenskapslig överdrift. Författarna har lovat att publicera koden och data för arbetet på GitHub snart.

Att tackla sensationism

Flera studier har behandlat problemet med vetenskapslig sensationism under de senaste trettio åren och har riktat uppmärksamheten mot den desinformation som detta kan leda till. Den avlidne amerikanska vetenskapssociologen Dorothy Nelkin behandlade frågan på ett betydande sätt i boken Selling Science: How the Press Covers Science and Technology från 1987; Embo-rapporten Bad science in the headlines från 2006 betonade behovet av fler vetenskapsutbildade journalister, precis som internet började medföra kritiska budgettryck på traditionella medier.

Dessutom behandlade den brittiska medicinska tidskriften problemet i en rapport från 2014; och en studie från Wellcome Open Research från 2019 fastställde att överdrift av vetenskapsartiklar inte medför någon fördel (i termer av räckvidd eller trafik) för nyhetsmedierna och andra rapporteringssystem som utövar denna praxis.

Men pandemins utbrott har bringat de negativa effekterna av denna överdrift i fokus, med en rad informationsplattformar, inklusive Googles sökresultatsida och Cornells universitets Arxiv-index av vetenskapsartiklar, som nu automatiskt lägger till varningar till allt innehåll som verkar behandla COVID.

Ändrade gränssnitt för sökningar och innehåll relaterat till COVID, från Googles sökresultatsida och från Cornells universitets inflytelserika Arxiv-vetenskapsartikelsamling.

Tidigare projekt har försökt skapa system för upptäckt av överdrift i vetenskapsartiklar genom att utnyttja NLP, inklusive ett samarbete mellan forskare från Hongkong och Kina, och ett annat (orelaterat) danskt arbete från 2017.

Forskarna bakom den nya artikeln påpekar att dessa tidigare insatser utvecklade dataset av påståenden från sammanfattningar och abstract från PubMed och EurekAlert, märkta för “styrka”, och använde dem för att träna maskinlärningsmodeller för att förutsäga påståendestyrka i osynliga data.

MT-PET

Den nya forskningen kombinerar istället ett pressmeddelande och en sammanfattning som en kombinerad dataentitet och utnyttjar den resulterande dataseten i MT-PET, en multiuppgiftskapabel version av Pattern Exploiting Training-forskningen som först presenterades 2020 som Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference, ett kombinerat forskningsarbete från två tyska forskningsinstitut.

Ingen befintlig dataset ansågs lämplig för uppgiften, och teamet curatorade därför en ny dataset av parade meningar från sammanfattningar och relaterade pressmeddelanden, bedömda av “experter” i termer av deras tendens att överdriva.

Forskarna använde few-shot text classification-ramverket PETAL som en del av en pipeline för att automatiskt generera mönster-verbaliseringspar, och upprepade sedan iterationen genom data tills ungefär ekvivalenta tuppler hittades för två kvaliteter: överdriftsdetektering och påståendestyrka.

‘Gulddata’ för testning återanvändes från de ovannämnda tidigare forskningsprojekten, bestående av 823 par av sammanfattningar och pressmeddelanden. Forskarna avvisade möjlig användning av 2014 års BMJ-data, eftersom det är parafraserat.

Denna process resulterade i en dataset av 663 sammanfattning/utgivningspar märkta för överdrift och påståendestyrka. Forskarna slumpmässigt valde 100 av dem som few-shot-lärandeträningsdata, med 553 exempel avsatta för testning. Dessutom skapades en liten träningsuppsättning bestående av 1 138 meningar, klassificerade efter om de representerar den huvudsakliga slutsatsen av sammanfattningen eller pressmeddelandet. Dessa användes för att identifiera ‘slutsatsmeningar’ i omarkerade par.

Testning

Forskarna testade ansatsen i tre konfigurationer: ett fullt övervakat scenario med uteslutande märkt data; ett enkelt PET-scenario; och på den nya MT-PET, som lägger till en sekundär formuleringstråd som en hjälpuppgift (eftersom projektets mål är att undersöka två separata kvaliteter från en dataset med parade datakonstruktioner).

Forskarna fann att MT-PET förbättrade de grundläggande PET-resultaten över testmiljöer och fann att identifiering av påståendestyrka hjälpte till att producera mjukmärkt träningsdata för överdriftsdetektering. Men artikeln påpekar att i vissa konfigurationer bland en komplex uppsättning tester, särskilt relaterade till påståendestyrka, närvaron av professionellt märkt data kan vara en faktor i förbättrade resultat (jämfört med tidigare forskningsprojekt som behandlar detta problem). Detta kan ha implikationer för den utsträckning i vilken pipelinen kan automatiseras, beroende på dataemfasen i uppgiften.

Ändå drar forskarna slutsatsen att MT-PET ‘hjälper till att identifiera och differentiera direkt orsakssamband från svagare påståenden, och att den mest presterande ansatsen innefattar klassificering och jämförelse av den enskilda påståendestyrkan i uttalanden från käll- och måldokument’.

Till sist spekulerar arbetet om att MT-PET inte bara kan tillämpas på en bredare omfattning av vetenskapsartiklar (utanför hälsosektorn), utan också kan utgöra grunden för nya verktyg för att hjälpa journalister producera bättre översikter av vetenskapsartiklar (även om detta, kanske naivt, antar att journalister överdriver påståendestyrka genom okunskap), samt underlätta för forskarsamhället att formulera en tydligare användning av språk för att förklara komplexa idéer. Dessutom påpekar artikeln:

‘[det] bör noteras att de prediktiva prestandaresultat som rapporteras i denna artikel är för pressmeddelanden skrivna av vetenskapsjournalister – man kan förvänta sig sämre resultat för pressmeddelanden som mer kraftigt förenklar vetenskapsartiklar.’