Een NLP-benadering voor het detecteren van overdrijving in wetenschapsjournalistiek

Onderzoekers uit Denemarken hebben een ‘overdrijvingsdetectiesysteem’ ontwikkeld om de effecten van journalisten die de implicaties van nieuwe wetenschappelijke onderzoeksartikelen overdrijven te mitigeren bij het samenvatten en rapporteren ervan. Het werk is aangemoedigd door de mate waarin nieuw gepubliceerd onderzoek naar COVID-19 in rapportagekanalen is vertekend, hoewel de auteurs toegeven dat het toepasbaar is op een breed spectrum van het algemene wetenschapsjournalistieke domein.

Het artikel, getiteld Semi-Supervised Exaggeration Detection of Health Science Press Releases, komt van de Universiteit van Kopenhagen en merkt op dat het probleem wordt verergerd door de neiging van publicaties om geen bronlinks naar het originele onderzoek op te nemen – een steeds vaker voorkomende journalistieke praktijk die probeert het originele artikel te vervangen en de herschreven samenvatting als ‘bronkennis’ te gebruiken – zelfs als het artikel openbaar toegankelijk is.

Uit het artikel, een typische manifestatie van overdrijving van wetenschappelijke artikelen. Bron: https://arxiv.org/pdf/2108.13493.pdf

Het probleem is niet beperkt tot externe journalistieke reacties op nieuwe artikelen, maar kan zich ook uitstrekken tot andere soorten samenvattingen, waaronder interne PR-inspanningen van universiteiten en onderzoeksinstellingen; promotionele materiaal gericht op het aantrekken van de aandacht van nieuwsmedia; en de nuttige verwijzingslinks (en potentieel munitie voor financieringsrondes) die daarbij horen wanneer journalisten ‘happen’.

Het werk maakt gebruik van Natural Language Processing (NLP) tegen een nieuw dataset van gekoppelde persberichten en abstracts, waarbij de onderzoekers claimen een ‘[nieuwe, realistischere taakformulering]’ voor het detecteren van wetenschappelijke overdrijving te hebben ontwikkeld. De auteurs hebben beloofd de code en gegevens voor het werk op GitHub te publiceren.

Overdrijving tegengaan

Een aantal studies heeft het probleem van wetenschappelijke overdrijving de afgelopen dertig jaar of zo aangepakt en heeft gewezen op de desinformatie die dit kan veroorzaken. De Amerikaanse wetenschappelijke socioloog Dorothy Nelkin heeft dit probleem met name aangepakt in het boek Selling Science: How the Press Covers Science and Technology uit 1987; het Embo-rapport Bad science in the headlines uit 2006 benadrukte de noodzaak van meer wetenschappelijk geschoolde journalisten, net zoals het internet kritische budgettaire druk op de traditionele media uitoefende.

Bovendien heeft het Britse Medische Tijdschrift in 2014 het probleem onder de aandacht gebracht in een rapport; en een studie uit 2019 van Wellcome Open Research heeft zelfs aangetoond dat overdrijving van wetenschappelijke artikelen geen voordeel oplevert (in termen van bereik of verkeer) voor de nieuwsmedia en andere rapportagesystemen die deze praktijk in stand houden.

Hoewel de komst van de pandemie de negatieve effecten van deze hyperbool in een kritisch licht heeft gesteld, met een reeks informatieve platforms, waaronder de Google-zoekresultatenpagina en de Arxiv-index van wetenschappelijke artikelen van Cornell University, die nu automatisch waarschuwingen toevoegen aan alle inhoud die lijkt te gaan over COVID.

Aangepaste interfaces voor zoekopdrachten en inhoud met betrekking tot COVID, van de Google-zoekresultatenpagina en van de invloedrijke Arxiv-wetenschappelijke papierrepository van Cornell University.

Eerder onderzoek heeft geprobeerd om overdrijvingsdetectiesystemen voor wetenschappelijke artikelen te ontwikkelen door NLP te gebruiken, waaronder een samenwerking tussen onderzoekers uit Hong Kong en China in 2019, en een andere (niet-gerelateerde) Deense studie in 2017.

De onderzoekers van het nieuwe artikel merken op dat deze eerdere inspanningen datasets van claims uit abstracts en samenvattingen uit PubMed en EurekAlert hebben ontwikkeld, gelabeld voor ‘sterkte’, en deze hebben gebruikt om machine learning-modellen te trainen om claimsterkte in ongezien data te voorspellen.

MT-PET

Het nieuwe onderzoek combineert een persbericht en abstract als een gecombineerde gegevensentiteit en exploiteert de resulterende dataset in MT-PET, een multi-task-capabele versie van de Pattern Exploiting Training-onderzoek dat voor het eerst is gepresenteerd in 2020 als Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference, een gezamenlijke onderzoeksinspanning van twee Duitse onderzoeksinstellingen.

Er werd geen bestaande dataset gevonden die geschikt was voor de taak, en het team heeft daarom een nieuwe dataset van gekoppelde zinnen uit abstracts en gerelateerde persberichten samengesteld, beoordeeld door ‘experts’ in termen van hun neiging om te overdrijven.

De onderzoekers gebruikten het few-shot text classification-framework PETAL als onderdeel van een pijplijn om automatisch patroon-verbalizer-paren te genereren, vervolgens herhaald door de gegevens totdat ongeveer equivalente tuplets werden gevonden voor twee kwaliteiten: overdrijvingsdetectie en claimsterkte.

De ‘gouden’ gegevens voor testen werden hergebruikt uit de eerder genoemde eerdere onderzoeksprojecten, bestaande uit 823 paren van abstracts en persberichten. De onderzoekers wezen de mogelijke gebruik van de BMJ-gegevens uit 2014 af, omdat deze geparafraseerd zijn.

Deze procedure leverde een dataset op van 663 abstract/release-paren gelabeld voor overdrijving en claimsterkte. De onderzoekers selecteerden willekeurig 100 van deze als few-shot learning-trainingsgegevens, met 553 voorbeelden die waren gereserveerd voor testen. Bovendien werd een kleine trainingsset gemaakt bestaande uit 1.138 zinnen, geclassificeerd als of ze al dan niet de hoofdconclusie van de samenvatting of het persbericht vertegenwoordigen. Deze werden gebruikt om ‘conclusiezinnen’ in ongelabelde paren te identificeren.

Testen

De onderzoekers testten de benadering in drie configuraties: een volledig begeleide instelling met uitsluitend gelabelde gegevens; een enkele taak-PET-scenario; en op de nieuwe MT-PET, die een tweede formuleringsthread als een hulpfunctie toevoegt (aangezien het doel van het project is om twee afzonderlijke kwaliteiten van een dataset met gekoppelde gegevensconstructies te onderzoeken).

De onderzoekers vonden dat MT-PET de basis-PET-resultaten verbeterde in testomgevingen en vonden dat het identificeren van de claimsterkte hielp om soft-gelabelde trainingsgegevens voor overdrijvingsdetectie te produceren. Het artikel merkt echter op dat in bepaalde configuraties binnen een complexe reeks tests, met name met betrekking tot claimsterkte, de aanwezigheid van professioneel gelabelde gegevens een factor kan zijn in verbeterde resultaten (in vergelijking met eerdere onderzoeksprojecten die dit probleem aanpakken). Dit kan implicaties hebben voor de mate waarin de pijplijn geautomatiseerd kan worden, afhankelijk van de gegevensklemtoon van de taak.

Nonetheless, de onderzoekers concluderen dat MT-PET ‘helpt bij de moeilijkere gevallen van het identificeren en onderscheiden van directe causale claims van zwakkere claims, en dat de meest performante benadering bestaat uit het classificeren en vergelijken van de individuele claimsterkte van statements uit de bron- en doeldocumenten’.

Ten slotte speculeert het werk dat MT-PET niet alleen kan worden toegepast op een bredere reeks wetenschappelijke artikelen (buiten de gezondheidssector), maar ook de basis kan vormen voor nieuwe instrumenten om journalisten te helpen betere overzichten van wetenschappelijke artikelen te produceren (hoewel dit, misschien naïef, ervan uitgaat dat journalisten claimsterkte overdrijven door onwetendheid), evenals het ondersteunen van de onderzoekscommunity bij het formuleren van een duidelijker gebruik van taal om complexe ideeën uit te leggen. Verder merkt het artikel op:

‘[het] moet worden opgemerkt dat de voorspellende prestatieresultaten die in dit artikel worden gerapporteerd, zijn voor persberichten geschreven door wetenschapsjournalisten – men kan verwachten dat de resultaten slechter zijn voor persberichten die wetenschappelijke artikelen sterker vereenvoudigen.’