NLP-lähestymistapa korostusten havaitsemiseen tieteellisessä journalismissa

Tanskalaiset tutkijat ovat kehittäneet “korostusten havaitsemisjärjestelmän”, jonka tarkoituksena on lieventää vaikutuksia, joita journalistit aiheuttavat korostamalla uuden tieteellisen tutkimuksen vaikutuksia yhteenvedossa ja raportoinnissa. Työ on kiihdytetty siitä, miten uusi julkaistu COVID-19-tutkimus on vääristynyt raportointikanavissa, vaikka kirjoittajat myöntävät, että se on sovellettavissa laajaan tieteelliseen raportointialaan.

Tutkimus, jonka otsikko on Semi-Supervised Exaggeration Detection of Health Science Press Releases, on peräisin Kööpenhaminan yliopistosta, ja siinä todetaan, että ongelmaa pahentaa julkaisujen tapa jättää alkuperäisen tutkimuksen lähdeviittaukset pois – yhä yleisemmäksi tullut journalistinen käytäntö, jossa yritetään korvata alkuperäinen tutkimus ja korvata uudelleen raportoitu yhteenveto “lähde-tietona” – jopa silloin, kun tutkimus on julkinen.

Tutkimuksesta, tyypillinen ilmentymä tieteellisten papereiden korostamisesta. Lähde: https://arxiv.org/pdf/2108.13493.pdf

Ongelma ei rajoitu ulkoisiin journalistisiin reaktioihin uusiin tutkimuksiin, vaan se voi ulottua muihin yhteenvedon tyyppeihin, mukaan lukien yliopistojen ja tutkimuslaitosten sisäiset PR-pyrimykset; mainosmateriaali, jolla pyritään houkuttelemaan uutiskanavien huomiota; ja hyödylliset viittauslinkit (ja mahdollinen aineisto rahoituskierroksille), kun journalistit “purkavat” ne.

Tutkimus hyödyntää luonnollisen kielen prosessointia (NLP) uutta tietokantaa, joka koostuu lehdistötiedotteista ja yhteenvedoista, ja tutkijat väittävät kehittäneensä “[uuden, realistisemman tehtävänmuodon]” tieteellisen korostamisen havaitsemiseksi. Kirjoittajat ovat luvanneet julkaista koodin ja tutkimuksen GitHubissa pian.

Sensationalismin torjunta

Useat tutkimukset ovat käsitelleet tieteellisen sensatsionismin ongelmaa viimeisen kolmenkymmenen vuoden aikana ja ovat kiinnittäneet huomiota tietojen virheellisyyteen, johon se voi johtaa. Myöhäinen amerikkalainen tieteen sosiologi Dorothy Nelkin käsiteli asiaa merkittävästi vuoden 1987 kirjassa Selling Science: How the Press Covers Science and Technology; vuoden 2006 Embo-raportti Bad science in the headlines korosti tieteellisesti koulutettujen journalistien tarvetta, juuri silloin, kun internet aiheutti perinteisille medioille kriittisiä taloudellisia paineita.

Lisäksi vuonna 2014 British Medical Journal toi ongelman keskiöön raportissaan; ja vuoden 2019 tutkimus Wellcome Open Research -tutkimuksesta osoitti, että tieteellisten papereiden korostaminen ei tuo (uutiskanaville tai muiden raportointijärjestelmien) mitään hyötyä (saavutettavuuden tai liikenteen suhteen) tällaisen käytännön harjoittajille.

Kuitenkin pandemian aikana korostamisen negatiiviset vaikutukset ovat tulleet kriittiseen tarkasteluun, ja joukko tietopalveluja, mukaan lukien Google-hakutulossivu ja Cornellin yliopiston Arxiv -indeksi tieteellisistä tutkimuksista, lisäävät nyt automaattisesti varoituksia kaikkeen sisältöön, joka vaikuttaa koskettavan COVID-19:ää.

Muokatut käyttöliittymät COVID-19-haun ja sisällön liittyville sivuille, Google-hakutulossivulta ja Cornellin yliopiston vaikutusvaltaiselta Arxiv-tieteellisten tutkimusten tietokannasta.

Aikaisemmat projektit ovat yrittäneet luoda korostusten havaitsemisjärjestelmiä tieteellisille tutkimuksille hyödyntämällä NLP:ää, mukaan lukien vuoden 2019 yhteistyö Hongkongin ja Kiinan tutkijoiden välillä, ja toinen (erillinen) Tanskan tutkimus vuonna 2017.

Tutkimuksessa uusi lähestymistapa yhdistää lehdistötiedotteen ja yhteenvedon yhdeksi tietokokonaisuudeksi ja hyödyntää tuloksesta saatavaa tietokantaa MT-PET:ssä, joka on monitehtävän suorittamiskykyinen versio Pattern Exploiting Training -tutkimuksesta, joka esiteltiin vuonna 2020 Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference, yhteistyönä kahden saksalaisen tutkimuslaitoksen välillä.

Koska mikään olemassaoleva tietokanta ei ollut sovelias tehtävään, tiimi kokoili uuden tietokannan parittaisista lauseista yhteenvedoista ja liittyvistä lehdistötiedotteista, arvioitu “asiantuntijoiden” toimesta niiden korostamisen taipumuksen suhteen.

Tutkijat käyttivät few-shot-tekstiluokittelukehystä PETAL osana putkea automaattisesti generoimaan malli-verbalisaattoripareja, ja toistivat tietokannan läpi, kunnes löysivät noin vastaavan tupletin kahteen ominaisuuteen: korostusten havaitsemiseen ja väitteen voimakkuuteen.

“Kultainen” testidata uudelleen käytettiin edellä mainituista aiemmista tutkimushankkeista, koostuen 823 parista yhteenvedoista ja lehdistötiedotteista. Tutkijat hylkäsivät mahdollisen käytön vuoden 2014 BMJ-tietokannasta, koska se on parafrasi.

Tämä prosessi antoi tulokseksi tietokannan, joka koostui 663 yhteenvedon ja lehdistötiedotteen parista, joissa korostaminen ja väitteen voimakkuus oli merkitty. Tutkijat valitsivat satunnaisesti 100 niistä few-shot-oppimisen koulutusdatana, ja 553 esimerkkiä varattiin testaamiseen. Lisäksi luotiin pieni koulutusjoukko, joka koostui 1138 lauseesta, luokiteltuna sille, edustavatko ne yhteenvedon tai lehdistötiedotteen pääjohtopäätöksiä. Nämä käytettiin “johtopäätöslauseiden” tunnistamiseen merkitymättömissä pareissa.

Testaus

Tutkijat testasivat lähestymistapaa kolmessa konfiguraatiossa: täysin valvotussa asetelmaa, jossa käytettiin vain merkittyä dataa; yksitehtävän PET-skenaariossa; ja uudessa MT-PET:ssä, jossa lisätään toissijainen tehtävänmuoto aputehtävänä (koska hankkeen tavoitteena on tutkia kahta erillistä laatua parittaisesta tietokokonaisuudesta).

Tutkijat totesivat, että MT-PET paransi perus-PET-tuloksia testausympäristössä, ja havaitsivat, että väitteen voimakkuuden tunnistaminen auttoi tuottamaan pehmeästi merkittyjä koulutusdataa korostusten havaitsemiseen. Kuitenkin tutkimusraportissa todetaan, että tietyissä konfiguraatioissa monimutkaisen testien joukossa, erityisesti väitteen voimakkuuden suhteen, ammattimaisesti merkittyjen datojen läsnäolo voi olla tekijä, joka vaikuttaa parantuneisiin tuloksiin (vertailukohtana aiempiin tutkimushankkeisiin, jotka käsittelevät tätä ongelmaa). Tämä voi vaikuttaa siihen, missä määrin putki voidaan automatisoida, riippuen tehtävän datatarkastelusta.

Kuitenkin tutkijat päättelevät, että MT-PET “auttaa vaikeammissa tapauksissa suoran kausaalisen väitteen ja heikomman väitteen tunnistamisessa ja erottamisessa, ja että tehokkain lähestymistapa sisältää yksittäisen väitteen voimakkuuden luokittelu ja vertailu lähtö- ja kohdedokumenttien lauseista”.

Lopuksi tutkimus spekuloi, että MT-PET voidaan soveltaa laajemmin tieteellisiin tutkimuksiin (terveydenhuoltoalaa laajemmin), ja se voi muodostaa uusien työkalujen perustan, joiden avulla journalistit voivat tuottaa parempia yhteenvedon tieteellisistä tutkimuksista (vaikka tämä olettaa ehkä viattomasti, että journalistit korostavat väitteen voimakkuutta tietämättömyyden vuoksi), sekä auttaa tutkimusyhteisöä muotoilemaan selkeämmän kielenkäytön monimutkaisten ideoiden selittämiseen. Tutkimusraportissa todetaan myös:

‘[on huomattava, että tässä tutkimuksessa raportoidut ennustetulokset ovat tieteellisten toimittajien kirjoittamille lehdistötiedotteille – voisi odottaa heikompia tuloksia lehdistötiedotteille, jotka yksinkertaistavat tieteellisiä artikkeleita voimakkaammin.’