NLP-lähestymistapa yliampuvuuden havaitsemiseen tieteellisessä journalismissa

Tanskalaiset tutkijat ovat kehittäneet “ylivertaisuuden havaitsemisjärjestelmän”, jonka tarkoituksena on lieventää journalistien yliampuvuutta uusien tieteellisten tutkimusartikkeleiden merkitysten yhteydessä, kun he tiivistävät ja raportoivat niistä. Työ on kiihdytetty COVID-19-tutkimuksen uudelleenjulkaisemisen laajuuden vuoksi, vaikka tekijät myöntävät, että se on sovellettavissa laajasti yleiseen tieteelliseen raportointiin.

Tutkimus, jonka otsikko on Semi-Supervised Exaggeration Detection of Health Science Press Releases, on peräisin Kööpenhaminan yliopistosta, ja siinä todetaan, että ongelmaa pahentaa se, ettei julkaisuissa usein sisälly alkuperäisiä linkkejä alkuperäiseen tutkimukseen – yhä yleisemmäksi tullut journalistinen käytäntö, jossa yritetään korvata alkuperäinen artikkeli ja korvata uudelleenraportoitu tiivistelmä “alkuperäistietona” – vaikka artikkeli on julkinen.

Tutkimuksesta, tyypillinen ilmentymä tieteellisten artikkeleiden yliampuvuudesta. Lähde: https://arxiv.org/pdf/2108.13493.pdf

Ongelma ei rajoitu ulkoiseen journalistiseen reaktioon uusiin artikkeleihin, vaan se voi ulottua muihin tiivistelmiin, kuten yliopistojen ja tutkimuslaitosten sisäisiin PR-pyrkimyksiin; mainosmateriaaleihin, joiden tarkoituksena on houkutella uutistoimistojen huomiota; ja hyödyllisiin viittauksiin (ja mahdollisiin aseisiin rahoituskierroksissa), kun journalistit “purkavat” ne.

Tutkimus hyödyntää luonnollisen kielen prosessointia (NLP) uudella tieteellisten artikkeleiden ja lehdistötiedotteiden parien aineistolla, ja tutkijat väittävät kehittäneensä “[uuden, realistisemman tehtävänmuodon]” tieteellisen yliampuvuuden havaitsemiseksi. Tekijät ovat luvanneet julkaista koodin ja aineiston työstä GitHubissa pian.

Ylivertaisuuden torjunta

Useat tutkimukset ovat käsitelleet tieteellisen sensaationismин ongelmaa viimeisen noin 30 vuoden aikana ja ovat kiinnittäneet huomiota virheellisiin tietoihin, joita se voi aiheuttaa. Myöhäinen amerikkalainen tieteen sosiologi Dorothy Nelkin käsittelee asiaa merkittävästi vuoden 1987 kirjassa Selling Science: How the Press Covers Science and Technology; vuoden 2006 Embo-raportti Bad science in the headlines korosti tieteellisesti koulutettujen journalistien tarvetta, juuri kun internet aiheutti perinteisille medioille kriittisiä taloudellisia paineita.

Lisäksi vuonna 2014 British Medical Journal toi ongelman esiin raportissaan; ja vuoden 2019 tutkimus Wellcome Open Researchista osoitti, että tieteellisten artikkeleiden yliampuvuus ei tuo (uutistoimistoille ja muiden raportointijärjestelmille, jotka harjoittavat tätä käytäntöä) hyötyä (saavutettavuuden tai liikenteen suhteen).

Kuitenkin pandemian saapuminen on tuonut yliampuvuuden negatiiviset vaikutukset kriittiseen tarkasteluun, ja joukko tietopalveluja, mukaan lukien Google-hakutulossivu ja Cornellin yliopiston Arxiv -indeksi tieteellisistä artikkeleista, lisäävät nyt automaattisesti varoituksia kaikkeen sisältöön, joka näyttää käsittelevän COVID-19:ää.

Muokatut käyttöliittymät COVID-19-haun ja -sisällön kanssa, Google-hakutulossivulta ja Cornellin yliopiston vaikutusvaltaiselta Arxiv-tieteellisten artikkeleiden tietokannalta.

Aikaisemmat projektien ovat yrittäneet luoda ylivertaisuuden havaitsemisjärjestelmiä tieteellisiin artikkeleihin hyödyntämällä NLP:ää, mukaan lukien vuoden 2019 yhteistyö tutkijoiden välillä Hongkongista ja Kiinasta, ja toinen (eri) Tanskan tutkimus vuonna 2017.

Tutkimuksen tekijät huomauttavat, että nämä aiemmat pyrkimykset kehittivät aineistoja väittämisistä tiivistelmistä ja PubMed- ja EurekAlert- tiivistelmistä, joissa oli “voimakkuus”-merkintä, ja käyttivät niitä kouluttamaan koneoppimismalleja ennustamaan väittämisen voimakkuus näkemättömissä tiedoissa.

MT-PET

Uusi tutkimus yhdistää lehdistötiedotteen ja abstraktin yhdistetyksi tietokokonaisuudeksi ja hyödyntää tuloksesta saatua aineistoa MT-PET:ssä, monitehtävän suorittamiskykyisessä Pattern Exploiting Training -tutkimuksessa, joka esiteltiin ensimmäisen kerran vuonna 2020 Exploiting Cloze Questions for Few Shot Text Classification and Natural Language Inference, yhteistyössä kahden Saksan tutkimuslaitoksen kanssa.

Ei löydy olemassaolevaa aineistoa, joka olisi sovelias tehtävään, ja tiimi kokoikin uuden aineiston abstraktien ja liittyvien lehdistötiedotteiden lauseparista, jotka arvioitiin “asiantuntijoiden” toimesta niiden taipumusta liioitella.

Tutkijat käyttivät few-shot-tekstiluokittelukehystä PETAL osana putkistoa automaattisesti generoimaan malli-verbalisaattoripareja, ja toistivat dataa, kunnes löydettiin noin vastaavat tupletit kahdelle ominaisuudelle: ylivertaisuuden havaitseminen ja väittämisen voimakkuus.

‘Kultainen’ testidata otettiin uudelleen aiemmista tutkimusprojekteista, ja se koostui 823 abstraktin ja lehdistötiedotteen parista. Tutkijat hylkäsivät mahdollisen käytön vuoden 2014 BMJ-aineistoa, koska se on parafrasi.

Tämä prosessi tuotti 663 abstraktin ja lehdistötiedotteen parin aineiston, joka oli merkitty ylivertaisuuden ja väittämisen voimakkuuden mukaan. Tutkijat valitsivat satunnaisesti 100 niistä few-shot-koulutusdatana, ja 553 esimerkkiä asetettiin testaamiseen. Lisäksi luotiin pieni koulutusaineisto, joka koostui 1138 lauseesta, jotka luokiteltiin sen mukaan, edustavatko ne tiivistelmän tai lehdistötiedotteen päätelmää. Nämä käytettiin “päätöslauseiden” tunnistamiseen merkitymättömissä pareissa.

Testaus

Tutkijat testasivat lähestymistapaa kolmessa konfiguraatiossa: täysin valvotussa ympäristössä, jossa oli vain merkitty data; yksitehtävän PET-skenaariossa; ja uudessa MT-PET:ssä, jossa lisättiin toissijainen muotoilun lanka aputehtävänä (koska projektin tavoitteena on tarkastella kahta erillistä laatua parien aineistosta).

Tutkijat totesivat, että MT-PET paransi perus-PET-tuloksia testausympäristössä, ja havaittiin, että väittämisen voimakkuuden tunnistaminen auttoi tuottamaan pehmeästi merkittyjä koulutusdataa ylivertaisuuden havaitsemiseksi. Tutkimusraportti kuitenkin toteaa, että tietyissä konfiguraatioissa, erityisesti väittämisen voimakkuuteen liittyvissä, ammattimaisesti merkittyjen datan läsnäolo saattaa olla tekijä, joka parantaa tuloksia (verrattuna aiempiin tutkimusprojekteihin, jotka käsittelevät tätä ongelmaa). Tämä saattaa vaikuttaa siihen, missä määrin putki voidaan automatisoida, riippuen datan painotuksesta tehtävässä.

Tutkijat päättelevät, että MT-PET “auttaa vaikeammissa tapauksissa suoran ja epäsuoran väittämisen erottamisessa, ja että paras lähestymistapa on luokitella ja verrata väittämisen voimakkuutta alkuperäisistä ja kohdeasiakirjoista“.

Lopuksi tutkimus spekuloi, että MT-PET voidaan soveltaa laajemmin tieteellisiin artikkeleihin (terveydenhuoltoalan ulkopuolella) ja voidaan muodostaa uusien työkalujen perustaksi, jotka auttavat journalisteja tuottamaan parempia tieteellisten artikkeleiden yhteenvetoja (vaikka tämä olettaa ehkä viattomasti, että journalisteja yliampuvat väittämisen voimakkuuden tietämättömyyden vuoksi), sekä auttavat tutkimusyhteisöä kehittämään selkeämpää kielenkäyttöä monimutkaisten ideoiden selittämiseksi. Lisäksi tutkimusraportti toteaa:

‘[on huomattava, että tämän tutkimuksen ennustettavuustulokset ovat tieteellisille lehdistötiedotteille, jotka on kirjoittanut tieteelliset journalistit – voisi odottaa heikompia tuloksia lehdistötiedotteille, jotka yksinkertaistavat tieteellisiä artikkeleita voimakkaammin.’