O abordare NLP pentru detectarea exagerării în jurnalismul științific

Cercetători din Danemarca au dezvoltat un sistem de “detectare a exagerării” destinat să atenueze efectele jurnaliștilor care exagerează implicațiile noilor articole de cercetare științifică atunci când le rezumă și le raportează. Lucrarea a fost determinată de amploarea în care noile cercetări publicate despre COVID-19 au fost distorsionate în canalele de raportare, deși autorii recunosc că este aplicabilă într-un sector larg al jurnalismului științific în general.

Articolul articolul, intitulat Detectarea exagerării semi-supervizate a comunicatelor de presă din domeniul științelor sănătății, provine de la Universitatea din Copenhaga și notează că problema este exacerbată de tendința publicațiilor de a nu include linkuri către cercetarea originală – o practică jurnalistică din ce în ce mai frecventă care încearcă să înlocuiască articolul original și să substituie rezumatul rearanjat ca “cunoștințe de bază” – chiar și atunci când articolul este disponibil public.

Din articol, o manifestare tipică a exagerării articolelor științifice. Sursă: https://arxiv.org/pdf/2108.13493.pdf

Problema nu se limitează la reacția jurnalistică externă la noile articole, ci se poate extinde și la alte tipuri de rezumat, inclusiv eforturile de PR interne ale universităților și instituțiilor de cercetare; materialele promoționale destinate să atragă atenția canalelor de știri; și linkurile utile (și potențialul material pentru rotunjirea fondurilor) care decurg atunci când jurnaliștii “mușcă”.

Lucrarea utilizează Procesarea Limbajului Natural (NLP) împotriva unui nou set de date de comunicate de presă și rezumate, cercetătorii afirmând că au dezvoltat “[o] nouă, mai realistă formulare a sarcinii” pentru detectarea exagerării științifice. Autorii au promis să publice codul și datele pentru lucrare pe GitHub în curând.

Abordarea sensaționalismului

O serie de studii au abordat problema sensaționalismului științific în ultimii treizeci de ani și au atras atenția asupra informațiilor false pe care le poate genera. Sociologul științific american Dorothy Nelkin a abordat această problemă în mod semnificativ în cartea din 1987 Vânzarea științei: Cum acoperă presa știința și tehnologia; raportul Embo din 2006 Proastă știință în titluri a subliniat nevoia de jurnaliști mai bine pregătiți în științe, exact în momentul în care internetul aducea presiuni bugetare critice asupra mass-mediei tradiționale.

În plus, în 2014, British Medical Journal a adus problema în atenție într-un raport; și un studiu din 2019 de la Wellcome Open Research a stabilit că exagerarea articolelor științifice nu conferă niciun beneficiu (în ceea ce privește accesarea sau traficul) canalelor de știri și altor sisteme de raportare care perpetuează această practică.

Cu toate acestea, apariția pandemiei a adus efectele negative ale acestei hiperbole într-o lumină critică, cu o serie de platforme de informare, inclusiv pagina de rezultate a motorului de căutare Google și indexul de articole științifice Arxiv al Universității Cornell, care adaugă acum automat avertismente pentru orice conținut care pare a se ocupa de COVID.

Interfețe modificate pentru căutări și conținut legate de COVID, de pe pagina de rezultate a motorului de căutare Google și de pe depozitul științific Arxiv al Universității Cornell.

Proiecte anterioare au încercat să creeze sisteme de detectare a exagerării pentru articole științifice prin utilizarea NLP, inclusiv o colaborare din 2019 între cercetători din Hong Kong și China, și un alt proiect (nelegat) din Danemarca din 2017.

Cercetătorii noului articol notează că aceste eforturi anterioare au dezvoltat seturi de date de afirmații din rezumate și abstracte din PubMed și EurekAlert, etichetate pentru “putere”, și le-au utilizat pentru a antrena modele de învățare automată pentru a prezice puterea afirmației în date nevizionate.

MT-PET

Noua cercetare combină o comunicare de presă și un rezumat ca o entitate de date combinată și exploatează setul de date rezultat în MT-PET, o versiune capabilă de multitask a cercetării Pattern Exploiting Training prezentate pentru prima dată în 2020 ca Exploatând întrebările Cloze pentru clasificarea textului cu puține exemple și inferența limbajului natural, un efort de cercetare combinat de la două instituții de cercetare germane.

Nu a fost găsit niciun set de date existent care să fie potrivit pentru sarcină, și echipa a curatoriat astfel un set de date nou de propoziții pereche din abstracte și comunicate de presă asociate, evaluate de “experți” în ceea ce privește tendința de a exagera.

Cercetătorii au utilizat cadrul de clasificare a textului cu puține exemple PETAL ca parte a unui flux de lucru pentru a genera automat perechi de modele-verbalizator, reiterând ulterior prin date până când s-au găsit tuplete aproximativ echivalente pentru două calități: detectarea exagerării și puterea afirmației.

“Datele de aur” pentru testare au fost reutilizate din proiectele de cercetare anterioare menționate, constând în 823 de perechi de abstracte și comunicate de presă. Cercetătorii au respins posibilitatea de a utiliza datele BMJ din 2014, deoarece sunt parafrazate.

Acest proces a obținut un set de date de 663 de perechi de abstracte și comunicate de presă etichetate pentru exagerare și puterea afirmației. Cercetătorii au selectat aleatoriu 100 de exemple ca date de antrenare cu puține exemple, cu 553 de exemple puse deoparte pentru testare. În plus, a fost creat un set de antrenare mic, constând în 1.138 de propoziții, clasificate în funcție de faptul dacă reprezintă sau nu concluzia principală a rezumatului sau a comunicatului de presă. Acestea au fost utilizate pentru a identifica “propoziții de concluzie” în perechi neetichetate.

Testare

Cercetătorii au testat abordarea în trei configurații: un mediu supravegheat complet cu date etichetate exclusiv; o scenă PET cu o singură sarcină; și pe noul MT-PET, care adaugă un fir de sarcină secundară ca o sarcină auxiliară (deoarece scopul proiectului este de a examina două calități separate dintr-un set de date cu constructe de date pereche).

Cercetătorii au constatat că MT-PET a îmbunătățit rezultatele de bază PET în toate mediile de testare și au constatat că identificarea puterii afirmației a ajutat la producerea de date de antrenare etichetate moale pentru detectarea exagerării. Cu toate acestea, articolul notează că, în anumite configurații dintr-o matrice complexă de teste, în special legate de puterea afirmației, prezența datelor etichetate profesional poate fi un factor în rezultatele îmbunătățite (comparativ cu proiectele de cercetare anterioare care abordează această problemă). Acest lucru ar putea avea implicații pentru gradul în care fluxul de lucru poate fi automatizat, în funcție de accentul datelor pentru sarcină.

În orice caz, cercetătorii concluzionează că MT-PET “ajută la identificarea și diferențierea mai dificilă a revendicărilor directe cauzale de la revendicările mai slabe și că abordarea cea mai performantă implică clasificarea și compararea puterii individuale a afirmațiilor din documentele sursă și țintă”.

În încheiere, lucrarea speculează că MT-PET nu numai că poate fi aplicat unui spectru mai larg de articole științifice (în afara sectorului sănătății), dar ar putea forma și baza unor instrumente noi care să ajute jurnaliștii să producă revizuiri mai bune ale articolelor științifice (deși aceasta presupune, poate naiv, că jurnaliștii exagerează puterea afirmației din ignoranță), precum și să ajute comunitatea de cercetare în formularea unui limbaj mai clar pentru explicarea ideilor complexe. Mai mult, articolul observă:

“[trebuie remarcat că rezultatele performanței predictive raportate în acest articol sunt pentru comunicatele de presă scrise de jurnaliști științifici – s-ar putea aștepta rezultate și mai slabe pentru comunicatele de presă care simplifică mai puternic articolele științifice.”