Přístup NLP k detekci přehánění ve vědecké žurnalistice

Výzkumníci z Dánska vyvinuli systém “detekce přehánění” určený k zmírnění účinků přehánění novinářů při zkracování a reportování nových vědeckých výzkumných prací. Práce byla iniciována rozsahem, v jakém nové zveřejněné výzkumy COVID-19 byly zkresleny v zpravodajských kanálech, ačkoli autoři připouštějí, že je použitelná napříč širokým spektrem obecného vědeckého zpravodajského sektoru.

Článek článku, nazvaný Poloautomatická detekce přehánění ve zdravotnických vědeckých tiskových zprávách, pochází z Univerzity v Kodani a uvádí, že problém je zhoršován tendencí publikací nezahrnovat odkazy na původní výzkum – stále častější novinářskou praxí, která se snaží nahradit původní článek a nahradit zkrácené shrnutí jako “zdrojové znalosti” – i když je článek veřejně dostupný.

Z článku, typický projev přehánění vědeckých článků. Zdroj: https://arxiv.org/pdf/2108.13493.pdf

Problém není omezen pouze na vnější novinářskou reakci na nové články, ale může se rozšířit do dalších typů shrnutí, včetně interních PR úsilí univerzit a výzkumných institucí; propagačních materiálů určených k získání pozornosti novin; a užitečných referenčních odkazů (a potenciální munice pro kola financování), které vyplývají, když novináři “kousnou”.

Práce využívá zpracování přirozeného jazyka (NLP) proti novému souboru dat spojených tiskových zpráv a abstraktů, přičemž výzkumníci tvrdí, že vyvinuli “[novou, realističtější formulaci úkolu]” pro detekci vědeckého přehánění. Autoři slíbili, že zveřejní kód a data pro tuto práci na GitHubu brzy.

Řešení senzacionalismu

Několik studií se zabývalo problémem vědeckého senzacionalismu za posledních třicet let a upozornilo na dezinformaci, ke které může vést. Americká vědecká socioložka Dorothy Nelkin se touto otázkou zabývala zejména v knize Prodání vědy z roku 1987; zpráva Embo z roku 2006 Špatná věda v titulcích zdůraznila potřebu více vědecky vzdělaných novinářů, stejně jako internet přinášel kritické rozpočtové tlaky na tradiční média.

Dále, v roce 2014, British Medical Journal upozornil na problém v zprávě; a studie z roku 2019 z Wellcome Open Research dokonce prokázala, že přehánění vědeckých článků nepřináší žádné výhody (z hlediska dosahu nebo provozu) novinám a jiným zpravodajským systémům, které tuto praxi uplatňují.

Jenže nástup pandemie přinesl negativní účinky tohoto přehánění do kritického povědomí, s řadou informačních platforem, včetně stránky s výsledky vyhledávání Google a repozitáře vědeckých článků Arxiv z Cornellovy univerzity, které automaticky přidávají upozornění k jakémukoli obsahu, který se zdá zabývat COVID.

Upravené rozhraní pro vyhledávání a obsah související s COVID, z vyhledávací stránky Google a z repozitáře vědeckých článků Arxiv.

Předchozí projekty se pokusily vytvořit systémy detekce přehánění pro vědecké články pomocí NLP, včetně spolupráce z roku 2019 mezi výzkumníky z Hongkongu a Číny a další (nesouvisející) dánské studie z roku 2017.

Výzkumníci nové studie uvádějí, že tyto předchozí snahy vyvinuly soubory tvrzení z abstraktů a shrnutí z PubMed a EurekAlert, označených pro “sílu”, a použili je k výcviku modelů strojového učení pro předpověď síly tvrzení v neznámých datech.

MT-PET

Nový výzkum místo toho kombinuje tiskovou zprávu a abstrakt jako kombinovanou datovou entitu a využívá výsledný soubor dat v MT-PET, multi-úkolovém provedení Pattern Exploiting Training výzkumu, který byl poprvé představen v roce 2020 jako Využití otázek Cloze pro klasifikaci textu a inference přirozeného jazyka, kombinovaný výzkumný úsilí dvou německých výzkumných institucí.

Nebyl nalezen žádný existující soubor dat, který by byl vhodný pro úkol, a tým proto vytvořil nový soubor dat párů vět z abstraktů a souvisejících tiskových zpráv, hodnocených “odborníky” z hlediska jejich tendence k přehánění.

Výzkumníci použili rámec few-shot textové klasifikace PETAL jako součást potrubí pro automatické generování párů pattern-verbalizer, následně opakující se prostřednictvím dat, dokud nebyly nalezeny přibližně ekvivalentní tuplety pro dvě kvality: detekce přehánění a síla tvrzení.

‘Zlatá’ data pro testování byla znovu použita z předchozích výzkumných projektů, skládající se z 823 párů abstraktů a tiskových zpráv. Výzkumníci odmítli možný použití dat z BMJ z roku 2014, protože jsou parafrázovány.

Tento proces získal soubor dat 663 abstraktů/tiskových zpráv označených pro přehánění a sílu tvrzení. Výzkumníci náhodně vybrali 100 z nich jako trénovací data pro few-shot učení, s 553 příklady vyhrazenými pro testování. Kromě toho byl vytvořen malý trénovací soubor skládající se z 1 138 vět, klasifikovaných podle toho, zda zastupují hlavní závěr shrnutí nebo tiskové zprávy. Tyto byly použity k identifikaci ‘závěrečných vět’ v neoznačených párech.

Testování

Výzkumníci otestovali přístup ve třech konfiguracích: plně dohledaném prostředí s výhradně označenými daty; scénáři PET s jedním úkolem; a na novém MT-PET, který přidává sekundární formulaci jako pomocný úkol (protože cílem projektu je prozkoumat dvě samostatné kvality z datového souboru s párovými datovými konstrukcemi).

Výzkumníci zjistili, že MT-PET zlepšil základní výsledky PET napříč testovacími prostředími a zjistil, že identifikace síly tvrzení pomáhá produkovat měkká označení trénovacích dat pro detekci přehánění. Nicméně, článek uvádí, že v určitých konfiguracích v komplexním poli testů, zejména souvisejících se silou tvrzení, může přítomnost profesionálně označených dat být faktorem lepších výsledků (ve srovnání s předchozími výzkumnými projekty, které se zabývají tímto problémem). To by mohlo mít důsledky pro rozsah, v jakém může být potrubí automatizováno, v závislosti na datovému zaměření úkolu.

Přesto výzkumníci uzavírají, že MT-PET ‘pomáhá v případech, kdy je obtížnější identifikovat a rozlišovat přímá kauzální tvrzení od slabších tvrzení, a že nejlepším přístupem je klasifikace a srovnání individuální síly tvrzení zdrojových a cílových dokumentů’.

Na závěr, práce spekuluje, že MT-PET by mohl být aplikován na širší rozsah vědeckých článků (mimo zdravotnického sektoru), a mohl by také vytvořit základ pro nové nástroje, které by pomohly novinářům produkovat lepší přehledy vědeckých článků (i když to, možná naivně, předpokládá, že novináři přehánějí sílu tvrzení z nevědomosti), a také by mohl pomoci výzkumné komunitě při formulaci čistšího použití jazyka pro vysvětlení složitých myšlenek. Kromě toho, článek uvádí:

‘[mělo by být poznamenáno, že výsledky předpovědního výkonu uvedené v tomto článku jsou pro tiskové zprávy napsané vědeckými novináři – lze očekávat horší výsledky pro tiskové zprávy, které silněji zjednodušují vědecké články.’