Підхід NLP до виявлення перебільшення в науковій журналістиці

Дослідники з Данії розробили систему “виявлення перебільшення”, призначену для пом’якшення наслідків перебільшення журналістами наслідків нових наукових досліджень при їхньому підсумовуванні та повідомленні. Ця робота була спровокована тим, як нові опубліковані дослідження щодо COVID-19 були спотворені в каналах повідомлень, хоча автори визнають, що це застосовується до широкого сектора загальної наукової журналістики.

Стаття стаття, озаглавлена Півавтоматичне виявлення перебільшення прес-релізів про медичну науку, походить з Копенгагенського університету і зазначає, що проблема посилюється тенденцією публікацій не включати посилання на оригінальні дослідження – все частіше журналістську практику, яка намагається замінити оригінальну статтю і підстановити переповідану підсумок як “джерельні знання” – навіть якщо стаття публічно доступна.

З статті, типове прояв перебільшення наукових статей. Джерело: https://arxiv.org/pdf/2108.13493.pdf

Проблема не обмежується зовнішньою журналістською реакцією на нові статті, але може поширюватися на інші види підсумків, включаючи внутрішні зусилля університету та дослідницьких інститутів з публічних відносин; рекламний матеріал, розрахований на привернення уваги засобів масової інформації; і корисні посилання (і потенційну амуніцію для раундів фінансування), які виникають, коли журналісти “кусають”.

Ця робота використовує обробку природної мови (NLP) проти нового набору даних парних прес-релізів і анотацій, і дослідники стверджують, що вони розробили “[нове, більш реалістичне формулювання завдання]” для виявлення наукового перебільшення. Автори пообіцяли опублікувати код і дані для роботи на GitHub скоро.

Пораження сенсаційності

Кілька досліджень звернулися до проблеми наукової сенсаційності за останні тридцять років, і звернули увагу на дезінформацію, до якої це може привести. Пізній американський науковий соціолог Дороті Нелкін звернув увагу на цю проблему особливо в книзі 1987 року книга Продаж науки: Як засоби масової інформації висвітлюють науку і технології; звіт Embo 2006 року Погана наука в заголовках підкреслив необхідність більш науково підготовлених журналістів, якраз коли Інтернет створював критичні бюджетні тиски на традиційні засоби масової інформації.

Крім того, у 2014 році Британський медичний журнал звернув увагу на проблему в звіті; і дослідження 2019 року з Wellcome Open Research навіть встановило, що перебільшення наукових статей не приносить жодної користі (у плані охоплення або трафіку) засобам масової інформації та іншим системам повідомлень, які здійснюють цю практику.

Однак появлення пандемії привернуло негативні наслідки цієї гіперболі до критичної точки, з рядом інформаційних платформ, включаючи сторінку результатів пошуку Google і репозиторій наукових статей Корнелльського університету Arxiv, які тепер автоматично додають застереження до будь-якого контенту, який, здавалося б, займається COVID.

Змінені інтерфейси для пошуку та контенту, пов’язаного з COVID, з сторінки результатів пошуку Google і з репозиторію наукових статей Корнелльського університету Arxiv.

Раніші проекти намагалися створити системи виявлення перебільшення для наукових статей за допомогою NLP, включаючи співробітництво 2019 року співробітництво між дослідниками з Гонконгу та Китаю, і іншу (не пов’язану) данську статтю у 2017 році.

Дослідники нової статті зазначають, що ці попередні зусилля розробили набори даних заяв з анотацій і підсумків з PubMed і EurekAlert, позначених за “силою”, і використовували їх для навчання моделей машинного навчання для передбачення сили заяви в невидимих даних.

MT-PET

Нове дослідження об’єднує прес-реліз і анотацію як об’єднаний дані, і використовує отриманий набір даних в MT-PET, багатокроковій версії Pattern Exploiting Training, вперше представленої у 2020 році як Використання питань Cloze для класифікації тексту з少 кількістю прикладів і висновків природної мови, спільна дослідницька робота двох німецьких дослідницьких інститутів.

Жоден існуючий набір даних не був визнаний придатним для завдання, і команда тому створила новий набір даних парних речень з анотацій і пов’язаних прес-релізів, оцінених “експертами” за їхню схильність до перебільшення.

Дослідники використовували каркас класифікації тексту з少 кількістю прикладів PETAL як частини трубопроводу для автоматичного створення пар вербалізатора, потім повторно проходячи через дані, поки не були знайдені приблизно еквівалентні туплети для двох якостей: виявлення перебільшення і сили заяви.

‘Золотий’ дані для тестування були повторно використані з вищезазначених попередніх дослідницьких проектів, складаючи 823 пари анотацій і прес-релізів. Дослідники відхилили можливе використання даних BMJ 2014 року, оскільки вони парафразовані.

Цей процес отримав набір даних з 663 анотацій/релізних пар, позначених за перебільшенням і силою заяви. Дослідники випадково вибрали 100 з них як дані для навчання з少 кількістю прикладів, з 553 прикладами, відкладеними для тестування. Крім того, була створена мала навчальна вибірка, що складається з 1 138 речень, класифікованих за тим, чи представляють вони основний висновок підсумку або прес-релізу. Вони були використані для визначення “речень-висновків” в неозначених парах.

Тестування

Дослідники протестували підхід у трьох конфігураціях: повністю керованому середовищі з виключно позначеними даними; однокроковому сценарії PET; і на новому MT-PET, який додає другорядну формулювання нитку як допоміжне завдання (оскільки мета проекту полягає в тому, щоб вивчити два окремих якості з набору даних з парними конструкціями даних).

Дослідники виявили, що MT-PET покращив результати базового PET у тестових середовищах, і виявили, що визначення сили заяви допомогло створити м’яко-позначені навчальні дані для виявлення перебільшення. Однак стаття зазначає, що в певних конфігураціях серед складного масиву тестів, особливо пов’язаних з силою заяви, наявність професійно позначених даних може бути фактором покращених результатів (у порівнянні з попередніми дослідницькими проектами, які звертаються до цієї проблеми). Це може мати наслідки для ступеня, у якому трубопровід може бути автоматизований, залежно від акценту даних завдання.

Тим не менш, дослідники висновують, що MT-PET ‘допомагає у більш складних випадках ідентифікації та розрізнення прямої причинно-наслідкової зв’язку від слабших заяв, і що найбільш продуктивний підхід полягає у класифікації та порівнянні індивідуальної сили заяви заяв з джерельних і цільових документів’.

У висновку робота припускає, що MT-PET не тільки може бути застосований до широкого спектра наукових статей (поза медичним сектором), але також може сформувати основу для нових інструментів, які допоможуть журналістам створювати кращі огляди наукових статей (хоча це, можливо, наївно, припускає, що журналісти перебільшують силу заяви через невідання), а також допоможуть науковому співтовариству сформулювати чітке використання мови для пояснення складних ідей. Крім того, стаття зазначає:

‘[це] слід зазначити, що результати передбачувальної продуктивності, зазначені в цій статті, стосуються прес-релізів, написаних науковими журналістами – можна очікувати гірших результатів для прес-релізів, які ще сильніше спрощують наукові статті.’