Підхід NLP до виявлення перебільшення в науковій журналістиці

Дослідники з Данії розробили систему “виявлення перебільшення”, призначену для мінімізації наслідків перебільшення журналістами наслідків нових наукових досліджень при їхньому摘要 та повідомленні. Ця робота була спровокована тим, до якої міри нові опубліковані дослідження щодо COVID-19 були спотворені в каналах повідомлень, хоча автори визнають, що це застосовується до широкого спектру загальної наукової журналістики.

Документ paper, озаглавлений Півавтоматичне виявлення перебільшення у прес-релізах охорони здоров’я, походять з Копенгагенського університету, і зазначає, що проблема посилюється тенденцією публікацій не включати посилання на оригінальні дослідження – все більш поширений журналістський звичай, який намагається замінити оригінальну статтю і замість неї використовувати підсумкову інформацію як “джерело знань” – навіть якщо стаття є публічно доступною.

З документа, типове прояв перебільшення наукових робіт. Джерело: https://arxiv.org/pdf/2108.13493.pdf

Проблема не обмежується зовнішньою журналістською реакцією на нові статті, але може поширюватися на інші види підсумків, включаючи внутрішні зусилля університетів і дослідницьких інститутів щодо зв’язків з громадськістю; рекламний матеріал, спрямований на привабування уваги засобів масової інформації; і корисні посилання (та потенційне підґрунтя для раунду фінансування), коли журналісти “кусають”.

Ця робота використовує Natural Language Processing (NLP) проти нового набору даних парних прес-релізів і анотацій, і дослідники стверджують, що вони розробили “[нове, більш реалістичне формулювання завдання]” для виявлення наукового перебільшення. Автори пообіцяли опублікувати код і дані для роботи на GitHub скоро.

Пораження сенсаційності

Багато досліджень розглядали проблему наукової сенсаційності за останні тридцять років, і звернули увагу на дезінформацію, яку це може спричинити. Пізній американський науковий соціолог Дороті Нелкін звернув увагу на цю проблему, зокрема у книзі 1987 року book Продаж науки: Як преса висвітлює науку і технології; звіт Embo 2006 року Погана наука в заголовках підкреслив необхідність більш науково підготовлених журналістів, якраз коли Інтернет створював критичні бюджетні тиски на традиційні ЗМІ.

Крім того, у 2014 році Британський медичний журнал звернув увагу на проблему у звіті report; і дослідження 2019 року з Wellcome Open Research навіть встановило, що перебільшення наукових робіт не приносить жодної користі (у термінах охоплення або трафіку) для засобів масової інформації та інших систем повідомлень, які здійснюють цю практику.

Однак появою пандемії негативні наслідки цієї гіперболі були приведені до критичного фокусу, з рядом інформаційних платформ, включаючи сторінку результатів пошуку Google та репозиторій наукових робіт Cornell University Arxiv, які тепер автоматично додають застереження до будь-якого вмісту, який, здається, займається COVID.

Змінені інтерфейси для пошуку та вмісту, пов’язаного з COVID, з сторінки результатів пошуку Google та впливового репозиторію наукових робіт Cornell University Arxiv.

Раніші проекти намагалися створити системи виявлення перебільшення для наукових робіт, використовуючи NLP, включаючи співпрацю 2019 року collaboration між дослідниками з Гонконгу та Китаю, і інший (не пов’язаний) данський документ у 2017 році.

Дослідники нового документа зазначають, що ці попередні зусилля розробили набори даних заяв з анотацій та підсумків з PubMed і EurekAlert, позначених за “силою”, і використали їх для навчання моделей машинного навчання для прогнозування сили заяви у невидимих даних.

MT-PET

Нові дослідження поєднують прес-реліз і анотацію як єдину сутність даних, і використовують отриманий набір даних у MT-PET, багатокроковій версії Pattern Exploiting Training, вперше представленій у 2020 році як Використання питань Cloze для класифікації тексту та натуральної мови, спільна дослідницька робота двох німецьких дослідницьких інститутів.

Не було знайдено жодного існуючого набору даних, який би підходив для завдання, і команда тому кураторила новий набір даних парних речень з анотацій та пов’язаних прес-релізів, оцінених “експертами” за їхню схильність до перебільшення.

Дослідники використали рамку класифікації тексту з少ним навчанням PETAL як частини трубопроводу для автоматичного генерування пар вербалізатора, потім повторно проходячи через дані, поки не були знайдені приблизно еквівалентні туплети для двох якостей: виявлення перебільшення та сили заяви.

“Золоті” дані для тестування були повторно використані з попередніх дослідницьких проектів, складаючи 823 пари анотацій та прес-релізів. Дослідники відхилили можливе використання даних BMJ 2014 року, оскільки вони перефразовані.

Цей процес отримав набір даних із 663 пар анотацій/релізів, позначених за перебільшенням і силою заяви. Дослідники випадково вибрали 100 з них як дані для навчання з少шим навчанням, з 553 прикладами, відкладеними для тестування. Крім того, був створений малий навчальний набір, що складається з 1138 речень, класифікованих за тим, чи вони представляють основний висновок підсумку чи прес-релізу. Вони були використані для ідентифікації “речень висновку” у неозначених парах.

Тестування

Дослідники протестували підхід у трьох конфігураціях: повністю наглядовому середовищі з виключно позначеними даними; однокроковому сценарії PET; і на новому MT-PET, який додає другорядну формулювання завдання як допоміжне завдання (оскільки метою проекту є вивчення двох окремих якостей з набору даних з парними конструкціями даних).

Дослідники виявили, що MT-PET покращив результати базового PET у тестових середовищах, і виявили, що ідентифікація сили заяви допомогла створити м’яко-позначені навчальні дані для виявлення перебільшення. Однак документ зазначає, що в певних конфігураціях серед складного масиву тестів, особливо пов’язаних з силою заяви, наявність професійно позначених даних може бути фактором покращення результатів (у порівнянні з попередніми дослідницькими проектами, які розглядають цю проблему). Це може мати наслідки для ступеня, у якому трубопровід може бути автоматизований, залежно від даних завдання.

Тим не менш, дослідники висновують, що MT-PET “допомагає у більш складних випадках ідентифікації та розрізнення прямої причинно-наслідкової зв’язку від слабших заяв, і що найбільш продуктивний підхід полягає у класифікації та порівнянні окремої сили заяви заяв з джерельних та цільових документів”.

У висновку робота припускає, що MT-PET не тільки може бути застосований до широкого спектру наукових робіт (поза сферою охорони здоров’я), але також може сформувати основу для нових інструментів, які допоможуть журналістам створювати кращі огляди наукових робіт (хоча це, можливо, наївно, припускає, що журналісти перебільшують силу заяви через невідання), а також допоможуть науковому співтовариству сформулювати ясніше використання мови для пояснення складних ідей. Крім того, документ зауважує:

‘[це] слід зазначити, що результати прогнозної продуктивності, повідомлені в цій роботі, стосуються прес-релізів, написаних науковими журналістами – можна очікувати гірших результатів для прес-релізів, які ще більше спрощують наукові статті.’