Подход на основе обработки естественного языка для обнаружения преувеличений в научной журналистике

Исследователи из Дании разработали систему “обнаружения преувеличений”, предназначенную для смягчения последствий преувеличения журналистами значимости новых научных исследований при их обобщении и освещении. Эта работа была вызвана тем, как новое опубликованное исследование COVID-19 было искажено в средствах массовой информации, хотя авторы признают, что оно применимо к широкому кругу общих научных отчетов.

Работа, озаглавленная Полу监督ное обнаружение преувеличений в пресс-релизах о здравоохранении, была выполнена в Университете Копенгагена и отмечает, что проблема усугубляется тенденцией изданий не включать ссылки на исходные исследования – все более распространенную журналистскую практику, которая пытается заменить исходную статью и подставить переотчетанный обзор в качестве “источников знаний” – даже когда статья доступна публично.

Из статьи, типичное проявление преувеличения научных статей. Источник: https://arxiv.org/pdf/2108.13493.pdf

Проблема не ограничивается внешней реакцией журналистов на новые статьи, но может распространяться на другие виды обобщений, включая внутренние усилия по связям с общественностью университетов и исследовательских учреждений; рекламный материал, направленный на привлечение внимания средств массовой информации; и полезные ссылки (и потенциальное оружие для раундов финансирования), которые возникают, когда журналисты “кусают”.

Эта работа использует обработку естественного языка (NLP) против новой базы данных парных пресс-релизов и аннотаций, и исследователи утверждают, что разработали “[новую, более реалистичную формулировку задачи]” для обнаружения научного преувеличения. Авторы обещали опубликовать код и данные для работы на GitHub скоро.

Борьба с сенсационностью

Несколько исследований рассматривали проблему научной сенсационности за последние тридцать лет и привлекли внимание к дезинформации, которую это может привести. Поздний американский научный социолог Дороти Нелкин обратила внимание на эту проблему в своей книге 1987 года Продажа науки: Как пресс освещает науку и технологии; отчет Embo 2006 года Плохая наука в заголовках подчеркнул необходимость более научно подготовленных журналистов, как раз когда интернет создавал критические бюджетные давления на традиционные средства массовой информации.

Кроме того, в 2014 году Британский медицинский журнал обратил внимание на эту проблему в отчете; и исследование 2019 года из Wellcome Open Research даже установило, что преувеличение научных статей не дает никакой выгоды (в плане охвата или трафика) средствам массовой информации и другим системам отчетности, которые совершает эту практику.

Однако возникновение пандемии привело негативные последствия этой гиперболы в критический фокус, с рядом информационных платформ, включая страницу результатов поиска Google и репозиторий научных статей Cornell University Arxiv, которые теперь автоматически добавляют предупреждения к любому контенту, который, кажется, связан с COVID.

Измененные интерфейсы для поисков и контента, связанного с COVID, со страницы результатов поиска Google и из репозитория научных статей Cornell University Arxiv.

Предыдущие проекты пытались создать системы обнаружения преувеличений для научных статей, используя NLP, включая сотрудничество 2019 года между исследователями из Гонконга и Китая, и другое (несвязанное) исследование из Дании в 2017 году.

Исследователи новой статьи отмечают, что эти ранние усилия разработали базы данных утверждений из аннотаций и обобщений из PubMed и EurekAlert, помеченных для “силы”, и использовали их для обучения моделей машинного обучения для прогнозирования силы утверждения в не виденных данных.

MT-PET

Новое исследование вместо этого объединяет пресс-релиз и аннотацию в качестве объединенной сущности данных и использует полученную базу данных в MT-PET, многофункциональной версии Pattern Exploiting Training, представленной впервые в 2020 году как Использование вопросов Cloze для классификации текста и вывода естественного языка, совместное исследование двух немецких исследовательских учреждений.

Не было найдено ни одной существующей базы данных, подходящей для этой задачи, и команда поэтому создала новую базу данных парных предложений из аннотаций и связанных пресс-релизов, оцененных “экспертами” по их тенденции к преувеличению.

Исследователи использовали каркас классификации текста с несколькими задачами PETAL в качестве части конвейера для автоматического генерирования пар “образец-verbalizer”, затем повторно проходя через данные до тех пор, пока не были найдены примерно эквивалентные туплеты для двух качеств: обнаружения преувеличения и силы утверждения.

‘Золотые’ данные для тестирования были повторно использованы из вышеупомянутых ранних исследовательских проектов, состоящих из 823 пар аннотаций и пресс-релизов. Исследователи отклонили возможное использование данных BMJ 2014 года, поскольку они перефразированы.

Этот процесс получил базу данных из 663 пар аннотаций/релизов, помеченных для преувеличения и силы утверждения. Исследователи случайным образом отобрали 100 из них в качестве обучающих данных для обучения с несколькими задачами, с 553 примерами, отложенными для тестирования. Кроме того, был создан небольшой обучающий набор, состоящий из 1138 предложений, классифицированных по тому, представляют ли они основной вывод обобщения или пресс-релиза. Они были использованы для определения ‘предложений вывода’ в не помеченных парах.

Тестирование

Исследователи протестировали подход в трех конфигурациях: полностью контролируемой среде с исключительно помеченными данными; однозадачной среде PET; и на новом MT-PET, который добавляет вторичную нить формулировки в качестве вспомогательной задачи (поскольку цель проекта – изучить два отдельных качества из базы данных с парами конструкций).

Исследователи обнаружили, что MT-PET улучшил базовые результаты PET в средах тестирования и обнаружили, что определение силы утверждения помогло получить мягко помеченные обучающие данные для обнаружения преувеличения. Однако статья отмечает, что в определенных конфигурациях среди сложного массива тестов, особенно связанных со силой утверждения, наличие профессионально помеченных данных может быть фактором улучшенных результатов (по сравнению с предыдущими исследовательскими проектами, которые решают эту проблему). Это может иметь последствия для степени, в которой конвейер может быть автоматизирован, в зависимости от акцента данных на задаче.

Тем не менее, исследователи заключают, что MT-PET ‘помогает в более трудных случаях выявления и различения прямых причинно-следственных связей и более слабых утверждений, и что наиболее эффективный подход включает в себя классификацию и сравнение индивидуальной силы утверждений из исходных и целевых документов’.

В заключение, работа предполагает, что MT-PET не только может быть применен к более широкому кругу научных статей (за пределами сектора здравоохранения), но также может стать основой для новых инструментов, помогающих журналистам создавать лучшие обзоры научных статей (хотя это, возможно, наивно, предполагает, что журналисты преувеличивают силу утверждения из-за незнания), а также помогать научному сообществу в формулировании ясного использования языка для объяснения сложных идей. Кроме того, статья отмечает:

‘[следует отметить, что результаты прогнозной производительности, сообщенные в этой статье, относятся к пресс-релизам, написанным научными журналистами – можно ожидать худших результатов для пресс-релизов, которые более сильно упрощают научные статьи.’