과학 저널리즘의 과장 감지에 대한 NLP 접근법

덴마크의 연구원들은 언론인들이 새로운 과학 연구 논문을 요약하고 보도할 때 그 의미를 과장하는 효과를 완화하기 위해 고안된 '과장 감지' 시스템을 개발했습니다. 이 작업은 COVID-19에 대해 새로 발표된 연구가 보고 채널에서 왜곡된 정도에 의해 촉발되었지만 저자는 일반 과학 보고 부문의 광범위한 트랜치에 적용할 수 있음을 인정합니다.

The 종이, 제목 건강 과학 보도 자료의 준지도 과장 탐지, 코펜하겐 대학에서 왔으며 원본 연구에 대한 소스 링크를 포함하지 않는 간행물의 경향으로 인해 문제가 악화된다고 지적합니다. 이는 원본 논문을 대체하고 재보고된 요약을 다음과 같이 대체하려는 점점 더 일반적인 저널리즘 관행입니다. '소스 지식' – 논문이 공개된 경우에도 마찬가지입니다.

논문에서, 과학 논문의 과장의 전형적인 표현. 출처 : https://arxiv.org/pdf/2108.13493.pdf

문제는 새로운 논문에 대한 외부 언론의 반응에 국한되지 않고 대학 및 연구 기관의 내부 홍보 노력을 포함하여 다른 종류의 요약으로 확장될 수 있습니다. 뉴스 매체의 관심을 끌기 위한 홍보 자료; 언론인이 '물었을' 때 수반되는 유용한 추천 링크(및 자금 조달을 위한 잠재적인 탄약).

이 작업은 보도 자료와 초록이 결합된 새로운 데이터 세트에 대해 자연어 처리(NLP)를 활용하며, 연구자들은 과학적 과장을 탐지하기 위한 '새롭고 보다 현실적인 작업 공식'을 개발했다고 주장합니다. 저자는 작업에 대한 코드와 데이터를 공개하겠다고 약속했습니다. GitHub에서 곧.

센세이셔널리즘에 맞서다

많은 연구가 지난 1987여 년 동안 과학적 선정주의 문제를 다루었고 이것이 초래할 수 있는 잘못된 정보에 주의를 끌었습니다. 고인이 된 미국의 과학 사회학자 Dorothy Nelkin은 XNUMX년에 특히 이 문제를 다루었습니다. 책 과학 판매: 언론이 과학과 기술을 다루는 방법; 2006 엠보 보고서 헤드라인의 잘못된 과학 인터넷이 전통적인 미디어에 중요한 예산 압박을 가하고 있는 것처럼 과학적으로 훈련된 저널리스트의 필요성을 강조했습니다.

또한 2014년 British Medical Journal은 이 문제에 초점을 맞춘 신고; Wellcome Open Research의 2019년 연구는 심지어 과학 논문의 과장이 아무런 혜택도 주지 않는다 (도달 범위 또는 트래픽 측면에서) 이러한 관행을 저지르는 뉴스 매체 및 기타 보고 시스템에.

그러나 팬데믹의 출현으로 Google 검색 엔진 결과 페이지와 Cornell University의 Arxiv 과학 논문 색인은 이제 COVID를 다루는 것으로 보이는 모든 콘텐츠에 면책 조항을 자동으로 추가합니다.

Google 검색 결과 페이지 및 Cornell University의 영향력 있는 Arxiv 과학 논문 저장소에서 COVID와 관련된 검색 및 콘텐츠에 대한 인터페이스를 수정했습니다.

이전 프로젝트에서는 2019년을 포함하여 NLP를 활용하여 과학 논문에 대한 과장 탐지 시스템을 만들려고 시도했습니다. 협동 홍콩 및 중국 연구원과 다른(관련 없는) 덴마크 논문 간 재활용률.

새로운 논문의 연구자들은 이러한 초기 노력이 PubMed 및 EurekAlert의 초록 및 요약에서 '강도'라는 라벨이 붙은 주장의 데이터 세트를 개발했으며 이를 기계 학습 모델을 훈련하여 예측하는 데 사용했다고 언급했습니다. 주장 강도 보이지 않는 데이터에서

MT-펫

새로운 연구는 대신 보도 자료와 초록을 결합된 데이터 엔터티로 결합하고 패턴 익스플로이팅 트레이닝 연구의 멀티태스킹 가능 버전인 MT-PET에서 결과 데이터 세트를 먼저 활용합니다. 제시 2020에서 짧은 샷 텍스트 분류 및 자연어 추론을 위한 Cloze 질문 활용, 두 독일 연구 기관의 공동 연구 노력.

작업에 적합한 기존 데이터 세트가 없었기 때문에 팀은 과장 경향 측면에서 '전문가'가 평가한 초록 및 관련 보도 자료에서 한 쌍의 문장으로 구성된 새로운 데이터 세트를 선별했습니다.

연구자들은 퓨샷 텍스트 분류 프레임워크를 사용했습니다. 꽃잎 패턴-언어화기 쌍을 자동으로 생성하는 파이프라인의 일부로, 두 가지 특성(과장 감지 및 주장 강도)에 대해 대략적으로 동등한 튜플렛이 발견될 때까지 데이터를 통해 반복합니다.

테스트를 위한 '골드' 데이터는 823쌍의 초록 및 보도 자료로 구성된 앞서 언급한 이전 연구 프로젝트에서 재사용되었습니다. 연구원들은 2014년 BMJ 데이터의 사용 가능성을 거부했습니다.

이 프로세스는 과장 및 주장 강도에 대해 레이블이 지정된 663개의 추상/릴리스 쌍 데이터 세트를 얻었습니다. 연구진은 무작위로 100개를 다음과 같이 샘플링했습니다. 극소수 학습 553개의 예제가 테스트용으로 따로 설정된 훈련 데이터. 또한 요약 또는 보도 자료의 주요 결론을 나타내는지 여부에 따라 분류된 1,138개의 문장으로 구성된 작은 훈련 세트가 생성되었습니다. 이들은 레이블이 지정되지 않은 쌍에서 '결론 문장'을 식별하는 데 사용되었습니다.

지원

연구원들은 세 가지 구성으로 접근 방식을 테스트했습니다. 독점적으로 레이블이 지정된 데이터가 있는 완전 감독 설정; 단일 작업 PET 시나리오 새로운 MT-PET에서는 보조 작업으로 보조 공식 스레드를 추가합니다(프로젝트의 목표는 쌍을 이룬 데이터 구성이 있는 데이터 세트에서 두 가지 개별 품질을 검사하는 것이므로).

연구자들은 MT-PET가 테스트 환경 전반에 걸쳐 기본 PET 결과를 개선하고 주장 강도를 식별하는 것이 과장 감지를 위한 소프트 레이블 훈련 데이터를 생성하는 데 도움이 된다는 것을 발견했습니다. 그러나 이 논문은 특히 청구 강도와 관련된 복잡한 테스트 배열 중 특정 구성에서 전문적으로 레이블이 지정된 데이터의 존재가 개선된 결과의 요인이 될 수 있다고 지적합니다(이 문제를 다루는 이전 연구 프로젝트와 비교). 이는 작업의 데이터 강조에 따라 파이프라인을 자동화할 수 있는 범위에 영향을 미칠 수 있습니다.

그럼에도 불구하고 연구원들은 MT-PET가 '약한 주장에서 직접적인 인과적 주장을 식별하고 구별하는 더 어려운 경우에 도움이 되며, 가장 성능이 뛰어난 접근 방식은 소스 및 대상 문서에서 진술의 개별 주장 강도를 분류하고 비교하는 것을 포함합니다.'.

마지막으로 이 작업은 MT-PET가 더 넓은 범위의 과학 논문(보건 부문 외부)에 적용될 수 있을 뿐만 아니라 저널리스트가 과학 논문에 대한 더 나은 개요를 작성하는 데 도움이 되는 새로운 도구의 기초를 형성할 수 있다고 추측합니다. 이것은 아마도 순진하게 저널리스트들이 무지를 통해 주장의 강도를 과장하고 있다고 가정할 뿐만 아니라 연구 커뮤니티가 복잡한 아이디어를 설명하기 위해 더 명확한 언어 사용을 공식화하는 데 도움을 주고 있다고 가정합니다. 또한 이 논문은 다음과 같이 관찰합니다.

'[it] 이 논문에 보고된 예측 성능 결과는 과학 저널리스트가 작성한 보도 자료에 대한 것이라는 점에 유의해야 합니다. 과학 기사를 더욱 단순화하는 보도 자료의 경우 더 나쁜 결과를 기대할 수 있습니다.'