NLP를 이용한 과장検出에 대한 과학 저널리즘 접근법

덴마크의 연구진은 과학 저널리즘에서 과장된 보도를 줄이기 위한 ‘과장検出 시스템’을 개발하였다. 이 연구는 COVID-19 관련 연구 논문이 보도 채널에서 왜곡되는 정도에 의해 촉발되었다. 그러나 저자들은 이 시스템이 일반 과학 저널리즘 분야에도 적용될 수 있다고 인정한다.

논문은 건강 과학 언론 보도에 대한 반감 있는 과장 검출이라는 제목으로 코펜하겐 대학교에서 나왔으며, 문제는 원래 연구 논문에 대한 소스 링크를 포함하지 않는 경향으로 인해 더욱 악화된다고 지적한다. 이는 원래 논문을 대체하고 재보도된 요약을 ‘소스 지식’으로 사용하려고 하는 점이 증가하는 저널리즘 관행이다.

논문에서 과학 논문의 과장된 표현 Source: https://arxiv.org/pdf/2108.13493.pdf

이 문제는 외부 저널리스트의 반응에만 국한되지 않으며, 대학 및 연구 기관의 내부 홍보 노력, 뉴스 아웃レット의 주목을 유도하기 위한 홍보 자료, 저널리스트가 ‘물고’하는 경우에 따라 발생하는 유용한 참조 링크(및 자금 조달 라운드에 대한 잠재적인 탄환)와 같은 다른 종류의 요약에도 확장될 수 있다.

이 연구는 자연어 처리(NLP)를 새로운 데이터 세트인 프레스 릴리스와 추출문이 쌍으로 구성된 데이터에 적용하여 과학적 과장의 검출을 위한 ‘[새롭고 더 현실적인 작업 정의]’를 개발했다고 주장한다. 저자들은 이 연구의 코드와 데이터를 GitHub에 곧 공개할 것이라고 약속했다.

과장된 보도 대처

과학적 과장의 문제는 지난 30년 동안 여러 연구에서 다루어졌으며, 이를 통해 발생할 수 있는 잘못된 정보에 대해 주목을 끌었다. 미국의 과학 사회학자 도로시 넬킨(Dorothy Nelkin)은 1987년 책 과학 판매: 언론이 과학과 기술을 어떻게 다루는가에서 이 문제를 두드러지게 다루었다. 2006년 Embo 보고서 헤드라인의 나쁨 과학는 인터넷이 전통적인 미디어에 중요하게 예산 압력을 가하고 있는 시점에 더 많은 과학적으로 훈련된 저널리스트가 필요하다고 강조했다.

또한 2014년 영국 의학 저널(British Medical Journal)은 보고서에서 이 문제를 강조했으며, 2019년 Wellcome Open Research의 연구에서는 과학 논문의 과장이 뉴스 아웃レット이나 기타 보도 시스템에서 이 관행을 수행할 때 이익(도달이나 트래픽)을 가져다주지 않는다는 것을 밝혔다.

그러나 전염병의 발발로 인해 이러한 과장의 부정적인 영향이 비중 있게 부각되었다. 구글 검색 결과 페이지와 코넬 대학교의 Arxiv 과학 논문 색인과 같은 정보 플랫폼은 현재 COVID-19와 관련된 모든 내용에 자동으로免責 조항을 추가하고 있다.

COVID-19 관련 검색 및 내용에 대한 수정된 인터페이스

이전 프로젝트에서는 과학 논문에 대한 과장 검출 시스템을 만들기 위해 NLP를 활용했으며, 2019년 홍콩과 중국의 연구자 간의 협력과 2017년 덴마크의 다른 논문이 있다.

새로운 연구에서는 추출문과 프레스 릴리스를 하나의 데이터 엔티티로 결합하고, MT-PET라고 하는 패턴 활용 훈련 연구의 다중 작업 가능한 버전을 사용하여 결과 데이터를 활용한다. 연구진은 ‘[새로운, 더 현실적인 작업 정의]’를 개발했다고 주장한다.

기존의 적합한 데이터 세트가 발견되지 않았으므로 팀은 전문가들이 과장되는 정도를 평가하여 추출문과 관련된 프레스 릴리스의 쌍 문장을 수집한 새로운 데이터 세트를 구축했다.

연구자들은 few-shot 텍스트 분류 프레임워크 PETAL를 사용하여 자동으로 패턴-버벌라이저 쌍을 생성하고, 데이터를 반복적으로 처리하여 과장 검출과 주장 강度에 대해 대략적으로 동일한 튜플릿을 찾을 때까지 반복했다.

‘골드’ 테스트 데이터는 이전 연구 프로젝트에서 재사용되었으며, 823개의 추출문과 프레스 릴리스 쌍으로 구성되었다. 연구자들은 2014년 BMJ 데이터의 사용을 거부했다. 왜냐하면 그것은 다시 작성되었기 때문이다.

이 프로세스는 과장과 주장 강도에 대한 레이블이 있는 663개의 추출문/릴리스 쌍의 데이터 세트를 얻었다. 연구자들은 few-shot 학습 훈련 데이터로 100개를 무작위로 샘플링했고, 553개의 예제는 테스트를 위해 따로 설정했다. 또한 총 1,138개의 문장이 요약 또는 프레스 릴리스의 주요 결론을 나타내는지 여부에 따라 분류된 작은 훈련 세트가 생성되었다. 이것은 레이블이 없는 쌍에서 ‘결론 문장’을 식별하는 데 사용되었다.

테스트

연구자들은 세 가지 구성에서 접근 방식을 테스트했다. 완전히 지도된 환경에서 레이블이 있는 데이터만 사용하는 경우, 단일 작업 PET 시나리오, 그리고 두 번째 형식의 보조 작업을 추가하는 새로운 MT-PET이다.

연구자들은 MT-PET가 테스트 환경 전반에서 기본 PET 결과를 개선했으며, 주장 강도를 식별하는 것이 과장 검출을 위한 소프트 레이블 훈련 데이터를 생성하는 데 도움이 된다고 발견했다. 그러나 논문은 특정 구성, 특히 주장 강도와 관련된 테스트에서 전문가가 레이블을 붙인 데이터의 존재가 개선된 결과의 요인일 수 있다고 지적한다. 이것은 작업의 데이터 강조에 따라 파이프라인을 자동화할 수 있는 정도에 영향을 미칠 수 있다.

연구자들은 MT-PET가 ‘[직접적인 인과 관계 주장과 약한 주장을 식별하고 구별하는 더 어려운 경우에 도움이 되며, 가장 좋은 접근 방식은 소스 문서와 대상 문서의 개별 주장 강도를 분류하고 비교하는 것’이라고 결론지었다.

마지막으로, 연구는 MT-PET가 더广い 범위의 과학 논문(건강 분야 외)에 적용될 수 있을 뿐만 아니라, 저널리스트가 과학 논문의 더 나은 개요를 생성하는 데 도움이 되는 새로운 도구의 기초를 형성할 수 있으며, 연구 커뮤니티가 복잡한 아이디어를 설명하기 위해 언어를 더 분명하게 사용하도록 도울 수 있다고 추측한다. 또한, 논문은 다음과 같이 관찰한다:

‘예측 성능 결과는 과학 저널리스트가 작성한 프레스 릴리스에 대한 것으로, 과학 논문을 더 강하게 단순화하는 프레스 릴리스의 경우 더 나쁨의 결과를 기대할 수 있다.’