기계 학습으로 프롭агンダ를 생성하고 식별하기

미국과 카타르의 새로운 연구는 인간이 실제로 가짜 뉴스를 작성하는 방식으로 가짜 뉴스를 식별하는 새로운 방법을 제공합니다. 즉, 주로 진실한 맥락에 부정확한 진술을 삽입하고, 권위에 대한 호소와 같은 인기 있는 프롭агンダ 기술을 사용합니다.

이 프로젝트는 PropaNews라는 새로운 가짜 뉴스 감지 훈련 데이터셋을 생성했으며, 이러한 기술을 통합했습니다. 연구의 저자들은 이 새로운 데이터셋으로 훈련된 감지기가 이전의 최첨단 접근 방식보다 인간이 작성한 부정확한 정보를 7.3-12% 더 정확하게 감지한다는 것을 발견했습니다.

새로운 논문에서 권위에 대한 호소와 로드된 언어의 예 출처: https://arxiv.org/pdf/2203.05386.pdf

저자들은 이 프로젝트가 프롭агンダ 기술(직접적인 사실의 부정확성 대신)을 프롭агンダ 중심의 가짜 뉴스를 생성하고 식별하는 데 사용된 최초의 프로젝트라고 주장합니다.

이 분야의 대부분의 최근 연구는 편향을 연구했거나 프롭агンダ 데이터를 편향의 맥락에서 재구성했습니다.

저자들은 다음과 같이 말합니다.

‘우리의 연구는 프롭агندا 기술을 통합하여 가짜 뉴스를 생성하며, 대부분의 올바른 정보를 보존합니다. 따라서 우리의 접근 방식은 인간이 작성한 가짜 뉴스를 방어하는 연구에 더 적합합니다.’

그들은 또한 다음과 같이 설명합니다.

‘인간이 작성한 부정확한 정보는 종종 특정 인구를 조작하기 위해 사용되며, 2016년 미국 대통령 선거, 브렉시트, 코로나19 대유행, 최근 러시아의 우크라이나 침공 등 여러 사건에서 치명적인 영향을 미쳤습니다. 따라서 우리는 인간이 작성한 부정확한 정보를 방어하기 위한 메커니즘을 필요로 합니다.’

이 논문은 가짜 뉴스를 위한 가짜 뉴스 감지: 프롭агندا 로드된 훈련 데이터 생성이라는 제목으로, 일리노이 주 어바나-샴페인 대학교, 컬럼비아 대학교, 카타르의 하마드 빈 할리파 대학교, 워싱턴 대학교, 앨런 인스티튜트 포 AI의 5명의 연구자에 의해 수행되었습니다.

거짓말의 정의

프롭агندا의 양을 측정하는 것은 주로 물리적인 문제입니다. 실제 자료의 프롭агندا와 같은 특성을 가진 실제 자료를 인식하고 주석을 달기 위해 인간을 고용하는 것은 매우 비용이 많이 들며, 미래의 데이터에서 작동할 가능성이 높은 고급 기능을 추출하고 사용하는 것은 훨씬 더 저렴할 수 있습니다.

보다 확장 가능한 솔루션을 제공하기 위해, 연구자들은 먼저 저널리즘 사실 확인 사이트를 통해 사실 정확성이 낮은 뉴스 소스에서 인간이 생성한 부정확한 정보 기사를 수집했습니다.

그들은 조사한 기사 중 33%가 감정 유발 단어, 논리적 오류, 권위에 대한 호소와 같은 부정직한 프롭агندا 기술을 사용한다는 것을 발견했습니다. 추가로 55%의 기사에는 부정확한 정보와 정확한 정보가 혼합되어 있었습니다.

권위에 대한 호소 생성

권위에 대한 호소 방식에는 두 가지 용례가 있습니다. 첫 번째는 부정확한 진술을 인용하는 것입니다. 두 번째는 완전히 허구의 진술을 인용하는 것입니다. 연구는 두 번째 용례에 중점을 둡니다.

새로운 프로젝트에서 권위에 대한 호소와 로드된 언어의 예

새로운 데이터셋을 위해 기계적으로 생성된 프롭агندا를 생성하기 위한 목적으로, 연구자들은 사전 훈련된 시퀀스 투 시퀀스 아키텍처 BART를 사용하여 나중에 프롭агندا로 변경될 수 있는 관련 문장을 식별했습니다. 이 작업과 관련된 공개 데이터셋이不存在했기 때문에, 저자들은 2019년에 제안된 추출적 요약 모델 을 사용하여 문장의 관련성을 추정했습니다.

각 뉴스 아웃렛에서 한 기사씩을 선택하여 연구자들은 이러한 ‘표시된’ 문장을 위키데이터 쿼리 서비스와 기사에서 언급된 권위자(즉, 사람이나 조직)에서 파생된 가짜 인수문으로 대체했습니다.

로드된 언어 생성

로드된 언어에는 사실을 전달하는 맥락에서 내재된 가치 판단을 포함하는 단어가 포함됩니다(위에 설명된 예와 같이, 감정 유발 어근이나 형용사).

로드된 언어에 대한 데이터를 파생하기 위해, 저자들은 2019년 연구 에서 2,547개의 로드된 언어 인스턴스를 포함하는 데이터셋을 사용했습니다. 2019년 데이터의 모든 예가 감정 유발 어근이나 형용사를 포함하지 않는 경우, 연구자들은 SpaCy를 사용하여 의존성 구문 분석과 부분 화용론 태깅을 수행하고, 프레임워크에 포함하기 위해 적절한 예만 유지했습니다.

필터링 과정의 결과는 1,017개의 유효한 로드된 언어 샘플이었습니다. 또 다른 BART 인스턴스를 사용하여 원본 문서의 관련 문장을 로드된 언어로 대체했습니다.

PropaNews 데이터셋

2015년 구글 딥마인드와 옥스포드 대학교의 CNN/DM 데이터셋에서 중간 모델 훈련을 수행한 후, 연구자들은 PropaNews 데이터셋을 생성하여 ‘신뢰할 수 있는’ 출처의 비중심 기사를 ‘수정된’ 버전으로 변환하여 프롭агندا로 채웠습니다.

이 실험은 17개의 뉴스 이벤트와 총 4,535개의 스토리를 대상으로 자동으로 생성된 타임라인 요약을 기반으로 2013년 한노버 연구에서 수행되었습니다.

생성된 부정확한 정보는 400명의 고유한 작업자에게 제출되었으며, 2000개의 인간 지능 작업을 수행했습니다. 작업자들이 ‘정확한’ 것으로 간주한 프롭агندا가 포함된 기사만이 최종 PropaNews 버전에 포함되었습니다. 불일치에 대한 판단은 작업자 동의도 집계(WAWA) 방법으로 수행되었습니다.

최종 PropaNews에는 2,256개의 기사가 포함되어 있으며, 30%는 권위에 대한 호소를 사용하며, 30%는 로드된 언어를 사용합니다. 나머지 기사에는 이전 데이터셋에서 주로 구성된 부정확한 정보가 포함되어 있습니다.

데이터는 1,256:500:500의 비율로 훈련, 테스트, 검증 분포로 나누어졌습니다.

HumanNews 데이터셋

훈련된 프롭агندا 감지 루틴의 효과성을 평가하기 위해, 연구자들은 2015년부터 2020년까지 출판된 200개의 인간이 작성한 뉴스 기사를 컴파일했습니다. 이 데이터에는 폴리티팩트에 의해 반박된 기사와 추가로 반박된 기사가 포함되어 있습니다.

이 데이터는 불신뢰할 수 있는 뉴스 미디어 아웃렛에서 추가로 반박된 기사와 함께 증강되었습니다. 컴퓨터 과학 전공 대학원생에 의해 사실 확인되었습니다.

최종 데이터셋인 HumanNews에는 로스앤젤레스 타임스의 100개 기사도 포함되어 있습니다.

테스트

감지 프로세스는 두 가지 형태로 이전 프레임워크와 경쟁했습니다. PN-Silver는 AMT 주석자 확인을 무시하며, PN-Gold는 확인을 기준으로 포함합니다.

경쟁 프레임워크에는 2019년 Grover-GEN, 2020년 Fact-GEN, 및 FakeEvent가 포함되었습니다. 여기서 PN-Silver의 문서는 이전 방법으로 생성된 문서로 대체되었습니다.

Grover와 RoBERTa의 변형은 새로운 PropaNews 데이터셋으로 훈련되었을 때 가장 효과적이었으며, 연구자들은 ‘PROPANEWS로 훈련된 감지기는 다른 데이터셋으로 훈련된 감지기보다 인간이 작성한 부정확한 정보를 식별하는 데 더 잘 수행됩니다’라고 결론지었습니다.

연구자들은 또한 PN-Silver가 다른 데이터셋에서 이전 방법을 능가한다는 것을 관찰했습니다.

구식?

저자들은 프롭агندا 중심의 가짜 뉴스를 자동으로 생성하고 식별하는 연구에 대한 부족을 다시 강조하며, 중요事件(예: 코로나, 동유럽 현재 상황) 이전에 수집된 데이터로 훈련된 모델이 최적의 성능을 발휘할 수 없다고 경고합니다.

‘인간이 작성한 부정확한 정보의 약 48%는 새로운 뉴스 소스에서 동적인 지식을 얻을 수 없는 능력으로 인해 발생합니다. 예를 들어, 코로나 관련 기사는 일반적으로 2020년 이후에 출판되며, ROBERTA는 2019년 이전의 뉴스 기사로 사전 훈련되었습니다. ROBERTA가 이러한 주제의 부정확한 정보를 감지하지 못하는 것은 매우 어렵습니다. 감지기가 뉴스 기사에서 동적인 지식을 얻을 수 있는 능력을 갖추지 않는 한 말입니다.’

저자들은 또한 ROBERTA가 2019년 이전에 출판된 가짜 뉴스 기사에서 69.0%의 정확도를 달성하지만, 2019년 이후에 출판된 뉴스 기사에서 51.9%의 정확도로 떨어진다고 주목합니다.

팔터링과 맥락

이 연구는 직접적으로 다루지 않지만, 이러한 종류의 심층적 언어 영향 분석은 궁극적으로 언어의 보다 미묘한 무기화, 즉 팔터링을 다룰 수 있습니다. 팔터링은 진실된 진술을 사용하여 자기 서비스적이고 선택적인 진실된 진술을 사용하여 원하는 결과를 얻는 것입니다. 이는 지원 증거의 정신과 의도를 반대할 수 있습니다.

관련 연구 분야인 NLP, 컴퓨터 비전 및 멀티모달 연구에서는 의미의 보조로서 맥락을 연구합니다. 여기서 진실된 사실의 선택적이고 자기 서비스적인 재정렬 또는 재맥락화는 사실이 일반적으로 제시되었을 때와는 다른 반응을 유도하려고 하는 시도와 동일합니다.

* 저자의 인라인 인용을 직접 하이퍼링크로 변환했습니다.

最初에 2022년 3월 11일에 게시되었습니다.