기한이 만료된 ‘진실’을 기계 학습으로 낮추기

때로는 진실은 만료 기한이 있습니다. 시간 제한이 있는 주장(예: “공공 교통에서 마스크를 착용하는 것이 의무입니다”)이 검색 엔진 순위에 나타날 때, 그 주장의 명백한 ‘권위적인’ 해결책은 수년 동안 그대로 남아 있을 수 있으며, 동일한 주제에 대한 후속 및 더 정확한 콘텐츠를 능가하는 순위를 유지할 수 있습니다.

이것은 검색 엔진 알고리즘의 ‘장기적’ 정의적인 해결책을 식별하고 승격시키려는 결정과, 시간이 지남에 따라 유지되는 잘 연결된 콘텐츠를 우선시하는 성향의 부산물이며, 가짜 뉴스가 등장하는 시대에 새로운 콘텐츠에 대한 점점 더 주의하는 태도의 결과입니다.

반대로, 콘텐츠와 관련된 타임스탬프가 임의의 ‘유효 기간’을 넘긴 경우에만 가치 있는 웹 콘텐츠를 평가 降low하는 것은, 진정으로 유용한 콘텐츠가 자동으로 하위 순위로 降low되어, 이후에 나타날 수 있는 더 낮은 수준의 콘텐츠를 우선시하는 것을 위험으로 돌릴 수 있습니다.

이러한 증상을 바로잡기 위해, 이탈리아, 벨기에, 덴마크의 연구자들이 기계 학습 기술을 사용하여 시간에 따라 증거 순위를 매기는 방법론을 개발한 새로운 논문이 있습니다.

기한이 만료된 답변을 넘어서

이 논문은 이스프라의 유럽 연합 공동 연구 센터(JRC), 루벤의 카톨릭 대학교, 코펜하겐 대학교의 연구자들이 저술했습니다.

이 연구는 세 가지 사실 확인 방법에 대해 네 가지 시간 순위 방법을 적용하여, 증거 타임스탬프를 ‘골드 표준’으로 사용하는 새로운 순위 방법론을 제공합니다. 연구 결과에 따르면, 시간에 따른 증거 순위는 결과의 이해도를 높이고, 시간에 민감한 사실과 주장의 권위와 진실성 예측을 개선합니다.

이 연구는 후속 시스템이나 기존 시스템의 보조로 제공되며, 연구를 지원하고 새로운 검색 엔진 알고리즘 개발에 포함될 수 있는 추가 요인으로 설계되었습니다.

이 연구는 콘텐츠 기반 사실 확인을 위한 증거의 시간 동적을 모델링하며, 일반적인 검색 엔진 순위 알고리즘이 사용하는 ‘의미적 유사성’ 접근법을 능가합니다. 연구자들이 훈련한 모델은 최적화된 순위 학습 함수를 사용하며, 기존的事実 확인 아키텍처에 쉽게 겹쳐질 수 있습니다. 연구자들은 이 시스템이 자동화된 사실 확인에 새로운 기여라고 주장합니다.

다중 사실 확인 아키텍처 수정

연구자들은 세 가지 기존 사실 확인 아키텍처에 시간 제약을 적용했습니다. 첫 번째 아키텍처는 2019년에 발표된 MultiFC 데이터셋에서 제안된 양방향 롱 쇼트 텀 메모리(BiLSTM) 모델입니다.

두 번째 아키텍처는 첫 번째 아키텍처의 수정판으로, LSTM 구성 요소를 대체하는 단방향 재귀 신경망(RNN)입니다.

연구자들이 사용한 세 번째 모델은 Hugging Faces 라이브러리의 DistilBERT 트랜스포머로, Google의 BERT NLP 모델의 축소판입니다.

세 가지 아키텍처 모두에서 연구자들은 Microsoft가 주도한 연구에서 기여한 ListMLE 손실 함수를 적용했습니다.

연구 팀이 권위와 이후 순위 값에 대한 필터로 시간 구성 요소를 추가한 두 가지 주요 사실 확인 모델 출처: https://arxiv.org/pdf/2009.06402.pdf

타임스탬프 값은 훈련 메타데이터에서 추출되어 각 모델의 순위 요인으로 포함되었습니다.

테스트

시스템의 실험적 평가에는 MultiFC 데이터셋을 사용했으며, 이는 현재 이 연구 관심에 대한 유일한 고용량 오픈 소스 데이터셋입니다. MultiFC에는 26개의 서로 다른 사실 확인 도메인에서 얻은 34,924개의 실제 주장이 포함되어 있으며, Snopes와 워싱턴 포스트도 포함되어 있습니다.

각 주장의 진실성 예측은 Google Search API에서 제공한 10개의 증거 스니펫으로 보강되며, 스피커, 태그 및 카테고리와 같은 요소를 결합하여 예측합니다.

관련 타임스탬프는 항상 메타데이터에 포함된 것이 아닙니다. 기사에서 이전 시간의 사건을 참조할 수 있으며, 이 경우 연구자들의 시스템은 직접 텍스트에서 데이터를 추출하고 변환해야 했습니다. 이 과정이 없으면,旧된 뉴스가 새로운 광택을 받을 수 있으며, 특히 높은 권위의 사이트에서는 구식 데이터를 전파할 수 있습니다.

날짜는 Python 루틴을 사용하여 추출되었으며, 공식 메타데이터 날짜는 형식 일관성을 확인하기 위해 테스트되었습니다(예: 미국과 영국의 날짜 형식은 다르기 때문입니다). 수동으로 확인한 결과, 타임스탬프 메타데이터에서 오류는 발견되지 않았습니다.

결과

수동 확인된 자동화된 결과에 따르면, 시간에 따른 증거 순위는 순수한 의미적 유사성 또는 SERPs 순위에 기반한 관련성 가정에서 크게 개선되었습니다. 또한 시간에 민감한 주장에 대한 진실성 예측을 개선한다고 주장합니다(즉, 뉴스 상황이 빠르게 변경되는 경우 및 최신 정보를 우선시해야 하는 경우).

연구자들은 이 접근법이 정치, 엔터테인먼트와 같은 변동성이 큰 주제에 대한 순위 모델을 개선하는 데 높은 가치를 가질 것이라고 주장합니다. 여기서 정보는 빠르게 변경되며, 높은 순위를 차지한 개발은 자동으로 순위에서 降low되어야 합니다.