기존에 금지된 소셜 미디어 댓글 작성자를 기계 학습으로 재식별하기

존스 홉킨스 대학의 연구자들은 이전에 계정이 정지되었거나 여러 계정을 사용하여 아스트로터핑 또는 온라인 커뮤니티의 신뢰를 조작하는 사용자를 식별하기 위한 딥 메트릭 접근 방식을 개발했습니다.

이 접근 방식은 NLP 연구자 Aleem Khan이 주도하는 새로운 논문에 제시되었으며, 입력 데이터가 자동으로 또는 수동으로 주석이 달릴 필요는 없으며, 텍스트가 훈련 데이터에 존재하지 않는 경우에도 이전 시도보다 결과를 개선합니다.

시스템은 간단한 데이터 증강 스키마를 제공하며, 다른 크기의 임베딩이 300만 개의 댓글을 포함하는 높은 볼륨의 데이터셋에서 훈련됩니다.

존스 홉킨스 재식별 시스템의 모델 아키텍처, 주요 구성 요소는 1) 텍스트 콘텐츠, 2) 서브레딧 기능 및 3) 게시 시간/날짜입니다. 출처: https://arxiv.org/pdf/2105.07263.pdf

프레임워크는 Reddit 사용 데이터를 기반으로 텍스트 콘텐츠, 서브레딧 배치 및 게시 시간을 고려합니다. 세 가지 요소는 다양한 임베딩 방법을 포함하여 1차원 컨볼루션 및 선형 투영과 함께 결합되며, 주의 메커니즘 및 맥스 풀링 레이어로 지원됩니다.

시스템은 텍스트 도메인에 중점을 두고 있지만, 연구자들은 파생된 알고리즘이 높은 수준에서 빈도 발생을 작동하기 때문에 비디오 또는 이미지 분석에도 접근 방식을 번역할 수 있다고 주장합니다.

‘주제-이동’을 피하기

이와 같은 연구가 빠질 수 있는 함정 중 하나는 다른 계정의 게시물에서 특정 주제 또는 테마의 반복을 과도하게 강조하는 것입니다.

사용자가 실제로 반복적으로 또는 반복적으로 특정 사고의 흐름을 작성할 수 있지만, 주제는 시간이 지남에 따라 발전하고 ‘이동’할 가능성이 있으므로, 이는 신원 확인의 열쇠로 사용하는 데 가치가 떨어집니다. 저자들은 이러한 잠재적인 함정을 ‘잘못된 이유로 옳은 것’으로 특징지으며, 이는 이전에 존스 홉킨스에서 연구되었습니다.

훈련 방법론

시스템은 혼합 정밀도 훈련을 사용합니다. 이는 2018년 Baidu와 NVIDIA에서 제시한 혁신으로, 16비트 부동 소수점 값을 사용하여 메모리 요구 사항을 절반으로 줄입니다. 데이터는 두 개의 V100 GPU에서 훈련되었으며, 평균 훈련 시간은 72시간이었습니다.

스키마는 단순화된 텍스트 인코딩을 사용하며, 2-4개의 서브워드로 제한된 컨볼루셔널 인코더를 사용합니다. 이러한 프레임워크의 평균 길이는 최대 5개의 서브워드이지만, 연구자들은 이 경제가 랭킹 성능에 영향을 미치지 않았으며, 실제로 서브워드를 최대 5개로 증가시키면 랭킹 정확도가 저하된다는 것을 발견했습니다.

데이터셋

연구자들은 2020년 Pushshift Reddit Corpus 데이터셋에서 300만 개의 Reddit 게시물로 구성된 Million User Dataset(MUD)을 파생했습니다.

데이터셋은 2015년 7월에서 2016년 6월 사이에 100-1000개의 게시물이 게시된 Reddit 저자들의 모든 게시물을 포함합니다. 시간에 따라 샘플링하면 연구의 목적에 충분한 기록 길이를 제공하며, 연구의 목적에 포함되지 않는 간헐적인 스팸 게시물의 영향을 줄입니다.

존스 홉킨스 재식별 프로젝트를 위한 파생된 데이터셋의 통계

결과

아래 이미지는 훈련의 1시간 간격으로 랭킹 정확도가 테스트됨에 따라 결과의 누적 개선 사항을 보여줍니다. 6시간 후에 시스템은 관련된 이전 시도의 기준 성과를 초과합니다.

삭제 연구에서 연구자들은 워크플로에서 서브레딧 기능을 제거하는 것이 랭킹 정확성에 놀랍게도 거의 영향을 미치지 않는다는 것을 발견했습니다. 이는 시스템이 매우 효과적으로 일반화되고, 강력한 기능 도구를 갖추고 있음을 시사합니다.

게시 빈도作为 재식별 서명

이는 또한 프레임워크가 텍스트 콘텐츠와 게시 날짜/시간만 사용하는 다른 댓글 또는 게시 시스템으로 쉽게 전환될 수 있음을 의미합니다. 본질적으로, 게시 빈도는 실제 텍스트 콘텐츠에 대한 유용한 보조 지표입니다.

연구자들은 동일한 추정을 단일 서브레딧의 콘텐츠 내에서 수행하는 것이 더 큰 도전이 될 수 있으며, 서브레딧 자체가 주제 프록시로 작용하기 때문입니다. 추가적인 스키마가 이 역할을 수행하기 위해 필요할 수 있습니다.

연구는 이러한 제한 내에서 약속하는 결과를 달성할 수 있었지만, 시스템은 높은 볼륨에서 더 잘 작동하며, 게시 볼륨이 낮은 경우 사용자를 재식별하는 데 더 어려움을 겪을 수 있다는 유의점이 있습니다.

작업 개발

대조적으로, 많은 지도 학습과제와 달리, Hopkins 재식별 스키마의 기능은 이산적이고 강력하여, 시스템의 성능은 데이터 볼륨이 증가함에 따라 현저히 개선됩니다.

연구자들은 게시 시간에 대한 분석에 대한 더 세분화된 접근 방식을 채택하여 시스템을 개발하고자 합니다. 이는 로봇 스팸머(자동 또는 그렇지 않음)의 예측 가능한 일정은 이러한 접근 방식에 의해 식별될 수 있으며, 이는 연구의 주요 목적이 악의적인 사용자에게 있지만, 로봇 콘텐츠를 더 효과적으로 제거하거나 자동화된 콘텐츠를 식별하는 데 도움이 될 수 있습니다.