증오심 표현 탐지 알고리즘 개선을 위한 새로운 연구 시도

소셜 미디어 회사, 특히 Twitter는 오랫동안 발언에 플래그를 지정하고 금지할 계정을 결정하는 방법에 대해 비판을 받아 왔습니다. 근본적인 문제는 거의 항상 온라인 게시물을 모니터링하는 데 사용하는 알고리즘과 관련이 있습니다. 인공 지능 시스템은 이 작업과 관련하여 완벽하지 않지만 이를 개선하기 위해 지속적으로 작업이 수행되고 있습니다. 

그 작업에는 다음이 포함됩니다. 새로운 연구 인종적 편견을 초래할 수 있는 특정 오류를 줄이려고 시도하는 University of Southern California에서 나옵니다.

컨텍스트 인식 실패

많은 관심을 받지 못하는 문제 중 하나는 혐오 발언의 확산을 막으려 하지만 실제로는 인종적 편견을 증폭시키는 알고리즘과 관련이 있습니다. 이는 알고리즘이 컨텍스트를 인식하지 못하고 결국 소수 그룹의 트윗에 플래그를 지정하거나 차단할 때 발생합니다.

컨텍스트와 관련하여 알고리즘의 가장 큰 문제는 "흑인", "게이", "트랜스젠더"와 같은 특정 그룹 식별 용어에 과민하다는 것입니다. 알고리즘은 이러한 증오심 표현 분류자를 고려하지만 해당 그룹의 구성원이 자주 사용하므로 설정이 중요합니다.

맥락맹이라는 이 문제를 해결하기 위해 연구자들은 상황에 더 잘 맞는 증오심 표현 분류기를 만들었습니다. 새로운 알고리즘은 게시물을 증오심 표현으로 잘못 표시할 가능성이 적습니다.

알고리즘

연구원들은 두 가지 새로운 요소를 염두에 두고 새로운 알고리즘을 개발했습니다. 그룹 식별자와 관련된 맥락과 비인간적인 언어와 같은 게시물에 증오심 표현의 다른 특징이 있는지 여부입니다.

Brendan Kennedy는 컴퓨터 과학 박사입니다. ACL 6에서 2020월 XNUMX일에 발표된 이 연구의 학생이자 공동 저자입니다.

Kennedy는 "우리는 증오심 표현 감지를 실제 적용 준비에 더 가깝게 옮기고 싶습니다."라고 말했습니다.

"증오심 표현 감지 모델은 소셜 미디어나 기타 온라인 텍스트 데이터와 같은 실제 데이터에 도입될 때 종종 '손상'되거나 잘못된 예측을 생성합니다. 증오 발언으로 사회적 식별 용어.”

알고리즘이 종종 부정확한 이유는 증오심 표현 비율이 매우 높은 불균형 데이터 세트에 대해 훈련되었기 때문입니다. 이 때문에 알고리즘은 현실 세계에서 소셜 미디어가 실제로 어떻게 보이는지 처리하는 방법을 배우지 못합니다. 

Xiang 교수는 자연어 처리 전문가입니다.

"식별자를 무시하지 않고 올바른 컨텍스트와 일치시키는 것이 모델의 핵심입니다."라고 Ren은 말했습니다.

"균형이 맞지 않는 데이터 세트에서 모델을 가르치면 모델이 이상한 패턴을 선택하고 사용자를 부적절하게 차단하기 시작합니다."

알고리즘을 테스트하기 위해 연구원들은 혐오 발언 비율이 높은 두 개의 소셜 미디어 사이트에서 임의의 텍스트 샘플을 사용했습니다. 이 텍스트는 처음에 인간에 의해 편견이 있거나 비인간적이라고 표시되었습니다. 최신 모델은 혐오 표현이 없는 12,500개의 New York Times 기사를 사용하여 혐오 표현이 아닌 표현을 부적절하게 표시한 연구원의 자체 모델과 비교하여 측정되었습니다. 최첨단 모델은 증오와 증오가 아닌 것을 식별하는 데 77%의 정확도를 달성할 수 있었지만 연구원의 모델은 90%로 더 높았습니다. 

Kennedy는 “이 작업 자체만으로는 증오심 표현 탐지를 완벽하게 만들지 못합니다. 이는 많은 사람들이 작업하고 있는 거대한 프로젝트이지만 점진적인 발전을 이루고 있습니다.”라고 말했습니다.

"보호된 그룹 구성원의 소셜 미디어 게시물이 부적절하게 검열되는 것을 방지하는 것 외에도, 우리는 우리의 작업이 증오심 표현 감지가 사회 집단과의 거짓된 편견 및 비인간화 연결을 강화하여 불필요한 해를 끼치지 않도록 하는 데 도움이 되기를 바랍니다."