새 연구, 혐오스러운 발언 감지 알고리즘 개선 시도

소셜 미디어 회사, 특히 트위터는 오랫동안 발언을 표시하고 어떤 계정을 금지할지 결정하는 방식으로 비판을 받아왔다. 근본적인 문제는 거의 항상 이러한 작업을 모니터링하는 알고리즘과 관련이 있다. 인공 지능 시스템은 이 작업에 대해 완벽하지 않지만 항상 개선하려는 노력이 진행 중이다.

이러한 노력 중 하나는 남부 캘리포니아 대학교(University of Southern California)에서 나온 새로운 연구로, 인종 편향을 초래할 수 있는 특정 오류를 줄이려는 시도이다.

맥락을 인식하지 못하는 실패

주의를 받지 않는 문제 중 하나는 혐오스러운 발언을 퍼트리지 않도록 설계된 알고리즘이 실제로 인종 편향을 증폭시킬 수 있다는 것이다. 이것은 알고리즘이 맥락을 인식하지 못하고 소수자 그룹의 트윗을 표시하거나 차단할 때 발생한다.

알고리즘의 맥락과 관련된 가장 큰 문제는 특정 그룹 식별자(예: “블랙”, “게이”, “트랜스 젠더”)에 대해 과민 반응한다는 것이다. 알고리즘은 이러한 용어를 혐오스러운 발언 분류자로 간주하지만, 이러한 용어는 종종 해당 그룹의 구성원에 의해 사용되며, 상황은 중요하다.

이 맥락 무시 문제를 해결하기 위해 연구자들은 더 맥락에 민감한 혐오스러운 발언 분류자를 만들었다. 새로운 알고리즘은 혐오스러운 발언으로 잘못 분류될 가능성이 낮다.

알고리즘

연구자들은 두 가지 새로운 요소를 고려하여 새로운 알고리즘을 개발했다. 첫 번째는 그룹 식별자에 대한 맥락, 두 번째는 게시글에 혐오스러운 발언의 다른 특징(예: 비인간화 언어)이 있는지 여부이다.

브렌던 케네디(Brendan Kennedy)는 컴퓨터 과학 박사 과정 학생이자 연구의 공동 저자이다. 이 연구는 2020년 7월 6일 ACL에서 발표되었다.

“우리는 혐오스러운 발언 감지 기술을 현실 세계에 적용할 수 있도록 더 가까이 가져오고 싶다”고 케네디는 말했다.

“혐오스러운 발언 감지 모델은 종종 현실 세계 데이터(예: 소셜 미디어 또는 기타 온라인 텍스트 데이터)에 노출되면 ‘깨지거나’ 나쁜 예측을 생성한다. 왜냐하면 이러한 모델은 사회 식별 용어가 혐오스러운 발언과 관련이 있는 것으로 훈련 데이터에 편향되기 때문이다.”

알고리즘이 정확하지 않은 이유는 극도로 불균형된 데이터 세트(예: 혐오스러운 발언 비율이 매우 높은 데이터 세트)에서 훈련되기 때문이다. 이러한 알고리즘은 실제로 소셜 미디어가 어떻게 보이는지 배우지 못한다.

장샹 교수는 자연어 처리 전문가이다.

“모델은 식별자를 무시하지 말고, 올바른 맥락과 일치시켜야 한다”고 렌은 말했다.

“불균형된 데이터 세트에서 모델을 가르치면, 모델은 이상한 패턴을 학습하고 사용자를 부적절하게 차단한다.”

알고리즘을 테스트하기 위해 연구자들은 혐오스러운 발언이 많은 두 소셜 미디어 사이트의 텍스트를 무작위로 샘플링했다. 텍스트는 먼저 인간에 의해 편견적이거나 비인간화된 것으로 표시되었다. 최신 모델은 연구자들의 모델과 비교하여 혐오스러운 발언이 아닌 것을 부적절하게 표시하는 방식으로 측정되었다. 12,500개의 뉴욕 타임즈 기사(혐오스러운 발언 없음)를 사용했다. 최신 모델은 77%의 정확도로 혐오스러운 발언과 비혐오스러운 발언을 식별할 수 있었지만, 연구자들의 모델은 90%의 정확도를 달성했다.

“이 연구는 혐오스러운 발언 감지 기술을 완벽하게 만드는 것이 아니다. 그것은 많은 사람들이 작업하는 거대한 프로젝트이지만, 점진적인 진행이다”고 케네디는 말했다.

“우리는 우리의 연구가 보호된 그룹의 소셜 미디어 게시글이 부적절하게 검열되지 않도록 방지하는 것 외에도, 혐오스러운 발언 감지 기술이 불필요한 피해를 입히지 않도록 하여, 사회 집단과 관련된 편견 및 비인간화의 허위 연관성을 강화하지 않도록 도와주기를 바란다”고 케네디는 말했다.