연구자들은 온라인에서 혐오스러운 발언을 방지하기 위해 인공 지능을 훈련시키고 있다

가짜 뉴스와 온라인에서 혐오스러운 발언은 매일 매일이 아닌 매분마다 발생하는 문제가 되고 있다. IkigaiLab에 따르면, 페이스북과 트위터는 최근에 15억 개 이상의 계정과 7,000만 개의 계정을 폐쇄해야 했는데, 이는 세계적으로 가짜 뉴스와 혐오스러운 발언의 확산을 막기 위한 최소한의 노력이었다. (META )

그러나 현재 이러한 작업을 수행하는 것은 엄청난 인력과 거의 연중무휴로 일할 수 있는 시간이 필요하다. 이러한 문제를 해결하기 위해 여러 연구소의 연구자들은 이 거대한 작업을 도와줄 인공 지능(AI)을 훈련시키기 시작했다.

Ikigai는 페이스북에서 사용하는 로제타 시스템을 언급하는데, 이 시스템은 업로드된 뉴스, 이미지 또는 기타 콘텐츠의 진위를 이해하는 데 사용된다. 로제타는 단어, 그림, 언어, 글꼴, 게시물 날짜 등을 포함한 여러 변수를 스캔하고 제공된 정보가 진실한지 아닌지를 확인하려고 한다. 시스템이 정보를 수집한 후, AI가 아직도 은유, 참조, 경멸, 콘텐츠가 게시된 맥락을 완전히 이해하지 못한다는 점을 고려하여, 인간 모더레이터가 개입하여 AI 시스템이 혐오스러운 발언과 가짜 뉴스를 발견하도록 도와준다.

혐오스러운 발언의 모든 가능한 뉴앙스를 다룰 수 있는 AI 시스템의 능력을 더욱 발전시키기 위해, UC 산타바바라와 인텔의 연구자들은 TheNextWeb (TNW)에 따르면, “레딧과 가브의 가장 더러운 커뮤니티에서 수천 개의 대화를 가져와 혐오스러운 발언에 대처하기 위한 AI를 훈련시키기 위해 사용했다”고 한다. (INTC )

그들의 보고서에 따르면, 이를 수행하기 위해, 공동 연구자들은 “혐오스러운 발언으로 가득 찬” 대화를 특정하여 수천 개의 대화를 특정 데이터셋으로 만든다. 또한 Justin Caffier of Vox가 编纂한 레딧에서 혐오스러운 발언을 사용하는 그룹 목록을 사용했다.

연구자들은 레딧에서 2만 개 이상의 댓글과 가브에서 3만 개 이상의 댓글을 수집했다. 두 사이트는 유사한 인기 있는 혐오스러운 키워드를 보여주지만, 분포는 매우 다르다.

그들은 이러한 차이로 인해 소셜 미디어가 실시간으로 개입하기가 매우 어려우며, 혐오스러운 발언의 흐름이 너무 많아 수많은 사람이 이를 따라가야 한다고 지적했다.

문제를 해결하기 위해, 연구 팀은 혐오스러운 발언에 개입하기 위해 AI를 훈련시키기 시작했다. 초기 데이터베이스는 Amazon (AMZN ) Turk 작업자에게 레이블을 지정하기 위해 보냈다. 혐오스러운 발언의 개별 인스턴스를 식별한 후, 작업자들은 AI가 사용하여 “사용자가 tương lai에서 유사한 혐오스러운 발언을 게시하지 않도록阻止”하는 구문을 만들었다.

이 데이터셋과 개입 데이터베이스를 다양한 기계 학습과 자연어 처리 시스템을 통해 실행하여 “온라인 혐오스러운 발언 개입 AI”의 원형을 만들었다.

생성된 결과는优秀했다. 그러나 개발이 아직 초기 단계에 있기 때문에, 시스템은 아직 활발히 사용할 수준은 아니다. 설명된 바와 같이, “시스템은 이론적으로 혐오스러운 발언을检测하고 게시자에게 왜 그런 것을 게시해서는 안 되는지 알리는 메시지를 즉시 보낼 수 있어야 한다. 이것은 단순히 키워드 감지를 넘어서는 것이며, AI가 맥락을 올바르게 이해해야 한다”고 한다.