이메일 괴롭힘을 감지하는 AI 도구를 개발하는 스타트업

2017년 후반에 Me Too 운동이 주목을 받은 이후로, 성희롱 사건에 대한 관심이 더욱 높아졌고, 특히 직장 내 괴롭힘과 이메일 또는 即時 메시지로 인한 괴롭힘에 대한 관심이 높아졌다.

가디언에 따르면, AI 연구자와 엔지니어들은 MeTooBots라는 이름의 텍스트 통신으로 괴롭힘을 감지하는 도구를 개발하고 있다. MeTooBots는 전 세계의 회사에서 잠재적으로 유해하고 괴롭힘성 통신을 표시하기 위해 구현되고 있다. 예를 들어, Nex AI라는 회사가 개발한 봇은 현재 약 50개의 다른 회사에서 사용되고 있다. 이 봇은 알고리즘을 사용하여 회사 문서, 채팅, 이메일을 분석하고 훈련 데이터와 비교한다. 잠재적으로 괴롭힘성 또는 유해한 것으로 판단되는 메시지는 HR 매니저에게 검토를 위해 전송될 수 있다. 그러나 Nex AI는 분석하는 통신에서 봇이 찾는 구체적인 용어를 공개하지 않았다.

다른 스타트업도 AI 기반 괴롭힘 감지 도구를 개발했다. AI 스타트업 Spot은 성희롱 의혹을 익명으로 보고할 수 있는 채팅봇을 보유하고 있다. 봇은 질문을 하고 조언을 제공하여 추가 세부 정보를 수집하고 사건을 조사한다. Spot은 HR 팀이 괴롭힘 문제를 민감하게 다루면서 익명성을 유지하는 것을 도와주고 싶어한다.

가디언에 따르면, MIT와 하버드의 AI 교수인 브라이언 수비라나(Brian Subirana)教授는 AI를 사용하여 괴롭힘을 감지하는 시도에는 한계가 있다고 설명했다. 괴롭힘은 매우 미묘하고 어려워서, 때때로 여러 주에 걸쳐 데이터를 분석해야만 나타나는 패턴으로만 나타날 수 있다. 봇은 아직 특정 트리거 단어를 감지하는 것 이상으로, 잠재적으로 작용하는 대인적 또는 문화적 역동성을 분석할 수 없다. 그러나 수비라나는 봇이 온라인 괴롭힘을 방지하는 데役割을 할 수 있다고 믿는다. 수비라나는 봇을 사용하여 사람들이 괴롭힘을 감지하는 방법을 교육하고, 잠재적으로 문제가 있는 메시지의 데이터베이스를 생성할 수 있다고 말했다. 또한, 수비라나는 사람들이 동료를 괴롭히는 것을 줄일 수 있는 пла시보 효과가 있을 수 있다고 말했다.

수비라나는 봇이 괴롭힘을 방지하는 데役割을 할 수 있다고 믿지만, 데이터의 기밀성과 개인 정보 보호가 주요 문제라고 주장했다. 수비라나는 이러한 기술이 잘못 사용될 경우 불신과 의심의 분위기를 조성할 수 있다고 말했다. 여성 인권 NGO인 Fawcett Society의 최고 경영자인 샘 스메더스(Sam Smethers)도 봇이 잘못 사용될 경우에 대한 우려를 표명했다. 스메더스는 다음과 같이 말했다.

“우리는 기술이 어떻게 개발되고, 누가 개발했으며, 접근 방식이 괴롭힘을 방지하고 평등을 촉진하는 작업장 문화에 의해 정보를 제공하는지 여부를 주의 깊게 살펴보아야 한다. 또한, 그것이 실제로 직원을 통제하는 또 다른 방법인지 여부를 확인해야 한다.”

봇을 사용하여 괴롭힘을 감지하면서 익명성과 개인 정보를 보호하는 방법은 개발자, 회사, 및 규제 기관 간에 협의되어야 한다. 봇과 AI의 예측력을 사용하면서 개인 정보를 보호하는 가능한 방법 중 하나는 통신을 익명으로 유지하는 것이다. 예를 들어, 봇은 잠재적으로 유해한 언어의 존재와 그 언어가 나타나는 횟수를 포함하는 보고서를 생성할 수 있다. HR은 그러면 유해 언어의 사용이 감소하는지 또는 증가하는지 여부를 확인할 수 있다.

마침내, 기계 학습 알고리즘과 봇을 사용하여 괴롭힘을 감지하는 데 대한 의견 차이에도 불구하고, 양측 모두 괴롭힘 사건에 대한 최종 결정은 인간에 의해 내려져야 하며, 봇은 패턴을 일치시킨 것에 대해 사람들에게만 경고를 해야 한다는 데 동의한다. 봇은 절대적으로 괴롭힘이 발생했다고 말해서는 안 된다.