スタートアップがメールのハラスメントを検出するAIツールを作成

2017年後半にMe Too運動が注目されるようになって以来、性的ハラスメント、職場でのハラスメント、メールやインスタントメッセージでのハラスメントなどの事件に対する注目が高まっています。

The Guardianの報道によると、AI研究者やエンジニアは、テキストコミュニケーションでのハラスメントを検出するツールを作成しており、これをMeTooBotsと呼んでいます。MeTooBotsは、世界中の企業によって導入されており、潜在的に有害でハラスメント的なコミュニケーションをフラグ付けするために使用されています。例として、Nex AIという会社が作成したボットがあり、現在約50の企業で使用されています。このボットは、会社の文書、チャット、メールを分析し、トレーニングデータのいじめやハラスメントのメッセージと比較します。潜在的にハラスメントまたは有害と判断されたメッセージは、HRマネージャーにレビューのために送信できますが、Nex AIは、ボットが分析するコミュニケーションに対して具体的にどのような用語を探しているかについては明らかにしていません。

他のスタートアップも、ハラスメント検出ツールを開発しています。AIスタートアップのSpotには、従業員が性的ハラスメントの疑いのある事件を匿名で報告できるチャットボットがあります。ボットは質問をしてアドバイスを提供し、事件についての詳細を収集し、調査を進めます。Spotは、HRチームがハラスメントの問題に対処する際に、機密性を保ちながらも機敏に対応できるように支援したいと考えています。

The Guardianによると、MITとハーバードのAI教授であるBrian Subiranaは、ハラスメントを検出するためにAIを使用する試みには限界があると説明しています。ハラスメントは非常に微妙で、検出が難しく、頻繁に数週間のデータを分析することで明らかになるパターンとして現れます。ボットは、現在、特定のトリガー・ワードの検出を超えて、潜在的に作用している可能性のある人間関係や文化的ダイナミクスを分析することはできません。ハラスメントの検出の複雑さにもかかわらず、Subiranaは、ボットがオンライン・ハラスメントに対抗する役割を果たす可能性があると考えています。Subiranaは、ボットが、問題のあるメッセージのデータベースを作成し、人々がハラスメントを検出する際にトレーニングを受けるのに役立つ可能性があると考えています。また、ボットがメッセージを分析している可能性があるため、同僚をハラスメントする可能性が低くなる可能性があると述べています。

Subiranaは、ボットがハラスメントに対抗する潜在的な用途があると考えていますが、データの機密性とプライバシーが大きな懸念事項であると主張しています。Subiranaは、このような技術が誤用された場合、不信感と疑いの雰囲気を生み出す可能性があると述べています。女性の権利NGOであるFawcett Societyの最高経営責任者であるSam Smethersも、ボットが誤用される可能性について懸念を表明しています。Smethersは次のように述べています。

「私たちは、どのように技術が開発されているか、誰がその背後にあるか、取り組まれているアプローチが、職場文化がハラスメントを防ぎ、平等を促進することを目指しているか、または従業員をコントロールする別の方法であるかどうかを慎重に検討したいと思います。」

ボットを使用してハラスメントを検出しながら匿名性とプライバシーを保護する方法は、ボット開発者、企業、規制当局によって検討される必要があります。ボットとAIの予測力を活用しながらプライバシーを保護する方法の1つは、コミュニケーションを匿名で保つことです。たとえば、ボットは、潜在的に有害な言語の存在と、その言語が何回使用されたかを示すレポートを生成できます。HRは、その後、セミナーを受けた後、有毒な言語の使用が減少しているか、または増加しているかを判断できます。

ハラスメントを検出するために機械学習アルゴリズムとボットを使用することについての意見の相違にもかかわらず、双方とも、最終的にハラスメント事件に対処する決定は人間によって行われるべきであり、ボットはパターンの一致のみを通知し、ハラスメントの事例であると断定すべきではないと同意しています。