スタートアップが開発するメールハラスメント検出のためのAIツール

2017年後半にMe Too運動が注目されるようになって以来、性的ハラスメント、職場でのハラスメント、メールやインスタントメッセージでのハラスメントなどの事件に対する注目が高まっています。

ガーディアンの報道によると、AIの研究者やエンジニアは、テキストコミュニケーションでのハラスメントを検出するためのツールを作成しています。これらのツールはMeTooBotsと呼ばれています。MeTooBotsは、世界中の企業によって実装されており、潜在的に有害でハラスメント的なコミュニケーションをフラグ付けするために使用されています。例えば、Nex AIという企業が作成したボットは、約50の企業で使用されています。このボットは、企業の文書、チャット、メールを分析し、トレーニングデータのいじめやハラスメントのメッセージと比較します。潜在的にハラスメントまたは有害と判断されたメッセージは、HRマネージャーにレビューされることができます。ただし、Nex AIは、ボットが分析するコミュニケーションに対する特定の条件については明らかにしていません。

他のスタートアップも、AIを使用したハラスメント検出ツールを作成しています。AIスタートアップのSpotは、従業員が性的ハラスメントの疑いのある事件を匿名で報告できるチャットボットを所有しています。ボットは、質問をしてアドバイスを提供することで、さらに詳細を収集し、事件の調査を進めることができます。Spotは、HRチームがハラスメントの問題に対処する際に、機密性を保ちながらも感受性を持って対応できるように支援したいと考えています。

ガーディアンによると、MITとハーバードのAI教授であるブライアン・スビラナは、ハラスメントを検出するためにAIを使用する試みには限界があると説明しています。ハラスメントは非常に繊細で、検出が難しいことが多く、頻繁にパターンとして現れ、数週間のデータを分析することで明らかになることがあります。ボットは、現在のところ、特定のトリガーワードの検出を超えて、潜在的に関与する可能性のある人間関係や文化的ダイナミクスを分析することはできません。ハラスメントを検出することの複雑さにもかかわらず、スビラナは、ボットがオンラインハラスメントに対抗する役割を果たす可能性があると考えています。スビラナは、ボットを使用して、ハラスメントを検出するために人々をトレーニングし、潜在的に問題のあるメッセージのデータベースを作成することができると考えています。スビラナは、ボットが使用されていることを知っている人々が、同僚をハラスメントする可能性が低くなる可能性がある、プレイスボ効果が存在する可能性も示唆しています。

スビラナは、ボットがハラスメントに対抗する潜在的な用途を信じている一方で、データの機密性とプライバシーの問題についても懸念を表明しています。スビラナは、このような技術が誤用された場合、不信感と疑いの雰囲気を生み出す可能性があると述べています。女性の権利擁護団体ファーセット・ソサエティーの最高経営責任者であるサム・スメザースも、ボットが誤用される可能性について懸念を表明しています。スメザースは、次のように述べています。

「私たちは、技術がどのように開発されているか、誰がその背後にあるか、取り組まれているアプローチが、ハラスメントを防止し、平等を促進しようとする職場文化によって情報に基づいているか、または従業員をコントロールする別の方法であるかどうかを慎重に検討したいと思います。」

ボットを使用してハラスメントを検出しながら匿名性とプライバシーを保護する方法については、ボットの開発者、企業、規制当局が協力して解決する必要があります。ボットとAIの予測能力を利用しながらプライバシーを保護するための可能な方法の1つは、コミュニケーションを匿名で保持することです。たとえば、ボットは、潜在的に有害な言語の存在と、その言語が何回使用されたかを示すレポートを生成できます。HRは、意識向上セミナー後に有毒な言語の使用が減少したかどうかを判断したり、増加した場合に警戒する必要があるかどうかを判断できます。

ハラスメントを検出するためにマシンラーニングアルゴリズムとボットを使用することについての意見の相違にもかかわらず、最終的なハラスメントへの介入の決定は人間によって行われるべきであり、ボットはパターンの一致を人々に警告するだけで、ハラスメントのインスタンスであると断定すべきではないという点で、双方が同意しているようです。