AIを活用したコンテンツモデレーションに、今なお人間の判断が必要な場面

ユーザーが何百万人もいるコミュニティでは、有害な行為がモデレーターによる発見や対処よりも速く広がることがあります。小規模なコミュニティでは、直接目を配ることに大きく頼れます。モデレーターは常連の参加者を知り、コミュニティの文化を理解しているため、問題を引き起こす行為をたいていすぐに見つけられます。しかし、コミュニティの規模が数十万人、あるいは数百万人に達すると、活動を手作業で評価することははるかに難しくなります。サブグループが生まれ、言葉遣いが変化し、誰かがパターンに気づく前に、有害な行為が多数のアカウントや会話を通じて広がることもあります。

モデレーターを増やせば対応力は高まりますが、どのモデレーションチームにも、使える時間と注意力には限りがあります。大規模なコミュニティには、日常的な活動を継続的に処理し、異常な行動を早期に特定するとともに、判断が必要な状況に集中できるだけの文脈をモデレーターに提供する基盤が必要です。

こうした事情から、モデレーションはますますシステムエンジニアリングの領域に位置づけられるようになっています。検知、エスカレーション、しきい値、可観測性、フィードバックは、いずれもコミュニティが成長するなかで健全さを保てるかどうかに影響します。

規模が大きくなると最も変わるのは、例外的なケースが珍しくなくなることです。特定の行為の影響を受けるユーザーがごく一部にすぎなくても、何百万人もの人がいるコミュニティでは、モデレーターが絶えず遭遇する事態になり得ます。また、個々のやり取りをすべて理解することも難しくなるため、適切なモデレーションには、背後にある文脈を見失わずにパターンを特定することがますます求められます。

大規模なモデレーションにはパターン認識が必要

多くのモデレーションツールは、比較的単純なトリガーをもとに作られました。禁止語が使われた、ユーザーから報告が寄せられた、あるいはモデレーターがルール違反に気づいて対処した、といったものです。

大規模なコミュニティでは、より複雑なシグナルが生じます。スパムが一度に数十のアカウントから届くことがあります。ハラスメントが複数の会話にわたって徐々に進行することもあります。組織的な嫌がらせでは、個別に見れば無害に思える行為が組み合わさる場合があります。新しいアカウントがしばらく通常どおりに振る舞った後、突然、同一のリンクやメッセージを投稿し始めることもあります。

システムが時間の経過に伴う行動を評価すると、こうした状況を特定しやすくなります。脅威を示すシグナルには、メッセージの頻度、重複コンテンツ、アカウントの利用期間、リンクの繰り返し、投稿活動の急増、不自然な参加パターン、過去の措置、アカウント間の関係などがあります。シグナルが一つだけでは、ほとんど何も分からないことがあります。一方、複数のシグナルが同時に現れれば、より詳しく確認すべき事態だと判断できます。

たとえば、英国の通信規制機関Ofcomは、データ収集、モデル開発、導入、監視、評価を含む幅広いプロセスの一環として、コンテンツを自動分類するシステムを検討しています。

文脈が加わると、問題はさらに難しくなります。短時間にメッセージが大量に投稿される状況は、専門家向けフォーラムではスパムの兆候かもしれませんが、ライブイベント中なら通常の行動かもしれません。また、言葉の意味は、人間関係、共有されている話題、コミュニティの規範によって大きく異なることがあります。

効果的なモデレーション基盤には、設定可能なルール、コミュニティごとのしきい値、過去の行動に関するシグナルが必要です。メッセージの頻度はその好例です。ユーザーが非常に速いペースで投稿している場合、スパムを送っている可能性もありますが、ライブイベントや進行の速い会話に積極的に参加しているだけかもしれません。同じアカウントが作成されたばかりで、同一のコンテンツを繰り返し投稿し、複数のチャンネルに同じリンクを送っているなら、それらを組み合わせたシグナルははるかに明確な意味を持ちます。

自動化によって、モデレーターはより的確な情報を得られる

モデレーションチームは、繰り返し発生する作業に多くの時間を費やしています。スパムの削除、リンクの制限、重複メッセージの検出、投稿頻度の制限、アカウントの審査は、システムが確信を持って対応できるだけの強いシグナルを備えていれば、多くの場合自動化できます。

意味が過去の経緯、意図、ユーモア、皮肉、人間関係、文化的背景に左右される場面では、人間の判断が重要になります。こうした状況では、会話全体を理解する必要があることが少なくありません。適切に設計された自動化は、問題の周辺情報を整理することで、そうした判断をしやすくできます。

疑わしい活動を確認するモデレーターには、なぜその活動が検知されたのかが分かる必要があります。参考となる情報には、投稿行動の最近の変化、過去のインシデント、関連する報告、繰り返し投稿されたコンテンツ、アカウントの履歴、コミュニティ内の別の場所で見られた類似の活動などが含まれます。

確信度に応じて対応を変えることもできます。新規作成されたアカウントから同一のスパムが繰り返し送られるなど、発生パターンを高い確度で予測できる活動には、即時の対処が適切な場合があります。判断が難しい活動については、アラートの原因となったシグナルとともに提示し、確認を求めることができます。

このアプローチは、ほかの大規模な技術システムでも一般的です。監視基盤は大量の活動を処理し、異常を検知し、関連するシグナルをまとめて、通常とは異なる状況をエスカレーションします。エンジニアは、さらに詳しい分析が必要なケースを調査します。

コミュニティのモデレーションにも、同じアーキテクチャを活用できます。自動システムが大量の処理とパターン検知を担い、モデレーターには評価すべき状況を絞り込んで提示します。

私は、行動が非常に予測しやすい場合には積極的に自動化し、文脈が重要になり始めたら大幅に慎重になるのが望ましいと考えています。システムがあるものをスパムかどうか判断する場合、同じメッセージが繰り返されていれば判断は簡単かもしれません。一方、嫌がらせなのか、冗談なのか、互いを知る人同士の意見の相違なのかを判断しようとする場合は、人間の判断が必要となる可能性がはるかに高くなります。自動化は、モデレーターが処理しなければならないノイズを減らすべきであり、あらゆる判断をルールに置き換えられるかのように装うべきではありません。

優れたモデレーションシステムは判断から学ぶ

コミュニティの行動も絶えず変化します。新たな俗語が生まれます。ユーザーはフィルターを回避する方法を見つけます。スパムの手口は進化します。社会規範は移り変わります。今日うまく機能するモデレーションルールも、行動の変化に伴って効果が薄れることがあります。

モデレーションのインフラには、強力なフィードバックループが必要です。自動化による対応はすべて、有益な情報を生み出します。モデレーターが頻繁に対応を覆している場合は、閾値の設定が敏感すぎる可能性があります。繰り返し検知をすり抜ける常習的な不正行為は、検知に必要なシグナルが欠けていることを示しているかもしれません。誤検知が異常に多い場合は、特定のルールがある環境でうまく機能していない可能性があります。

チームは、どのルールが最も頻繁に作動するのか、インシデントがどれほど迅速に検知されるのか、自動化による対応がどれほど頻繁に覆されるのか、また、どのような行動がより大きな混乱に先行する傾向があるのかを追跡できるようにする必要があります。

NISTのAIリスク管理フレームワークも、組織が自動化システムを導入する際には、継続的な測定、監視、管理が重要であると強調しています。

可観測性があれば、コミュニティの変化に応じてモデレーションシステムを適応させられます。ゲームコミュニティ、専門家向けのディスカッショングループ、サポートフォーラムでは、それぞれ大きく異なる行動パターンが生まれる可能性があります。明確な安全策を維持しながら、そうした違いに合わせてモデレーションの閾値を進化させられるようにする必要があります。

透明性も重要です。ユーザーにとっては、理解しやすいルールと、ある程度予測可能な運用が有益です。モデレーターは判断を支援するシステムの動作を把握できる必要があり、エンジニアはシステムが意図どおりに機能しているか判断するのに十分な情報を得る必要があります。

次世代のオンラインコミュニティは、インテリジェントな自動化、人間の判断、継続的な測定が連携することに大きく依存するでしょう。

大規模なモデレーションには、膨大な量の日常的な活動を処理し、個人では見つけにくいパターンを認識し、難しい判断が求められる際にモデレーターへより有用な情報を提供できるインフラが必要です。

そのインフラの構築には、行動シグナル、信頼度の閾値、エスカレーションの経路、監視、フィードバックに細心の注意を払う必要があります。こうした能力を育むコミュニティは、人々が参加し続けるための安全性、信頼、質を保ちながら成長していくうえで、より万全の体制を整えられるでしょう。