Andersonの視点

AIで暴力を事前に予測する

Martin Anderson
Unite.AI を Google の優先ソースに追加
A still from Minority Report (2002), a film centered on predicting violent crimes before they occur, alongside an inset from Can We Anticipate Violence? Multimodal Learning from Pre-Incident Behavioral Cues, which investigates the same problem using AI analysis of facial appearance, audio and body motion. Minority Report image © 2002 Twentieth Century Fox and DreamWorks Pictures; reproduced for editorial commentary.
要点暴力が起こる前にそれを予測することは、『マイノリティ・リポート』のディストピア的な恐怖をなぞる危険がある。
もっと見る
  • 暴力が起こる前にそれを予測することは、『マイノリティ・リポート』のディストピア的な恐怖をなぞる危険がある。
  • 顔の外見に音声と動きの手がかりを組み合わせると、単一の信号のみを使う場合を上回る。
  • Https://www.youtube.com/watch?v tDSXPQcpybU IVSによる暴力検出システムの(実際には行われていない)テスト。

「AIでこれを自動化できるか?」という問いを検証する典型的な方法は、特徴を抽出したい対象の例を複数用意し、そのデータで学習したモデルが、学習には使われていない類似データから同じ特徴を見つけ出せるかどうかを確かめることだ。

「一か八か」のAIプロジェクトの模式図。ラベル付きの例を学習用とテスト用に分け、モデルは前者から学習した後、後者に含まれる未知の例で試される。学習データを丸暗記するのではなく、関心のある特徴を本当に学んでいれば、テストセットでも同じパターンを認識できるはずだ。 出典 - https://upload.wikimedia.org/wikipedia/commons/0/09/Supervised_machine_learning_in_a_nutshell.svg

「一か八か」のAIプロジェクトの模式図。ラベル付きの例を学習用とテスト用に分け、モデルは前者から学習した後、後者に含まれる未知の例で試される。学習データを丸暗記するのではなく、関心のある特徴を本当に学んでいれば、テストセットでも同じパターンを認識できるはずだ。 出典

こうした実験は、いわば「一か八か」の試みだ。AIがデータセットを調べ続ければ、やがてその特徴がデータに現れること、そして抽出すべき「根底にある傾向」が実際に存在することを前提としているからだ。特徴が簡単に見分けられるものなら、そもそもAIモデルは必要ないか、定型業務の自動化に使うだけで済む。

しかし、実際にはそうでないことが多い。この種の研究の大半は、人間を超えるほどの反復的な観察を重ねて初めて認識できる潜在的なパターンを探す「手探りの調査」だ。

パターンがなかなか見つからず、実際には存在しないことさえある。事象や特性によっては、純粋な偶然に左右されることもあるからだ。あるいは、データが何らかの点で不十分だったり、整理の質が低かったり、学習が適切に行われていなかったりする場合もある。

今後の展望

がんの治療法の確立や核融合の実現、熱力学の法則の克服など、目指す成果が非常に魅力的で、「政治的にも訴求力が高い」場合、より良いデータや手法によって特徴的なパターンを見いだせないかと、研究文献で繰り返し取り上げられる。

その一例が、公共空間や警察が関与する領域に関連した自動映像理解の分野だ。たとえば今年、新たな研究では、人物が自殺を試みる前の「滞留」傾向を特定するために、実際の自殺未遂を撮影した映像を用いた。そして、線路に飛び込む前に公共の駅ホームを歩き回る際に見られる特徴的な動きを検知できる予測システムの構築を目指した。

2026年の論文『AIによる映像監視を用いた自殺リスク評価:地下鉄駅での予防に向けた解釈可能な枠組み』より。2つのフレームに基づく予測を示しており、一方は実際の鉄道自殺未遂、もう一方は事故のない事例を捉えている。各フレームの横にあるヒートマップは、トンネル入口付近での人物の「滞留傾向」と過去の自殺未遂で観察されたパターンに基づき、ホーム上のリスクが高い領域と低い領域を示す。出典 - https://arxiv.org/pdf/2605.22904

2026年の論文『AIによる映像監視を用いた自殺リスク評価:地下鉄駅での予防に向けた解釈可能な枠組み』より。2つのフレームに基づく予測を示しており、一方は実際の鉄道自殺未遂、もう一方は事故のない事例を捉えている。各フレームの横にあるヒートマップは、トンネル入口付近での人物の「滞留傾向」と過去の自殺未遂で観察されたパターンに基づき、ホーム上のリスクが高い領域と低い領域を示す。 出典

この事例では、列車の前に飛び込もうと考えている人物に典型的な「滞留パターン」(上の画像の左端と右端)に、明確な特徴があるように見えた。この特徴は、自動監視システムにおけるパターン認識型の警告システムとして利用できる可能性がある。

この分野で注目されているもう一つの研究領域が、暴力の検知・認識だ。無人の監視システムに暴力行為を認識させ、速やかに人間の注意を促せるようにするほか、映像に長期保存用のフラグを付ける、録画が実際に行われていることを確認するなど、関連する処理を実行させることもできる。

IVSによる暴力検知システムの(実際の映像ではない)テスト。 出典 

アラバマ大学の新たな研究によると、これまでの文献では、暴力がすでに起きている最中にそれを認識することに重点が置かれてきた。今回の研究では、研究者らは、暴力事件の発生前の映像のみ(統計的な均衡を保つため、事件が発生しなかった映像も)を使ってモデルを学習させ、繰り返し現れ、学習可能な「暴力発生前」の特徴があるかどうかを調べた。ここでいう特徴とは、身体の動き、表情、音声の組み合わせであり、これらを組み合わせることで、暴力が起きてから反応するのではなく、暴力行為を予測する手がかりになり得る。

研究で示された「リスクあり」の事件発生前の連続場面の例。連続する4フレームにわたって示しています。システムは身体の関節と動きを時間の経過に沿って追跡し、姿勢や速度、相互作用のパターンの変化を調べます。これらの変化から、暴力そのものが目に見える前に、状況がエスカレートしているかどうかを見分けられる可能性があります。出典 - https://arxiv.org/pdf/2609.40014

研究論文「暴力を予測できるか? 事件発生前の行動の手がかりから学ぶマルチモーダル学習」で示された「リスクあり」の事件発生前の連続場面の例。連続する4フレームにわたって示しています。システムは身体の関節と動きを時間の経過に沿って追跡し、姿勢や速度、相互作用のパターンの変化を調べます。これらの変化から、暴力そのものが目に見える前に、状況がエスカレートしているかどうかを見分けられる可能性があります。 出典

もちろん、こうした研究は、開発または実用化されれば懸念を招く可能性が高いでしょう。以前にも指摘したように、テレビ番組Person of Interestや2002年のSFアクション映画Minority Reportをはじめとする多くのフィクション作品は、警察や規制当局が予測技術を手にすることに対する人々の不安を映し出してきました。

新しい論文の著者らによれば、身体、顔、音声の手がかりから暴力行為を予測する研究(状況や時間帯、場所、過去の犯罪統計などの要因ではなく)については、まだ始まったばかりの研究分野であるため、現時点で評価を下すのは時期尚早です。

研究者らはテストで、顔の外観、音声、身体の動きの手がかりを個別に、また組み合わせて比較し、3種類の異なるビジョン・バックボーンを使用しました。最も優れた結果は、3つすべてのシグナルを組み合わせた場合に得られました。このことは、予測効果が単一の種類の手がかりによって生じているわけではないことを示唆しています。

「最良の構成である、音声、顔の外観、動きを組み合わせたDeiT-Tinyは、学習に使用していないテストセットで、正解率91.21%、バランス正解率88.96%、F1スコア93.65%、ROC-AUC 96.38%を達成しました。

「これらの結果は、外観、音響、運動学の相補的な手がかりが、事件発生前のリスク上昇を認識するうえで有用な根拠となることを示唆しています。」

手法

この研究のために整備されたデータセットは、XD-Violenceコレクションを基にしており、顔の外観、音声、姿勢推定に基づく動きという3つのモダリティを組み合わせて処理します。

研究で用いられた処理パイプライン。各クリップはリスクレベルに応じてラベル付けされ、「リスクなし」または「リスクあり」の2種類に分類された後、学習、検証、テスト用の各セットに分割されます。最大4秒の映像を、フレームごとの顔の外観、スペクトログラムに変換した音声、速度や加速度などの追跡キーポイントから導出した身体の動きという3つの経路で分析します。得られた顔、音声、動きの特徴を1つの表現に統合して最終分類器に入力し、クリップが「リスクなし」または「リスクあり」である確率を算出します。

研究で用いられた処理パイプライン。各クリップはリスクレベルに応じてラベル付けされ、「リスクなし」または「リスクあり」の2種類に分類された後、学習、検証、テスト用の各セットに分割されます。最大4秒の映像を、フレームごとの顔の外観、スペクトログラムに変換した音声、速度や加速度などの追跡キーポイントから導出した身体の動きという3つの経路で分析します。得られた顔、音声、動きの特徴を1つの表現に統合して最終分類器に入力し、クリップが「リスクなし」または「リスクあり」である確率を算出します。

最終的に整備されたデータセットには、事件発生前のクリップが443本含まれていました(この数字については記事の最後で説明します)。

論文によると、XD-Violenceコレクションから選ばれた動画は、このプロジェクトが目指す、人に焦点を当てた分析に適した対象として選定されました。これに対して、同様の先行研究の多くは、予測の文脈としてシーン全体に注目していました。

使用したクリップは最長でも4秒で、8fpsでサンプリングされました。単層のTransformerに8つのアテンションヘッドを設け、得られた32フレーム分のサンプルを統合しました。また、学習可能な位置埋め込みによってフレームの順序を保持しました。マルチモーダル学習中は、過学習を防ぐため、バックボーンの重みを固定しました。

「リスクあり」と判定された場合のサンプル活性化マップ(顔画像を含む)は記事の前半に、リスクなしのサンプルは以下に示します。

研究の顔分析ブランチにおける「リスクなし」の例。前述の「リスクあり」と判定された動きの例を補足するものです。左側に元の顔の切り抜き画像を示し、その右にDeiT-Tinyビジョンモデルのより深い層から順に活性化マップを示しています。暖色の領域は特徴への反応が強いことを表し、画像がネットワークを通過するにつれて、モデルの注目箇所がどのように移り、より抽象的になっていくかが分かります。

研究の顔分析ブランチにおける「リスクなし」の例。前述の「リスクあり」と判定された動きの例を補足するものです。左側に元の顔の切り抜き画像を示し、その右にDeiT-Tinyビジョンモデルのより深い層から順に活性化マップを示しています。暖色の領域は特徴への反応が強いことを表し、画像がネットワークを通過するにつれて、モデルの注目箇所がどのように移り、より抽象的になっていくかが分かります。

元のクリップから抽出した音声データを16kHzにリサンプリングし、正規化と対応する映像区間との位置合わせを行った後、512ポイントの短時間フーリエ変換と400サンプルのハン窓を用いて、標準化された対数振幅スペクトログラムに変換しました。

インシデント発生前の通常クリップとリスクありクリップにおける、音声パターンの平均の比較。上段は通常クリップ、下段はリスクありクリップを示し、元の波形とスペクトログラムから、ネットワークの深さが異なる3段階で学習された特徴へと順に並んでいます。リスクありクリップは時間経過に伴う変化が大きく、4秒間のウィンドウの終盤には音響活動の増加も見られます。一方、ネットワークはこうした違いを段階的に、より高次の特徴へと変換します。

インシデント発生前の通常クリップとリスクありクリップにおける、音声パターンの平均の比較。上段は通常クリップ、下段はリスクありクリップを示し、元の波形とスペクトログラムから、ネットワークの深さが異なる3段階で学習された特徴へと順に並んでいます。リスクありクリップは時間経過に伴う変化が大きく、4秒間のウィンドウの終盤には音響活動の増加も見られます。一方、ネットワークはこうした違いを段階的に、より高次の特徴へと変換します。

動作を扱うコンポーネントでは、COCO-17のキーポイントをYOLOの姿勢推定器で検出し、身体の動きを一連の数値記述子に変換しました。

平均速度と最高速度、加速度、ジャーク、速度の変動、手首と足首の速度、全体的な動作エネルギーなど、12項目を算出しました。体格の大きい人が自動的により大きな動きをしていると判定されないよう、これらの値は体格に応じて正規化しました。さらに、同じクリップに複数人が映っている場合は、それぞれの測定値を統合しました。

訓練データに基づいて標準化した後、動作特徴を64次元の表現に拡張し、時間方向のTransformerに入力しました。これにより、個々のフレームを別々に扱うのではなく、クリップ全体にわたる動きの変化を一連の時系列として考慮できます。

次に、3つのストリームを1つの表現に統合しました。顔の外見に最も大きな比重を置き、次いで音声、動作の順に重み付けしています。正規化とドロップアウトを行った後、最終分類器が統合された表現を「通常」と「リスクあり」の確率に変換し、判定のしきい値には0.5を用いました。

顔の外見を扱うストリームには、ImageNetで事前学習された3つのバックボーン、Swin-Tiny、ViT-Tiny、DeiT-Tinyを使用しました。

検証

検証では、目に見える行動、動作、音声に基づき、各クリップに「リスクなし」「低リスク」「中リスク」「高リスク」の4つのラベルのいずれかを人手で付与しました。最終的な二値分類では、3つのリスクカテゴリーを「リスクあり」にまとめ、「リスクなし」は「通常」としました。訓練データと評価データの間で情報が漏れるのを減らすため、同じ元動画から取得したクリップは、すべて同一のデータセット分割に含めました。

リスクありの各クリップから暴力的なインシデントそのものを取り除き、モデルが判定するのは発生前の行動のみとしました。

テストセットの結果。3つの視覚バックボーンそれぞれについて、顔の外見、音声、動作を単独または組み合わせて使用したときに性能がどう変化するかを示しています。アブレーション設定により、各入力ストリームの寄与を個別に評価しています。スコアが高いほど性能が高く、太字は各指標で最良の結果を示します。

テストセットの結果。3つの視覚バックボーンそれぞれについて、顔の外見、音声、動作を単独または組み合わせて使用したときに性能がどう変化するかを示しています。アブレーション設定により、各入力ストリームの寄与を個別に評価しています。スコアが高いほど性能が高く、太字は各指標で最良の結果を示します。

すでに述べたとおり、総合的に最も優れた結果を得たのは、3つのモダリティをすべて組み合わせたDeiT-Tinyでした。アブレーションによって、各ストリームの寄与がより明確になります。顔の外見は単独でもすでに強い予測因子であり、動作は中程度の性能を示した一方、音声は単独ではかなり弱い結果でした。

顔、音声、動作の情報を組み合わせた場合に最良の結果が得られました。性能の低いストリームも、視覚信号を補完する有用な情報を加えていたことが示されています。

モデルは「通常」と「リスクあり」の区別だけを学習しましたが、その出力を元の4段階のラベル、すなわちリスクなし、低リスク、中リスク、高リスクとも比較しました。以下に示すとおり、訓練、検証、テストの各セットで、予測されるリスクは概ねこれらのカテゴリーに沿って上昇します。

元の4つのリスクカテゴリーに対する予測リスクスコア。モデルはリスクなしのクリップとリスクありのクリップを区別するようにしか学習していませんが、訓練、検証、テストの各セットで、スコアは概ね「リスクなし」から「高リスク」へと上昇しています。破線は判定しきい値の0.50を示します。

当初の4つのリスクカテゴリーにおける予測リスクスコア。モデルは正常なクリップとリスクのあるクリップを区別するようにしか訓練されていないが、訓練・検証・テストの各セットで、スコアは概して「リスクなし」から「高リスク」へと段階的に上昇している。破線は判定しきい値の0.50を示す。

著者らは次のように述べている。

「この結果が重要なのは、モデルが低・中・高リスクを区別するよう明示的に訓練されているわけではないからだ。それでも、予測は当初のリスクレベルの段階的な変化に沿っている。

「これは、モデルが単純な『正常』と『リスクあり』の境界だけを学習しているのではなく、インシデント発生前の行動における意味のある変化を捉えていることを示唆している。また、この結果は、注釈で示されたインシデントが始まる前から、有用な行動上の手がかりが現れる可能性を示す証拠でもある。」

そして、次のように結論づけている。

「これらの知見は、インシデントに先立つ期間にも有用な識別情報が存在しうることを示唆している。これは、暴力の分析を、事件発生中の検知にとどめず、より早期のリスク認識へと発展させる可能性を浮き彫りにするものだ。」

結論

研究者たちは本当に、「暴力発生前」の特性の組み合わせを発見したのだろうか。実験で使われたクリップはわずか443本であり、過学習のリスクは無視できない。マルチモーダルモデルや事前学習済みの視覚バックボーンは、とりわけ過学習しやすい。研究では、視覚バックボーンを凍結し、元動画を訓練・検証・テストの各分割に分け、複数のモダリティの組み合わせを検証することで、このリスクをある程度抑えている。

小規模なデータセットで高い性能が得られても、根底にあるパターンが明白であること、あるいはそもそも存在することの証明にはならない。データセット固有の手がかり、注釈の偏り、分割では捉えられない出典由来の情報漏洩、または難易度が異例に低いテストセットを反映している可能性もあるためだ。

しかし現時点では、この結果は、データセットが非常に小さく、過学習への対策も十分に講じられているように見えるからこそ、興味深い。ただし、学習されたパターンを「頑健」とみなすには、より大規模なデータセットで知見を再現する必要がある。

 

初公開:2026年10月1日(木)

機械学習のライターで、人間画像合成の専門家です。Metaphysic.ai の研究コンテンツ部門の元責任者で、DNEG の Brahma.ai に統合されるまで勤務していました。
ウェブサイト: martinanderson.ai
連絡先: martin@martinanderson.ai