Andersonの視点
映画全編を追跡できるAIの探求

要点MovieTellerは、専用の顔認識技術と段階的な要約処理を用いて、映画全体を通して登場人物を追跡します。
もっと見る
- MovieTellerは、専用の顔認識技術と段階的な要約処理を用いて、映画全体を通して登場人物を追跡します。
- 本システムの統合パイプラインは、映画をシーンとチャプターに分割することで、Transformerモデルの限界を克服しています。
- 人間による評価では、確立されたキャラクターの同一性が、名前のみの提示や手がかりなしのアプローチよりも、首尾一貫した物語を生成することが示されています。
AIモデルはまだ、誰が誰であるかと何が起こっているかを追跡することができない。新しいシステムは、顔認識と段階的な要約をオーケストレートし、キャラクターを正しく識別し、プロットを全長の映画にわたって一貫性を保つ。
人工知能を使用して、ハリウッドスタイルの映画を観て理解することは、ニッチまたはマイナーな取り組みのように思えるかもしれない。しかし、映画の開始から終了まで、全てのキャラクターの進行を追跡し、プロットを把握することができるシステムは、直接的な応用だけでなく、異なるドメインにわたる多くの周辺的な課題にも有益である。
映画観覧AIモデルにとって、最も取り組みやすい用途は、レコメンデーションシステムである。Netflix 、Amazon Prime、HBO Maxなどのストリーミングプラットフォームで、プロットの発展とキャラクターの行動を理解することで、視聴者の嗜好や熱意に近い一致を実現できる。
さらに、映画の深い理解により、キーワードの生成とより正確なカテゴリ化が可能になり、古い映画の説明が更新される。また、映画の中に含まれる「成人向け」のテーマを、対話や視覚的な表現から明らかではない場合にも、表面化させることができる。
また、カタログにある古い映画には、古くなった評価や概要がある可能性がある。たとえば、1950年代の映画で使われていた言語や慣用句は、現在でははるかに注意が必要になるかもしれない。しかし、長い物語の文脈を理解することなく、こうした事例は過剰に強調されたり、過小評価されたりする可能性がある。
より広い意味では、映画分析のアプローチの改善は、イベント認識という、セキュリティ監視、自動スポーツ実況、さまざまなメディアの要約などの革新に大きく貢献できる。
したがって、「AIベースの映画観覧」は、コンピュータビジョンの研究文献において、驚くほど研究が盛んな分野である。
全体像を見てみる
最新のエントリーは、MovieTellerというタイトルで、中国の学術・産業コラボレーションによって、課題のさまざまなサブタスクをさまざまなAIアプリケーションに分割することで、新しい進歩を遂げている。単一の潜在空間ですべてを実行する独立した閉じたモデルを学習させるのではなく、それぞれの課題に適したアプリケーションに分担させる。
著者らは、以前のVision-Language Models(VLMs)が、同じタスクに直面して、シングルフレーム分析を超えて進歩できなかったことを観察している。また、コンテキストの欠如により、キャラクターを一貫して識別することが難しい。

新しいシステム、MovieTellerは、専用の顔認識システムを使用して、シーン内の人物を一貫して識別できる。しかし、コンテキストへの取り組みが、フレームワークをプロットの発展に合わせて維持することを可能にしている。 ソース
著者らは次のように述べている。
「汎用のVLMは、長い物語の中で特定のキャラクターを認識して一貫して追跡することが苦手である。彼らは、1つのシーンで主要な登場人物を「男」と表現し、別のシーンで「人物」と表現するが、視覚的な表現を一貫したアイデンティティに結び付けることができない。」
著者らは、Transformerの自己注意メカニズムが二乗の計算量を持つするため、全長の映画のすべてのフレームを一度に処理することが計算上非常に高価になることを指摘している。したがって、均一なフレームサンプリングや単純な連結に頼るアプローチは、ストーリーの流れを断片化し、まとまりのある物語ではなく断片的な要約を生成する。
代わりに、新しいシステムは、顔認識と記憶の永続性(キャラクターが物語に登場し、再登場する)を扱うための専用ツールを備えた、トレーニング不要のパイプラインで構成されている。
MovieTellerは、60本の全長映画(約10,000分の映像)でテストされた。著者らは、既存のアプローチと比較して、著しく改善されたと報告している。
新しい論文は、MovieTeller:Tool-augmented Movie Synopsis with ID Consistent Progressive Abstractionというタイトルで、中国の杭州にある浙江大学、北京にある中国メディアグループ、Watch AI Group*(後者は北京に基盤を置く)からの5人の著者によって執筆された。
方法
MovieTellerのスキーマは、3つのステージで構成されている:シーンのセグメンテーションとキーフレームの抽出は、PySceneDetectプロジェクトで処理される。事実に基づいたシーンの説明の生成は、Qwen2.5-VL-7B-Instruct VLMのカスタマイズで行われる。段階的な抽象化は、詳細なシーンの説明を章の要約に凝縮し、そして最終的にまとまりのあるシノプシスに圧縮する。これもQwen2.5モデルで行われる。

MovieTellerの概要。長編映画を場面に分割して高品質のキーフレームを抽出し、外部の顔認識ツールが人物名と境界ボックスを結び付けて事実に基づく根拠を与える。視覚言語モデルはこれを使って人物の同一性を保つ場面説明を生成する。説明は段階的に章の要約へ圧縮され、一貫した最終的な映画のあらすじに統合される。
最初のステージでは、PySceneDetectを使用して映画を明確な視覚的な変化に基づいてシーンに分割し、各シーンを1つのキーフレームで表現する。
しかし、すべてのフレームが良い要約画像になるわけではない。移行の瞬間、フェードアウト、暗いフレームは、後の分析を混乱させる可能性がある。したがって、単純な品質チェックが、明るさと視覚的な変化を測定して、情報豊富な画像のみを選択するフィルターランを実行する。
顔の配置
顔のデータベースは、公開されているキャスト情報†から構築され、各主要なキャラクターの名前とともに数値的な顔の埋め込み表現を保存する。キーフレームに顔が現れたとき、その埋め込みはデータベースと照合され、最も近い結果が信頼度のしきい値を超えれば、キャラクターの名前と位置を結び付ける「事実に基づいた根拠」を作成する。
この目的のために、InsightFaceが使用され、ArcFaceロスベースの認識ヘッドが利用される。

Additive Angular Margin Loss(ArcFace)イニシアチブによって、よく覚えられている2つの顔。MovieTellerプロジェクトでも同様の方法で使用される。 ソース
注釈されたキーフレームは、キャラクターの名前と位置をリストするプロンプトとともに、Qwenモデルに渡される。
ビジョン言語モデルは、全長の映画を1度に吸収できないため、MovieTellerは最初にシーンの説明を生成する。シーンの説明は、章のようなブロックにグループ化され、Qwen2.5に渡される。Qwen2.5は、プロットの発展、キャラクターの動機、転換点を圧縮しながら、以前のキャラクターの名前を保持したまま、章の要約を生成する。
圧縮された章の要約は、モデルに新しいプロンプトとともに返され、完全なシノプシスを生成するよう求める。

全体のあらすじを求めるプロンプトと同様に、この例は場面説明を生成する。検証済みの人物名と境界ボックスを明示的に加え、視覚言語モデルを制約して人物の同一性が一貫した語りを促す。
仮にプロセスが成功したと仮定すると、最終的な出力は、映画の物語のアークをまとまりのあるものとして反映するはずである。これは、長いプロットの要約の多様性と、それが提示されるスタイル、必要なデータポイントの長さが、通常のグラウンドトゥルースベースのアプローチを採用することをほぼ不可能にするため、特に機械学習において困難なタスクである。
データとテスト
システムをテストするために、著者らは、100本の全長映画(約166時間の再生時間)で構成される独自のデータセットをキュレーションした。映画には、アイアンマン3、さらば、わが愛、飲み、食べ、男女、ナルニア国物語が含まれた。研究者らは、すべての映画がIMDBで5.0を超える評価を得ていることを要求した。

100本の映画のデータセット構成。1992年から2025年までのバランスの取れた時間的カバレッジ、英語以外のタイトルのわずかな多数、ドラマとアクションが主導するジャンルの広い範囲、SF、ホラー、コメディ、ロマンス、歴史の表現が含まれる。
幅広いジャンルを扱うことで、特定のジャンルへの偏りを防ぐことを目的としていた。
各映画の顔のデータセットは、主な俳優の2つの写真で構成されていた。1つは映画の静止画、もう1つは関連する広告写真であった。
Pythonで実装されたテストは、4つのNVIDIA A40 GPUで実行され、各GPUには48GBのVRAMが搭載されていた。Qwen2.5バリアントが中央のVLMとして使用された。アブレーションスタディ††も、代替の最先端モデルInternVL3-8BとWeThink-Qwen2.5VL-7Bで実行された。
新しいフレームワークは、2つのアブレーション††バリアントと比較してテストされた:No-Hintベースラインでは、ビジョン言語モデルはキーフレームのみからシーンの説明を生成し、キャラクターのアイデンティティについてのテキスト的なヒントは与えられなかった。もう1つは、Name-Only Hint設定で、モデルはキャラクターの名前を与えられたが、位置は与えられなかった。これにより、著者らは、空間的根拠付けの特定の貢献と物語の一貫性を分離することができた。
メトリックについては、長いプロットの要約に対するグラウンドトゥルースベースのアプローチの難しさを考慮して、標準的なn-グラムのオーバーラップメトリックであるROUGEとBLEUは使用されず、BERTScoreとF1スコアが使用された。セマンティックな類似性を「パブリックエンサイクロペディア」からの参考シノプシスに対して測定するために使用された。
さらに、Gemini 2.5 Flashが使用されて、各シノプシスが事実の忠実さ、IDの一貫性と完全性、物語の一貫性と流れ、簡潔さについてスコア付けされた。スコアは次元間で平均化された。
最後に、無作為に選んだ50件の要約を人間がペアごとに比較し、自動評価の実用的な確認を行った。
以下はQwen2.5-VL、InternVL3、WeThinkという3つの基盤モデルのBERTScore(F1)の結果である。各モデルはNo-Hint、Name-Only、完全なMovieTellerという3構成で試験された:

3つの基盤視覚言語モデルと3つの実験設定におけるBERTScore(F1)の比較。人物名の追加で一貫して改善し、位置の根拠付けでさらに向上する。MovieTellerはすべての場合で最高得点を得る。
著者らによると3つの基盤モデルすべてで同じ傾向が見られる。元のキーフレームだけでは最も弱く、人物名を加えると適度に改善し、名前と境界ボックスを組み合わせると最も強い結果になる。改善は劇的ではなく段階的だが、完全に根拠付けられた構成はすべての設定で参照あらすじとの意味的一致が最も高い。
LLMによる物語品質評価では、No-Hintベースラインは人物の同一性の一貫性に最も苦戦し、総合得点が下がる。名前だけを与えても、とりわけ人物同一性に関する指標が明確に向上する。しかし完全なMovieTeller構成は再び3つの基盤モデルすべてで最高順位となる:

3つの基盤モデルに対するLLM-as-a-Judge評価(1~5)。人物名の追加は同一性の一貫性と全体品質を高め、完全なMovieTellerは事実への忠実さ、一貫性、簡潔さ、最終評価で最高得点を得る。
最大の改善は人物同一性の一貫性と最終平均得点に現れる。これは位置の根拠付けが、物語の進行中に誰が何をしているかをモデルが明確に保つ助けになることを示唆する。
無作為に選んだ50件の要約を人間が評価する際には、3つの要約を同時に提示し、最も良いものを選んでもらった:

3候補から1つを選ぶ強制選択評価での人間の選好率。十分な根拠を持つMovieTellerの要約は3つの基盤モデルすべてで最も多く選ばれ、No-HintとName-Onlyの両方を大きく上回る。
最後に、バレット・ヴァニッシュ(2012)という映画に対する定性的テストが実行された。

元論文の図は非常に縦長で文字が密集しているため、ここでは全体を再現できない。元論文を参照されたい。
ここでは、No-Hintベースラインは、キャラクターを一般的な用語で表現し、役割を曖昧にし、物語の連続性を難しくする、漠然としたシノプシスを生成する。一方、名前のみを提供することで、表面的な記憶が改善されるが、物語はまだ漂い、キャラクターの関係と動機は「平坦化」された方法で説明される。
逆に、完全に根拠付けられたMovieTellerバージョンは、シノプシス全体でアイデンティティを安定させ、行動を正しいキャラクターに結び付けることで、調査プロットを明確な因果構造で展開することを可能にする。特定の緊張と役割のダイナミクスは、抽象化されずに保存され、物語の中心的なアークのまとまりのある再現として読み取られる。

全体をここで再現できない最終比較の一部。構成要素を除いた版と完全なMovieTellerの要約を示す。元論文を参照されたい。
結論
ほとんどの新しいプロジェクトは、コンピュータビジョンの研究文献に終わるが、AI生成の映画要約は、コンピュータビジョン以外の多くの分野やドメインにも及び、どの分野が偶然にも欠けたパズルの一片をもたらすかは分からない。MovieTellerは、タスクを適切なモジュールに分割することで、正しい方向に向かっているが、単一の潜在空間ですべてを個別に解決しようとするのではないが、まだ「寄せ集め」の感があり、後でより優雅な解決策が見つかる可能性がある。
* この機関を特定することはできませんでした。
† IMDBやOMDBのような情報源と推測されるが、出典は明示されていない。
†† 詳細なアブレーションについては、元の論文を参照してください。完全なアブレーションを取り上げるのは例外的な場合だけです。ここで詳しく扱っていないアブレーション研究は、論文の全体的な結論を損なわない。
初めて公開されたのは、2026年2月27日金曜日です。












