Andersonの視点

AIを使って長い解説動画を要約する

Martin Anderson
Unite.AI を Google の優先ソースに追加
要点IV-Sumは、WikiHowの構造化された要約を正解データとして使用し、手動ラベリングなしで動画要約を学習する。
もっと見る
  • IV-Sumは、WikiHowの構造化された要約を正解データとして使用し、手動ラベリングなしで動画要約を学習する。
  • このシステムは、宣伝コンテンツや非本質的な部分を除外し、元の再生時間のごく一部で要約を生成する。
  • 音声と映像間のクロスモーダルな顕著性により、IV-Sumは複数の指示動画にわたって重要なステップを特定できる。

あなたがYouTubeの「方法」動画の速度を上げて情報を得ようとする人で、動画のトランスクリプトを参照して長くてスポンサーが入っている動画の重要な情報を得ようとする人、またはWikiHowが動画の情報をより短時間で得られるバージョンを作成したかどうかを確認する人であれば、UC Berkeley、Google Research、ブラウン大学の新しいプロジェクトがあなたの興味を引くかもしれません。

「TL;DW? タスクの関連性とクロスモーダルな注目度を用いた指示動画の要約」と題された新しい論文では、動画から重要なステップを特定し、不要な部分を削除することができるAI支援の動画要約システムの作成について説明しています。その結果、要約が簡潔になり、迅速に重要な情報を得ることができます。

IV-Sumプロジェクトがシステムをトレーニングするために使用するWikiHowが長い動画からテキストと映像情報を利用する仕組みを、IV-Sumは疑似要約の作成に活用しています。この要約がシステムを訓練する正解データとなります。出典:https://arxiv.org/pdf/2208.06773.pdf

WikiHowが長い動画からテキストと映像情報を利用する仕組みを、IV-Sumは疑似要約の作成に活用しています。この要約がシステムを訓練する正解データとなります。出典:https://arxiv.org/pdf/2208.06773.pdf

生成された要約は、元の動画の再生時間の小さな部分で、多モーダル(テキストベース)の情報もプロセス中に記録されるため、将来的にWikiHowスタイルのブログ記事の自動作成が可能になり、動画を解析して簡潔で検索可能な短い記事を作成できます。

新しいシステムは「IV-Sum」(Instructional Video Summarizer)と呼ばれ、動画内の重要なフレームとセグメントを特定するために、オープンソースのResNet-50コンピュータビジョン認識アルゴリズムを使用しています。

IV-Sumの概念的ワークフロー。

IV-Sumの概念的ワークフロー。

システムは、WikiHowウェブサイトのコンテンツ構造から生成された疑似要約でトレーニングされ、実際の人が人気のある指示動画をより平らなテキストベースのマルチメディア形式に変換することが多い場所です。

プロジェクトについて論じている著者は、次のように述べています:

「WikiHow Videosの各記事は、タスクを実演するメインの指示動画で構成されており、プロモーションコンテンツ、作業の視覚情報を示さずに講師がカメラに向かって話すクリップ、タスクに重要でないステップが含まれています。」

「タスクの概要が欲しい人は、プロモーションコンテンツや不要な情報が入っていない短い動画が欲しいでしょう。WikiHowの記事(例:すし米の作り方)には、動画の重要なステップがテキストで記載されており、各ステップを説明する画像/クリップが付いています。」

生成されたデータベースは「WikiHow Summaries」と呼ばれ、2,106本の入力動画と関連する要約で構成されています。これは、通常の動画要約プロジェクトで利用できるものより大規模です。通常は費用と労力のかかる手作業のラベル付けや注釈が必要ですが、新研究では一般動画ではなく説明動画に範囲を絞ることで、その大部分を自動化しました。

IV-Sumは、時系列3D畳み込みニューラルネットワーク表現を使用し、以前の類似の研究ではフレームベースの表現が使用されていました。論文に記載されている構成要素を除去するアブレーション研究では、このアプローチのすべてのコンポーネントがシステムの機能に不可欠であることが確認されています。

IV-Sumは、CLIP-Itを含むさまざまな比較可能なフレームワークと比較して良好な結果を示しました。論文の著者の一部はCLIP-Itの開発にも携わっています。

IV-Sumは、類似手法と比べて良好な成績です。一般の動画要約研究より適用範囲が狭いためかもしれません。評価指標と採点方法は本文の後半で説明します。

IV-Sumは、類似手法と比べて良好な成績です。一般の動画要約研究より適用範囲が狭いためかもしれません。評価指標と採点方法は本文の後半で説明します。

方法

要約プロセスの最初のステージでは、比較的低い労力で、弱い教師ありアルゴリズムを使用して、ウェブから収集した多数の説明動画に対し、疑似要約とフレームごとの重要度スコアを生成します。各動画には作業ラベルが1つだけあります。

次に、指示要約ネットワークをこのデータでトレーニングします。システムは、自動トランスクリプトされたスピーチ(たとえば、YouTubeのAI生成された字幕)とソースビデオを入力として使用します。

ネットワークは、ビデオエンコーダーとセグメントスコア変換器(SST)で構成され、トレーニングは疑似要約で割り当てられた重要度スコアに基づいて行われます。最終的な要約は、高い重要度スコアを達成したセグメントを結合することによって生成されます。

論文によると:

「私たちの疑似要約生成パイプラインの背後にある主な直感は、多くのビデオを与えられた場合、タスクに重要なステップは多くのビデオに現れる可能性が高い(タスクの関連性)ということです。」

「さらに、ステップが重要な場合、デモンストレーターはステップを実行する前、最中、または後にそれについて話すことが多いです。したがって、自動音声認識(ASR)を使用してビデオから取得した字幕には、これらの重要なステップへの参照が含まれている可能性が高い(クロスモーダルな注目度)。」

疑似要約を生成するために、ビデオは最初に均一にセグメントに分割され、セグメントは視覚的な類似性に基づいて「ステップ」(上の画像の異なる色)にグループ化されます。これらのステップは、タスクの関連性とクロスモーダルな注目度に基づいて重要度スコアが割り当てられ、高スコアのステップが疑似要約のステージを表すために選択されます。

疑似要約を生成するために、ビデオは最初に均一にセグメントに分割され、セグメントは視覚的な類似性に基づいて「ステップ」(上の画像の異なる色)にグループ化されます。これらのステップは、タスクの関連性とクロスモーダルな注目度に基づいて重要度スコアが割り当てられ、高スコアのステップが疑似要約のステージを表すために選択されます。

システムは、クロスモーダルな注目度を使用して、各ステップの関連性を確立するのに役立ちます。これは、解釈されたスピーチとビデオの画像やアクションを比較することによって行われます。これは、事前トレーニング済みのビデオテキストモデルを使用して実現され、MIL-NCE損失でジョイントトレーニングされ、DeepMindを含む開発者によって開発された3D CNNビデオエンコーダーを使用します。

タスクの関連性とクロスモーダル分析のステージからの平均を計算することによって、一般的な重要度スコアが得られます。

データ

プロセス用の初期の疑似要約データセットが生成され、2つの以前のデータセットのほとんどのコンテンツで構成されています。COINは、180作業に関連する11,000本の動画を含む2019年のデータセットです。Cross-Taskには83作業の説明動画4,700本があり、そのうち3,675本を研究に使用しました。

上:COINからの例、下:Cross-Taskからの例。ソース:https://arxiv.org/pdf/1903.02874.pdfとhttps://openaccess.thecvf.com/content_CVPR_2019/papers/Zhukov_Cross-Task_Weakly_Supervised_Learning_From_Instructional_Videos_CVPR_2019_paper.pdf

上:COINからの例、下:Cross-Taskからの例。 ソース:https://arxiv.org/pdf/1903.02874.pdfとhttps://openaccess.thecvf.com/content_CVPR_2019/papers/Zhukov_Cross-Task_Weakly_Supervised_Learning_From_Instructional_Videos_CVPR_2019_paper.pdf

両データセットに重複する動画を1回だけ数え、研究者は263作業をカバーする12,160本、計628.53時間の動画を得ました。

WikiHowベースのデータセットを生成し、システムの正解データを提供するために、著者はWikiHow Videosからすべての長い説明動画と各段階に対応する画像・動画クリップ(GIF)を収集しました。WikiHowの派生コンテンツの構造が、新システムで段階を識別するためのひな型になりました。

ResNet50で抽出された特徴を使用して、WikiHowの画像で選択されたビデオのセクションをクロスマッチし、ステップのローカリゼーションを実行しました。5秒間のビデオウィンドウ内で最も類似した画像がアンカー点として使用されました。

これらの短いクリップは、モデルのトレーニングの正解データとなるビデオに組み込まれるために一緒に繋げられました。

各入力ビデオのフレームに、入力要約に属するかどうかを示す二値ラベルが割り当てられ、セグメント内のすべてのフレームの重要度スコアの平均が要約スコアとして取得されました。

この時点で、各指示動画の「ステップ」はテキストベースのデータと関連付けられ、ラベル付けされました。

トレーニング、テスト、メトリック

最終的なWikiHowデータセットは、1,339本のテストビデオと768本の検証ビデオに分割されました。これは動画分析用の加工済みデータセットの平均規模を大きく上回ります。

新しいネットワークのビデオエンコーダーとテキストエンコーダーは、S3Dネットワーク上で、事前訓練済みのHowTo100Mモデルから読み込んだ重みを用いて共同訓練され、MIL-NCE損失でトレーニングされました。

モデルのトレーニングは、Adamオプティマイザで、学習率0.01、バッチサイズ24で実行され、分散データ並列で8つのNVIDIA RTX 2080 GPUでトレーニングが実行され、合計24GBの分散VRAMが使用されました。

IV-Sumは、類似する先行研究に沿ってCLIP-Itの複数の設定と比較されました。CLIP-It自体の研究も含まれます。評価には3つの教師なしベースラインでPrecision、Recall、F-Scoreを用いました。詳細は論文を参照してください。

結果は前の画像に記載されていますが、研究者はさらに、CLIP-Itはテストのさまざまな段階で可能なステップを欠いているのに対し、IV-Sumはそうではないと述べています。これは、CLIP-Itが新しいWikiHowコーパスよりもはるかに小さいデータセットでトレーニングされたためであると考えられます。

影響

この研究分野(IV-Sumを含む)の長期的な価値は、指示動画クリップをよりアクセスしやすく、検索エンジンのインデックス化を可能にすることです。また、Googleが長い記事から自動的に解析して、動画の検索結果スニペットを生成するような、動画の要約を可能にすることです。

動画を最初から最後まで途切れず集中的に見る必要性を減らすあらゆるAI支援手法は、マーケティング担当者にとっての動画の魅力に影響し得ます。彼らにとって、動画の中身を簡単に見通せないことが、視聴者の注意を独占する唯一の手段だったかもしれません。

動画の「価値のある」コンテンツの位置が特定できない場合、ユーザー生成動画は、製品プレイスメント、スポンサースロット、動画の価値提案がしばしば含まれている自己顕示的な内容に対して、広く(しかし、ためらいがちに)寛容さを持ってきました。IV-Sumのようなプロジェクトは、最終的に動画コンテンツのサブファセットが、多くの人々が「バラスト」と見なす、内容に埋め込まれた広告や無関係な即興の脱線から、細かく識別して切り離せるようになることを約束しています。

 

2022年8月16日に初めて公開され、2022年8月16日14:52に更新され、重複したフレーズが削除されました。

機械学習のライターで、人間画像合成の専門家です。Metaphysic.ai の研究コンテンツ部門の元責任者で、DNEG の Brahma.ai に統合されるまで勤務していました。
ウェブサイト: martinanderson.ai
連絡先: martin@martinanderson.ai