ビデオAIトレーニングをユーザー中心のデータで再考する

ユーザーが生成モデルを使用して作成したいコンテンツは、たとえばFluxやHunyuan Videoなどのモデルを使用して作成できるかもしれませんが、コンテンツのリクエストがかなり一般的であっても、常に利用可能なわけではありません。たとえば、生成モデルが処理できるかもしれないと推測することができます。

新しい論文で説明されている例の1つは、OpenAIのSoraモデルが、プロンプト‘夏の夜、草の葉に光るホタル’を使用して、解剖学的に正確なホタルをレンダリングするのに苦労していることを示しています。

OpenAIのSoraはホタルの解剖学的な理解が少し不完全です。 ソース：https://arxiv.org/pdf/2503.01739

私は研究の主張をそのまま受け取ることが少ないので、今日Soraで同じプロンプトをテストしてみました。結果は少し良くなりました。しかし、Soraはまだ光を正しくレンダリングすることができませんでした。光はホタルの尾の先に照らすべきところを、代わりに昆虫の足の近くに配置しました。

研究者のプロンプトをSoraでテストした結果、Soraはホタルの光の正しい位置を理解していないことを示しています。

皮肉なことに、Adobe Firefly 生成拡散エンジンは、同社の著作権で保護されたストック写真とビデオでトレーニングされたものですが、このプロンプトをPhotoshopの生成AI機能でテストしたとき、3回の試行で1回しか成功しませんでした。

Adobe Fireflyで3回の試行で1回成功した結果、光はホタルの正しい位置に配置されました。

この例は、研究者が、トレーニングセットの分布、重み付け、カバレッジがユーザーのニーズと一致しない可能性があることを示すために使用しました。ユーザーが特に挑戦的なものを求めていない場合でも、生成モデルが処理できるかもしれないと推測することができます。

著者は述べています：

‘Soraは、夏の夜の草とともに、光るホタルという概念を捉えることができません。データの観点から見ると、これは主にSoraがホタルに関するトピックでトレーニングされていないためであり、草と夜についてはトレーニングされているからです。さらに、Soraが上の画像に表示されているビデオを見ていたら、光るホタルの見た目を理解することができたでしょう。’

彼らは、新しくキュレーションされたデータセットを提案し、将来的にユーザーの期待に沿ったデータコレクションを作成するための方法論を改良することができると示唆しています。

ユーザー中心のデータ

基本的に、彼らの提案は、カスタムデータのアプローチの間にあるものです。たとえば、LoRA（そしてこのアプローチは一般的な使用にはあまりにも具体的です）と、より広範で、比較的無差別な大量のコレクション（たとえば、Stable Diffusionを動かしているLAIONデータセット）の間にあるものです。これらのコレクションは、特定のエンドユーザーシナリオと特に一致していません。

新しいアプローチは、方法論としても新しいデータセットとしても（少し複雑に）、Users’ FOcus in text-to-video、またはVideoUFOと呼ばれています。VideoUFOデータセットには、1291のユーザー中心のトピックを網羅する1.9百万のビデオクリップが含まれています。トピック自体は、既存のビデオデータセットから作成され、さまざまな言語モデルと自然言語処理（NLP）技術を介して解析されました。

新しい論文に提示されたトピックのサンプル。

VideoUFOデータセットには、YouTubeからトロールされた新しいビデオの大量のコレクションが含まれています。ここで「新しい」とは、現在の文献で人気のあるビデオデータセットには含まれておらず、またこれらのデータセットからキュレーションされたサブセットにも含まれておらず、多くのビデオは古いデータセットの作成後にアップロードされたことを意味します。

実際、著者は、既存のビデオデータセットとの重複は0.29％しかないと主張しています。これは、独自性の驚くべき例です。

これの1つの理由は、著者がクリエイティブコモンズライセンスを持つYouTubeビデオのみを受け入れた可能性があることです。ユーザーにとってこれらのビデオは将来的な障害となる可能性が低いからです。クリエイティブコモンズライセンスを持つビデオは、以前のプラットフォームでのスイープで優先度が低かった可能性があります。

2つ目に、ビデオは事前に推定されたユーザーのニーズに基づいてリクエストされ、無差別にトロールされませんでした。これらの要因の組み合わせにより、独自のコレクションが生まれる可能性があります。さらに、研究者は、貢献するビデオのYouTube IDを既存のコレクションに含まれるものと比較して、主張の正当性を与えました。

しかし、新しい論文のすべてが完全に確実であるわけではありません。データセットのキュレーションに直面する研究シーンの課題の程度を強調する、興味深い読み物です。

新しい研究は、新しい研究と題され、オーストラリアのシドニー工科大学と中国の浙江大学の2人の研究者によって行われました。

最終的に取得されたデータセットの選択例。

AIデータの「パーソナルショッパー」

インターネットの画像やビデオに含まれるコンテンツや概念は、必ずしも平均的なエンドユーザーが生成システムから求めるものと一致するわけではありません。コンテンツと需要が一致する場合でも（たとえば、ポルノはインターネットで豊富に利用可能であり、多くのgen AIユーザーにとって大きな関心事です）、これは開発者の意図や新しい生成システムの基準と一致するわけではありません。

NSFWコンテンツが毎日大量にアップロードされるほか、ネット上の利用可能なコンテンツの多くは、広告主やSEOを操作しようとする人々によるものです。このような商業的利益は、主題の分布を偏ってしまうため、AIベースのフィルタリングシステムを開発することが困難です。アルゴリズムやモデルは、有意義なデータから開発されるため、そのデータの傾向や優先順位を反映する可能性があります。

したがって、新しい研究の著者は、問題に対処するために、ユーザーが何を望むかを決定し、ユーザーのニーズに合ったビデオを取得するというアプローチをとりました。

表面的に見ると、このアプローチは、最低限の共通点へのレースを引き起こす可能性があると考えられます。ユーザーのニーズに基づいてデータのキュレーションを調整することは、多数の利益を優先し、ニッチなユーザーを疎外する可能性があります。多数の利益は、当然、より大きな重みを持ちます。

しかし、論文が課題に取り組む方法を見てみましょう。

概念の絞り込み

研究者は、2024年のVidProMデータセットを、後のプロジェクトのウェブスクレイピングに情報を提供するトピック分析のソースとして使用しました。

このデータセットは、著者によると、唯一の公開されている100万以上の「実際のユーザーによって書かれた」データセットであるため選択されました。さらに、このデータセットは、新しい論文の2人の著者によってキュレーションされたものであると述べる必要があります。

論文は次のように述べています：

‘まず、VidProMの1,670万のプロンプトを、384次元のベクトルにSentenceTransformersを使用して埋め込みます。次に、これらのベクトルをK-meansでクラスタリングします。ここで、クラスターの数を比較的大きい値、つまり2,000に事前に設定し、次のステップで類似のクラスターを結合します。 ‘

‘最後に、各クラスターについて、GPT-4oに、1つまたは2つの単語でトピックを結論付けるように求めます。 ‘

著者は、教会と大聖堂などの特定の概念は、区別できるものの、明らかに隣接していることを指摘しています。こうしたケースでは、基準があまりにも細かすぎると、概念の埋め込み（たとえば、犬の品種ごとの単語）が生成され、基準があまりにも広すぎると、過剰な数のサブコンセプトが1つの過剰な概念に収められる可能性があります。したがって、論文では、こうしたケースを評価するために必要なバランスの取れたアプローチについて言及しています。

単数形と複数形は結合され、動詞はその基本形（不定形）に戻されました。アニメーション、シーン、映画、動きなどの、過度に広範な用語は削除されました。

これにより、1,291のトピックが得られました（完全なリストはソース論文の補足セクションにあります）。

選択的なウェブスクレイピング

次に、研究者は、公式のYouTube APIを使用して、2024年のデータセットから抽出された基準に基づいてビデオを検索しました。各トピックについて、500本のビデオを取得することを目指しました。クリエイティブコモンズライセンスが必要なだけでなく、各ビデオは720p以上の解像度で、4分未満でなければなりませんでした。

この方法で、586,490本のビデオがYouTubeからスクレイピングされました。

著者は、ダウンロードされたビデオのYouTube IDを、OpenVid-1M、HD-VILA-100M、Intern-Vid、Koala-36M、LVD-2M、MiraData、Panda-70M、VidGen-1M、WebVid-10Mなどの人気のあるデータセットと比較しました。

彼らは、VideoUFOのクリップのうち、1,675個（先ほど述べた0.29％）のみが、これらの古いコレクションに含まれていることを発見しました。データセットの比較リストは網羅的ではないかもしれませんが、生成ビデオシーンの最大のプレーヤーをすべて含んでおり、妥当な主張であると言えるでしょう。

分割と評価

取得されたビデオは、上記のPanda-70M論文で説明されている方法論に従って、複数のクリップにセグメント化されました。ショット境界が推定され、組み立てが縫合され、連結されたビデオが単一のクリップに分割され、簡単なキャプションと詳細なキャプションが提供されました。

VideoUFOデータセットの各データエントリには、クリップ、ID、開始および終了時間、および簡単なキャプションと詳細なキャプションが含まれています。

簡単なキャプションはPanda-70Mの方法で処理され、詳細なビデオキャプションはQwen2-VL-7Bで処理され、Open-Sora-Planで確立されたガイドラインに従いました。各クリップが意図されたターゲット概念を体現していない場合、詳細なキャプションはGPT-4o miniにフィードされ、トピックに適しているかどうかを判断するために使用されました。著者はGPT-4oを使用した評価を望んでいたでしょうが、これは数百万のビデオクリップに対してはあまりに高価でした。

ビデオの品質評価は、VBenchプロジェクトの6つの方法で処理されました。

比較

著者は、先ほど述べた既存のデータセットでトピック抽出プロセスを繰り返しました。そのためには、VideoUFOから導出されたカテゴリを、他のコレクションの異なるカテゴリとセマンティックに一致させる必要がありました。こうしたプロセスは、近似的な同等のカテゴリのみを提供するため、経験的比較を裏付けるにはあまりにも主観的であると考えられます。

それでも、研究者がこの方法で得た結果は以下のとおりです。

VideoUFOと既存のデータセットの基本的な属性の比較。

研究者は、分析が各データセットで提供された既存のキャプションと説明に依存していたことを認めています。古いデータセットをVideoUFOと同じ方法で再キャプション化することは、より直接的な比較を提供するでしょう。しかし、データポイントの量が多いため、このアプローチは妥当に禁止されるでしょう。

生成

著者は、テキストからビデオへのモデルがユーザー中心の概念でどのように機能するかを評価するためのベンチマーク、BenchUFOを開発しました。これには、VideoUFOの1,291の抽出されたユーザートピックから791の名詞を選択することが含まれます。各選択されたトピックについて、VidProMから10のテキストプロンプトがランダムに選択されました。

各プロンプトはテキストからビデオへのモデルに渡され、生成された結果は、上記で説明したQwen2-VL-7Bキャプショナーを使用して評価されました。生成されたすべてのビデオにキャプションが付与されると、SentenceTransformersを使用して、入力プロンプトと出力（推測）説明の両方のコサイン類似性が計算されました。

BenchUFOプロセスのスキーマ。

評価された生成モデルは、Mira、Show-1、LTX-Video、Open-Sora-Plan、Open Sora、TF-T2V、Mochi-1、HiGen、Pika、RepVideo、T2V-Zero、CogVideoX、Latte-1、Hunyuan Video、LaVie、Pyramidalでした。

VideoUFO以外に、MVDiT-VidGenとMVDit-OpenVidが代替のトレーニングデータセットでした。

結果は、10番目から50番目の最も悪いパフォーマンスと最も良いパフォーマンスのトピックを、各アーキテクチャとデータセットで考慮しました。

BenchUFOでパブリックT2Vモデルと著者のトレーニングモデルを比較した結果。

ここで著者は次のように述べています：

‘現在のテキストからビデオへのモデルは、すべてのユーザー中心のトピックで一貫して良好なパフォーマンスを示すわけではありません。特に、トップ10と低い10のトピック間には、スコアが0.233から0.314の範囲で異なります。これらのモデルは、’巨大なイカ’、’動物細胞’、’ゴッホ’、’古代エジプト’などのトピックを効果的に理解することができません。これは、これらのビデオでのトレーニングが不足しているためです。 ‘

‘テキストからビデオへのモデルは、最も良く機能するトピックで一定のレベルの一貫性を示しています。動物関連のトピック、たとえば’カモメ’、’パンダ’、’イルカ’、’ラカム’、’フクロウ’で、ほとんどのテキストからビデオへのモデルが優れていることがわかりました。これは、現在のビデオデータセットに動物への偏りがあるためであると推測されます。 ‘

結論

VideoUFOは、単に新しいデータの観点から見ると、優れたものです。YouTube IDの評価と除去にエラーがない場合、データセットが研究シーンに新しいものである場合、そしてこれだけの新しい素材を含む場合、これは希有で、潜在的に貴重な提案です。

欠点は、中心となる方法論に信用を与える必要があることです。ユーザーのニーズがウェブスクレイピングの式を決定するべきであると考えない場合、独自の偏見を伴うデータセットを購入することになります。

さらに、抽出されたトピックの有用性は、使用された絞り込み方法の信頼性と、2024年のデータセットの構成方法の両方に依存します。

しかし、VideoUFOはさらに調査する価値があります。Hugging Faceで利用可能です。

*著者の引用をハイパーリンクに置き換えました。

2025年3月5日水曜日に初めて公開されました。