Andersonの視点

AIで動画から物体や人物を消去する

Martin Anderson
Unite.AI を Google の優先ソースに追加
AI-generated stylized image depicting a magician robot showing an empty cabinet with a lady's tiara at the bottom. GPT-1.5
要点EffectEraseは、動画から物体とその影などの二次的効果を除去する新しいデータセットと手法を提案します。
もっと見る
  • EffectEraseは、動画から物体とその影などの二次的効果を除去する新しいデータセットと手法を提案します。
  • 本システムは、一貫性を保つために、同じ影響を受けた領域に焦点を当てて除去タスクと挿入タスクを共同で学習します。
  • EffectEraseは、物体とその視覚的副作用との時空間的関連を明示的にモデル化することで、従来手法を上回る性能を発揮します。

AIの手にかかれば、その子は写真に残らない。

 

画像や動画から人物や物体を取り除く技術は、視覚効果(VFX)を中心とするAI研究で人気のテーマとなっており、この課題に取り組む専用のデータセットやフレームワークが次々と登場している。最新の例は、中国・復旦大学ビッグデータ研究所のEffectEraseだ。物体が周囲に及ぼす影響も考慮する動画物体除去システムで、著者らによれば、テストでは従来の最高水準を大きく上回ったという。

プロジェクトサイトの素材を編集した、EffectEraseの処理例。リンク先には高解像度で最適化されていない自動再生動画が多数あり、ブラウザーの安定性に影響するおそれがある。より手軽に全体を確認できるYouTube動画を、この記事の末尾に埋め込んでいる。 出典

この研究では、一部を新規作成したデータセットを構築・整理した。350弱の独自の実写・合成シーンを含み、専用機材で撮影するか、公開リポジトリ*を利用して入手した素材を、オープンソースのBlender 3Dを中心とするワークフロー向けに転用している。

実写と合成を組み合わせたVideo Object Removal(VOR)データセットは、EffectEraseの基盤となる。このアプリケーションは動画生成システムWan2.1を土台とし、関連する2つの新しいベンチマークも定義している。VOR EvalとVOR Wildで、それぞれ正解となるグラウンドトゥルースがあるサンプルと、ないサンプルを対象とする。

(この論文にはプロジェクトサイトがあるが、高解像度動画が多いため負荷が大きく、読み込みに支障が出る。サイトが使いづらい場合は、上に埋め込んだ、筆者が抜粋を編集した動画を参照してほしい。)

新しいデータセットと、同種の既存データセットの規模を比較したもの。 出典:https://arxiv.org/pdf/2603.19224

新しいデータセットと、同種の既存データセットの規模を比較したもの。 出典

研究者らは、定量的な指標だけでなく、人による定性的な評価でも最高水準の性能を達成したと主張している。

従来の手法では、影や反射など、物体に付随する影響を必ずしも除去できていなかったという。今回のデータセットは、この欠点を改善するために入念に作成されている。

従来の手法が、除去対象の物体だけを見て、反射や影といった間接的な痕跡を見落とす例。

従来の手法が、除去対象の物体だけを見て、反射や影といった間接的な痕跡を見落とす例。

新しい論文の題名はEffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasingで、復旦大学の計算機科学・人工知能学院に所属する4人の研究者が執筆した。

手法

実写と合成を組み合わせたVORデータセットは、動画から人物や物体を除去する際に生じうる影響を網羅できるよう、幅広い状況をカバーする設計となっている。

VORデータセットの対応するフレーム。物体除去では、目に見える対象だけでなく、それが引き起こす影響も扱う必要がある。遮蔽、影、照明変化、反射、物理的変形の例について、対象が存在する入力画像と、除去後に対応するクリーンな背景を並べている。

VORデータセットの対応するフレーム。物体除去では、目に見える対象だけでなく、それが引き起こす影響も扱う必要がある。遮蔽、影、照明変化、反射、物理的変形の例について、対象が存在する入力画像と、除去後に対応するクリーンな背景を並べている。さらに多くの例は、記事末尾のYouTube動画で確認できる。

著者らは、除去すべき代表的な「干渉」を5種類定義している。遮蔽(さまざまなガラスや煙による遮蔽を含む)、影、照明(例えば、除去対象の物体が光の経路を作り出したり、変化させたりする場合)、反射、そして変形(例えば、人を除去した後にも残っていてはならない、クッションのくぼみ)である。

VORデータセットの構築工程。Blenderによる合成シーンと実写映像を組み合わせる。合成データには選別した3D環境・物体・カメラ軌道を用い、実写はさまざまなシーンで撮影し、Ken Burns方式の動きを加える。SAM2による領域分割と手作業での調整により、位置を対応させた前景・背景・マスクの動画の組を作成する。

VORデータセットの構築工程。Blenderによる合成シーンと実写映像を組み合わせる。合成データには選別した3D環境・物体・カメラ軌道を用い、実写はさまざまなシーンで撮影し、Ken Burns方式の動きを加える。SAM2による領域分割と手作業での調整により、位置を対応させた前景・背景・マスクの動画の組を作成する。

独自の実写データについては、固定カメラで物体がある状態とない状態を撮影し、幅広い環境、時間帯、気象条件をカバーした。

合成データについては、複数の視点からレンダリングし、複数の物体が登場する状況を作成した。実際の映像でも起こりうる、複雑で難しいカメラの動きを意図的に含めている。研究者らによると、この手法は、その他の点では似ているRemove Objects with Side Effects in Videos(ROSE)データセットの作成手法よりも高度で、労力もかかっているという。

動きの多様性を増やすため、Ken Burns効果を撮影した映像のペアに適用した。14の事前定義ルールに従って、制御されたパンやズーム、小さな手持ちカメラ風の動きを加え、各ペアにつき5種類の動きのパターンを抽出した。切り出す範囲は元のフレーム内に収めた。

さらに規模と多様性を高めるため、合成物体を複数のカメラ設定と組み合わせた。マスクは、キーフレームに手作業で点のプロンプトを指定し、Segment Anything 2(SAM2)で領域分割を他のフレームに伝播させて作成した。結果を整理・調整し、検証済みの前景・背景・マスクの組を学習用に用意した。

最終的なデータセットは、実写と合成を合わせて145時間、6万組の動画からなり、443シーンにわたる366の物体クラスを含む。

EffectEraseネットワークは、変分オートエンコーダー(VAE†)で素材を取り込み、Wan2.1が潜在表現のノイズ除去を担う。この基盤の上に3つの構成要素を置く。除去・挿入の共同学習では、同じ領域を対象に両方の処理を学習する。タスク対応領域ガイダンス(TARG)は、物体トークンとタスクトークンにクロスアテンションを組み合わせ、物体とその影響の時空間的なつながりをモデル化してタスク切り替えを可能にする。そして影響の整合性損失により、除去と挿入で扱う影響領域を一致させる。

EffectEraseフレームワークの概略。学習時に動画のペアを共通の潜在空間に符号化し、ノイズと組み合わせ、タスクに対応したクロスアテンションで誘導する拡散Transformerで処理する。影響の整合性損失で除去・挿入の領域を一致させ、両タスクが同じ場所に注目するようにする。

EffectEraseフレームワークの概略。学習時に動画のペアを共通の潜在空間に符号化し、ノイズと組み合わせ、タスクに対応したクロスアテンションで誘導する拡散Transformerで処理する。影響の整合性損失で除去・挿入の領域を一致させ、両タスクが同じ場所に注目するようにする。

除去と挿入は、共通の拡散モデルを基盤として同時に学習する。これにより、同じ影響領域と構造的な手がかりに注目することをモデルに学ばせる。

まず、物体を含む動画、背景だけの動画、マスクを潜在空間に符号化する。拡散学習のためにノイズを加え、タスク固有の誘導のもとで元のノイズのない表現を復元するよう学習させる。軽量アダプターは、ノイズを含む特徴と除去・挿入の条件を組み合わせる。これにより、両タスクは教師信号を共有しつつ、それぞれ制御できる。

タスク対応領域ガイダンスは、言語トークンと、CLIPで前景物体から抽出した視覚特徴を組み合わせ、タスク固有の信号を作る。一般的な物体トークンを、実際の画像内容から得た埋め込みに置き換える。この表現をクロスアテンション経由で基盤モデルに送り込み、物体とその視覚的影響が空間・時間の中でどう変化するかを追跡しながら、除去と挿入を柔軟に切り替える。

影響の整合性損失は、除去と挿入が同じ変化領域に注目するよう制約する。両タスクとも同じ物体とその視覚的影響を扱うためだ。各分岐のアテンションマップをソフトな領域マップにまとめ、物体を含む動画と背景動画から計算した差分マップに合わせることで、照明や影などの微妙な変化も捉える。この追加の損失によって、挿入タスクが除去タスクを導き、両者の整合性を保つ。

データとテスト

研究者らは、画像補完、動画補完、物体除去の各手法と比較した。比較対象は、OmniPaint、ObjectClear、VACE、DiffuEraser、ProPainter、ROSE、MiniMax-Removerである。

Wan2.1はLoRA††を用い、VORデータセットで832×480ピクセルの解像度で追加学習した。学習用には、連続する81フレーム(WANでの実質的な上限で、これを超えるとエラーが生じやすい)をランダムに抽出した。学習は12万9,000反復行い、バッチサイズは8、使用したH100 GPUは8基で、それぞれ80GBのVRAMを備える。学習率は1×102、LoRAランクは256に設定した。

合成データ集のROSE-Benchmarkは、評価に用いた唯一の外部データセットである。残る2つは、VOR-Eval(VORデータセットのテスト用分割)と、インターネットから収集した、動く物体を含む実写動画195本からなるVOR-Wildだった。

使用した指標は、ピーク信号対雑音比(PSNR)、構造的類似度指数(SSIM)、学習済み知覚的画像パッチ類似度(LPIPS)、Fréchet Video Distance(FVD)である。また、VOR-Wildから生成した195本の動画について、20人のボランティアによる評価を平均するユーザー調査も実施した。

さらに著者らはQScoreという指標を考案した。これはマルチモーダルモデルQwen-VLを活用し、残存するアーティファクトや、影・照明効果など除去し損ねた環境への影響の観点から、物体除去後の動画品質を評価する。

ROSEおよびVORベンチマークでの定量比較。最良の結果を太字、2番目に良い結果を下線で示す。

ROSEおよびVORベンチマークでの定量比較。最良の結果を太字、2番目に良い結果を下線で示す。

これらの結果について、著者らは次のように述べている。

「[現在の]画像補完手法は、時間的なモデル化を行わない2Dモデルで個々のフレームを処理するため、動画の時間的一貫性を維持できない。

近年の動画補完[手法]は、物体の付随的な影響を明示的にモデル化せず、不自然な除去結果となる。既存の動画物体除去[手法]には、物体とその付随的影響との時空間的な相関のモデル化が欠けており、アーティファクトや除去対象の痕跡が残ることが多い。

「総合的に見て、EffectEraseはすべてのデータセットと評価指標で最高水準の性能を達成している。動画品質指標FVDで最良のスコアを獲得しており、生成動画の時間的な滑らかさと一貫性に優れることを示している。

「本手法はQScoreとユーザー評価でも最高の値を達成しており、視覚的に説得力のある除去結果を生成できることをさらに示している。」

定性的な評価については、論文に静止画像の結果が掲載されている(直下に示す)。動画の結果は、プロジェクトサイトと、それに付随するYouTubeの紹介動画で確認できる。

VOR-Evalにおける、遮蔽、影、照明、反射、変形の定性比較。補完手法はマスク外の影響の除去を苦手とし、物体除去モデルは目に見えるアーティファクトを残すことが多い。EffectEraseは対象物体とそれに伴う影響を、よりきれいに除去する。高解像度の画像は元の論文、動画の例はプロジェクトサイトを参照。

VOR-Evalにおける、遮蔽、影、照明、反射、変形の定性比較。補完手法はマスク外の影響の除去を苦手とし、物体除去モデルは目に見えるアーティファクトを残すことが多い。EffectEraseは対象物体とそれに伴う影響を、よりきれいに除去する。高解像度の画像は元の論文、動画の例はプロジェクトサイトを参照。

プロジェクトサイトの多彩な関連事例も参照してほしい。その一例を下に示す。公式YouTube動画も記事末尾に埋め込んでいる。

クリックして再生。EffectEraseプロジェクトサイトの比較例。より高解像度の映像(前述の注意点あり)や追加の事例は、同サイトを参照。

著者らは次のように述べている。

「動画補完[手法]は、マスク領域にアーティファクトを生じさせることが多く、除去した物体による影響を完全には取り除けない。[ROSE]や[MinMax-Remover]などの従来の物体除去手法は、対象物体そのものの除去は得意だが、特に遮蔽、影、照明、反射、変形の場面では、付随する影響への対処が依然として難しい。

「対照的に、EffectEraseは対象物体とそれに伴う影響の両方を効果的に除去し、きれいで一貫性のある高品質な結果を生成する。」

最後に研究者らは、追加の学習なしで、この手法を除去ではなく挿入のタスクにも適応できると述べている。

動画への物体挿入の結果。EffectEraseは背景の内容を保ちながら物体を挿入し、影や反射など、物体が引き起こす影響をフレーム間で一貫して生成する。

動画への物体挿入の結果。EffectEraseは背景の内容を保ちながら物体を挿入し、影や反射など、物体が引き起こす影響をフレーム間で一貫して生成する。

挿入タスクの動画結果は、該当時刻を指定したYouTube動画の例で確認できる。同じ動画を記事末尾にも、時刻指定なしで埋め込んでいる。

結論

研究文献にある類似プロジェクトを見渡すと、汎用VFXモデルが将来、この種の機能を、単一の作業だけでなく幅広い効果を扱う一般的な「ツールキット」モデルに取り込めると、多くの研究者が期待していることがわかる。

しかし「器用貧乏」という考え方に照らせば、EffectEraseのような専用システムが、より汎用的な手法より優位を保ち続けると考えるのは妥当だろう。ただし、その差はいずれ十分に縮まり、独立したモデルを学習させる追加の労力に見合わなくなる可能性もある。

 

*知的財産の出所をめぐる懸念が高まる中、こうした素材の出典がすべて示されていてほしいところだ。しかし、この新しい研究の公開資料に3Dモデルの出典が記載されているとしても、筆者には該当する記述を見つけられなかった。

†示された参考文献は、2013年の一般的な解説文のように見受けられ、使用したVAEの詳細は明記されていない。

†† これは論文から引用した説明だが、意味が不明瞭である。ファインチューニングとLoRAは別の処理で、必要となる条件も大きく異なるためだ。

初出:2026年3月21日(土)

機械学習のライターで、人間画像合成の専門家です。Metaphysic.ai の研究コンテンツ部門の元責任者で、DNEG の Brahma.ai に統合されるまで勤務していました。
ウェブサイト: martinanderson.ai
連絡先: martin@martinanderson.ai