Andersonの視点5 days ago
AIで動画から物体や人物を消し去る
いや、その子は写真に残らない。AIが関わればね。 画像や動画から人物や物体を除去することは、VFX中心のAI研究において人気のある一分野であり、この課題に取り組む専用のデータセットやフレームワークが増え続けています。その最新の成果が、中国・復旦大学のビッグデータ研究所によるEffectEraseです。これは「効果を意識した」動画オブジェクト除去システムで、著者らは、テストにおいて従来技術を著しく改善すると主張しています。 プロジェクトサイトの素材から編集した、EffectErase手法の例（リンクは提供しますが、ソースサイトには高解像度で最適化されていない自動再生動画が多数含まれており、ウェブブラウザの安定性に影響を与える可能性があります。付随するYouTube動画はより簡単で完全な参照資料であり、本記事の末尾に埋め込まれています）。 ソース この新しい研究では、専用の機材で撮影されたり、公開リポジトリ*を利用して収集・再利用されたりした、約350のオリジナルの実世界シーンと合成シーンからなる半新規のデータセットの作成/キュレーションが行われ、オープンソースのBlender 3Dフレームワークを中心に構築されたワークフローに組み込まれました。 このハイブリッドな動画オブジェクト除去（VOR）データセットは、Wan2.1動画生成システム上に構築されたEffectEraseアプリケーション自体の基礎を形成しています。このシステムはまた、2つの新しい関連ベンチマーク、VOR EvalとVOR Wildを定義しています。それぞれ、グラウンドトゥルースのあるサンプルとないサンプルのためのものです。 （論文には付随するプロジェクトサイトがありますが、複数の高解像度動画で過負荷になっており、読み込みが困難です。プロジェクトサイトの使用が難しい場合は、上記の埋め込み動画で私が選んだ抜粋を参照してください） 研究者らは、彼らのアプローチが、定量的指標と人間による研究で判定された定性的結果の両方において、最先端の性能を発揮すると主張しています。 彼らは、従来の研究は影や反射などのオブジェクトの付随効果を必ずしも除去できておらず、彼らのデータセットはこの欠点を修正するために注意深く作成されたと指摘しています。 新しい論文はEffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasingと題され、復旦大学の計算機科学・人工知能学部の4人の研究者によるものです。 手法 ハイブリッドVORデータセットは、動画から人物や物体を除去しようとする試みのすべての含意をカバーするのに十分な広範なシナリオを含むように設計されました。...
