Удаление объектов и людей из видео с помощью ИИ

Нет, ребёнок не останется на фотографии, если ИИ сможет на это повлиять.

Удаление людей и предметов с изображений и видео — популярное направление исследований ИИ для визуальных эффектов. Для этой задачи создаётся всё больше специализированных наборов данных и систем. Новейший пример из Института больших данных Фуданьского университета в Китае — EffectErase, система удаления объектов из видео, учитывающая также их воздействие на сцену. По словам авторов, в тестах она заметно превосходит лучшие существующие методы:

Примеры работы EffectErase, смонтированные из материалов сайта проекта. Обратите внимание: на сайте по ссылке много неоптимизированных видео высокого разрешения с автоматическим воспроизведением, что может повлиять на стабильность браузера. Ролик YouTube в конце статьи даёт более доступное и полное представление.  Источник

В рамках работы создали и систематизировали частично новый набор данных, включающий почти 350 оригинальных реальных и синтетических сцен. Их либо сняли специальным оборудованием, либо получили из других источников и адаптировали к рабочему процессу на основе открытой среды Blender 3D, используя общедоступные репозитории*.

Гибридный набор Video Object Removal (VOR) служит основой приложения EffectErase, построенного на системе генерации видео Wan2.1. В работе также определены два новых связанных тестовых набора: VOR Eval и VOR Wild — соответственно для примеров с доступными и недоступными эталонными данными.

(Хотя у работы есть сопровождающий сайт проекта, множество видео высокого разрешения перегружает его и затрудняет загрузку. Если пользоваться сайтом неудобно, можно посмотреть фрагменты, которые я собрал в ролике выше.)

Сравнение объёма нового набора данных с аналогичными более ранними наборами. Источник

Исследователи утверждают, что их подход даёт результаты передового уровня как по количественным метрикам, так и при качественной оценке людьми.

Они отмечают, что предыдущие работы не всегда удаляли сопутствующие эффекты объектов, например тени и отражения. Их набор данных тщательно подготовлен для устранения этого недостатка:

Примеры прежних методов, которые рассматривают только удаляемый объект и упускают косвенные признаки его присутствия, такие как отражения и тени.

Новая работа называется EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing и подготовлена четырьмя исследователями факультета компьютерных наук и искусственного интеллекта Фуданьского университета.

Метод

Гибридный набор VOR спроектирован так, чтобы охватить достаточно широкий круг ситуаций и учесть все последствия удаления человека или предмета из видео:

Парные кадры из VOR показывают, что удаление должно охватывать не только видимый предмет, но и вызванные им эффекты. Примеры включают перекрытия, тени, изменения освещения, отражения и физические деформации. Входной кадр с объектом показан рядом с соответствующим чистым фоном после удаления. Другие примеры есть в ролике YouTube в конце статьи.

Авторы выделяют пять типичных видов помех, которые нужно устранять: перекрытия, включая различные формы перекрытия стеклом и дымом; тени; освещение (например, когда удаляемый предмет создаёт или меняет путь света); отражения; и деформации (например, вмятина на подушке от сидевшего человека, которая не должна оставаться после удаления человека).

Процесс создания VOR объединяет синтетические сцены из Blender с реальными съёмками. Синтетические данные создают из отобранных трёхмерных сред, объектов и траекторий камеры. Реальные видео снимают в разных сценах и дополняют движением Кена Бёрнса. Сегментация SAM2 и ручная доработка затем дают совмещённые тройки видео переднего плана, фона и соответствующих масок.

Для оригинальных реальных данных исследователи использовали неподвижные камеры, снимая одни и те же сцены с объектом и без него, в разных условиях, в разное время суток и при разной погоде.

Для синтетических данных рендерили несколько ракурсов и создавали ситуации с несколькими объектами, намеренно включая сложные движения камеры, которые могут встречаться в реальных съёмках. Авторы считают этот подход более продвинутым и трудоёмким, чем метод создания в остальном похожего набора Remove Objects with Side Effects in Videos (ROSE).

Чтобы разнообразить движения, к парам реальных съёмок применяли эффект Кена Бёрнса. По 14 заранее заданным правилам добавляли управляемые панорамирования, масштабирование и небольшие движения, напоминающие съёмку с рук. Для каждой пары выбирали пять схем движения, оставляя область кадрирования внутри исходного кадра.

Масштаб и разнообразие также увеличивали, сочетая синтетические объекты с разными настройками камеры. Маски создавали, вручную задавая точечные подсказки на ключевых кадрах, распространяя сегментацию с помощью Segment Anything 2 (SAM2), очищая и уточняя результаты и собирая проверенные тройки переднего плана, фона и масок для обучения.

Итоговая коллекция включает 145 часов реальных и синтетических видео в 60 000 парах, охватывая 366 классов объектов в 443 сценах.

Сеть EffectErase получает материал через вариационный автоэнкодер (VAE^†), а Wan2.1 удаляет шум в латентном представлении. На этой основе EffectErase использует три компонента: совместное обучение удалению и вставке, при котором обе задачи обучаются на одних и тех же областях; управление областями с учётом задачи (TARG), объединяющее токены объекта и задачи с перекрёстным вниманием для моделирования пространственных и временных связей между объектами и их эффектами и переключения задач; и функцию потерь согласованности эффектов, которая совмещает области эффектов в задачах удаления и вставки:

Схема системы EffectErase. При обучении парные видео кодируются в общее латентное пространство, объединяются с шумом и обрабатываются диффузионным трансформером под управлением перекрёстного внимания с учётом задачи. Функция потерь согласованности эффектов совмещает области удаления и вставки, чтобы обе задачи были сосредоточены на одном участке.

Удаление и вставка обучаются совместно на общей диффузионной архитектуре, чтобы модель учитывала одни и те же затронутые области и структурные признаки.

Видео с объектом, видео только с фоном и маски сначала кодируются в латентное пространство. Затем добавляется шум для диффузионного обучения, и модель учится восстанавливать чистые представления под руководством, соответствующим задаче. Лёгкий адаптер объединяет зашумлённые признаки с условиями удаления или вставки. Задачи могут пользоваться общими обучающими сигналами и при этом остаются отдельно управляемыми.

Управление областями с учётом задачи создаёт специальный сигнал, объединяя языковые токены с визуальными признаками объекта переднего плана, извлечёнными с помощью CLIP. Общий токен объекта заменяется векторным представлением, полученным из реального содержания изображения. Объединённое представление передаётся в основную архитектуру через перекрёстное внимание. Это позволяет отслеживать изменения объекта и его визуальных эффектов в пространстве и времени и гибко переключаться между удалением и вставкой.

Функция потерь согласованности эффектов заставляет удаление и вставку учитывать одни и те же изменённые области, поскольку обе задачи работают с одним объектом и его визуальными эффектами. Карты внимания из каждой ветви объединяются в мягкие карты областей и совмещаются с картой различий, вычисляемой из видео объекта и фона, чтобы учитывать даже небольшие изменения, например освещение и тени. Эта дополнительная функция потерь позволяет вставке направлять удаление и сохраняет согласованность обеих задач.

Данные и тесты

Исследователи сравнили свой подход с различными методами заполнения изображений, заполнения видео и удаления объектов: OmniPaint; ObjectClear; VACE; DiffuEraser; ProPainter; ROSE; и MiniMax-Remover.

Wan2.1 дообучали с помощью LoRA^†† на наборе VOR при разрешении 832×480 пикселей. Для обучения случайным образом выбирали последовательности из 81 кадра ( практический предел для WAN, при превышении которого обычно возникают ошибки). Обучение продолжалось 129 000 итераций с размером пакета 8 на восьми GPU H100, каждый с 80 ГБ VRAM. Скорость обучения установили на 1×10², а ранг LoRA — на 256.

Синтетическая коллекция ROSE-Benchmark была единственным внешним набором данных в тестах. Два других — VOR-Eval, часть набора VOR, выделенная для тестирования; и VOR-Wild, тестовый набор из 195 реальных видео, собранных в интернете и содержащих движущиеся объекты.

Использовались следующие метрики: пиковое отношение сигнал/шум (PSNR); индекс структурного сходства (SSIM); обучаемое перцептивное сходство фрагментов изображений (LPIPS); и расстояние Фреше для видео (FVD). Также провели пользовательское исследование со 195 видео, сгенерированными из VOR-Wild, учитывая средние оценки 20 добровольцев.

Кроме того, авторы разработали QScore, метрику, которая использует мультимодальную модель Qwen-VL для оценки качества видео после удаления объектов по оставшимся артефактам или неустранённым изменениям окружения, таким как тени и световые эффекты:

Количественное сравнение на ROSE и VOR. Лучшие результаты выделены жирным шрифтом, вторые по качеству — подчёркиванием.

Авторы отмечают по поводу этих результатов:

«[Современные] методы заполнения изображений обрабатывают отдельные кадры с помощью 2D-моделей без моделирования времени и поэтому не сохраняют временную согласованность видео.

Недавние [методы] заполнения видео явно не моделируют сопутствующие эффекты объектов, что приводит к неестественным результатам удаления. Существующие [методы] удаления объектов из видео не моделируют пространственные и временные корреляции между объектом и его эффектами и поэтому часто создают артефакты и оставляют следы удалённых объектов.

«В целом EffectErase достигает передовых результатов на всех наборах данных и метриках оценки. Система получает лучшие баллы по метрике качества видео FVD, демонстрируя более высокую плавность и согласованность сгенерированных видео во времени.

«Наш метод также получает наивысший QScore и пользовательские оценки, что дополнительно показывает его эффективность в создании визуально убедительных результатов удаления».

Для качественной оценки в работе приведены статичные изображения результатов, показанные прямо ниже. Результаты в движении доступны на сайте проекта и в сопутствующей видеопрезентации на YouTube:

Качественное сравнение на VOR-Eval для перекрытий, теней, освещения, отражений и деформаций. Методам заполнения трудно удалять эффекты за пределами маски, а модели удаления часто оставляют видимые артефакты. EffectErase чище удаляет целевые объекты и их эффекты. Более высокое разрешение доступно в исходной работе, видеопримеры — на сайте проекта.

Мы также отсылаем читателя к разнообразным связанным примерам на сайте проекта, один из которых показан ниже, и к официальному ролику YouTube в конце статьи:

Нажмите для воспроизведения. Пример сравнения с сайта проекта EffectErase. Более высокое разрешение (с ранее указанными оговорками) и другие примеры доступны на сайте.

Авторы комментируют:

«[Методы] заполнения видео часто создают артефакты в областях маски и не удаляют полностью эффекты, вызванные удалёнными объектами. Более ранние методы удаления объектов, такие как [ROSE] и [MinMax-Remover], хорошо удаляют целевые объекты, но по-прежнему испытывают трудности с сопутствующими эффектами, особенно при перекрытиях, тенях, освещении, отражениях и деформациях.

«Напротив, EffectErase эффективно удаляет как целевые объекты, так и их эффекты, давая чистые, согласованные и высококачественные результаты».

В завершение исследователи отмечают, что метод можно адаптировать и к вставке вместо удаления без дополнительного обучения:

Результаты вставки объектов в видео. EffectErase вставляет объекты, сохраняя содержимое фона и согласованно между кадрами создавая вызванные объектами эффекты, например тени и отражения.

Видеопримеры результатов вставки можно посмотреть в ролике YouTube по ссылке на определённый момент. Тот же ролик встроен в конце статьи без указания времени начала.

Заключение

Обзор похожих проектов в научной литературе показывает: многие по-прежнему надеются, что универсальные модели VFX со временем включат такую функцию в общую модель — «набор инструментов» для разных эффектов, а не только для этой конкретной задачи.

Однако, исходя из того, что универсальность может быть в ущерб специализации, разумно предположить, что специализированные системы вроде EffectErase сохранят преимущество над более общими подходами. Оговорка состоит в том, что разрыв со временем может сократиться настолько, что разница перестанет оправдывать дополнительные усилия по обучению отдельной модели.

* На фоне растущих опасений о происхождении материалов и интеллектуальной собственности хотелось бы, чтобы все такие источники указывались. Но если доступные материалы новой работы сообщают источник 3D-моделей, я не смог найти эту ссылку.

^† Предоставленная ссылка, по-видимому, ведёт на общий пояснительный текст 2013 года; конкретный использованный VAE не описан.

^†† Этот взятый из работы текст семантически неясен, поскольку тонкая настройка и LoRA — разные процессы с очень разными требованиями.

Впервые опубликовано в субботу, 21 марта 2026 года