Погляд Anderson

Видалення об’єктів і людей із відео за допомогою штучного інтелекту

Martin Anderson
Додайте Unite.AI до бажаних джерел у Google
AI-generated stylized image depicting a magician robot showing an empty cabinet with a lady's tiara at the bottom. GPT-1.5
Ключові моментиEffectErase представляє новий набір даних та метод для видалення об'єктів і їхніх…
Показати більше
  • EffectErase представляє новий набір даних та метод для видалення об'єктів і їхніх вторинних ефектів (наприклад, тіней) з відео.
  • Система одночасно навчає завдання видалення та вставлення, щоб зосередитись на тих самих зонах впливу для забезпечення узгодженості.
  • EffectErase перевершує попередні методи завдяки явному моделюванню просторово-часових зв'язків між об'єктами та їхніми візуальними побічними ефектами.

Ні, дитина не залишиться на фотографії, якщо ШІ матиме на це вплив.

 

Видалення людей і предметів із зображень та відео — популярний напрям досліджень ШІ для візуальних ефектів. З’являється дедалі більше спеціалізованих наборів даних і систем для цього завдання. Найновіший приклад з Інституту великих даних Фуданьського університету в Китаї — EffectErase, система видалення об’єктів із відео, що враховує також їхній вплив на сцену. За словами авторів, у тестах вона помітно перевершує найкращі наявні методи:

Приклади роботи EffectErase, змонтовані з матеріалів сайту проєкту. Зверніть увагу: сайт за посиланням містить багато неоптимізованих відео високої роздільності з автоматичним відтворенням, що може вплинути на стабільність браузера. Відео YouTube наприкінці статті пропонує доступніший і повніший огляд.  Джерело

Робота передбачала створення й упорядкування частково нового набору даних, який містить майже 350 оригінальних реальних і синтетичних сцен. Їх або зняли спеціальним обладнанням, або отримали з інших джерел і адаптували до робочого процесу на основі відкритого Blender 3D, використовуючи загальнодоступні репозиторії*.

Гібридний набір Video Object Removal (VOR) є основою застосунку EffectErase, побудованого на системі генерації відео Wan2.1. Робота також визначає два нові пов’язані тестові набори: VOR Eval та VOR Wild — відповідно для прикладів із доступними та недоступними еталонними даними.

(Хоча робота має супровідний сайт проєкту, велика кількість відео високої роздільності перевантажує його та ускладнює завантаження. Якщо користуватися ним незручно, можна переглянути уривки, які я зібрав у вбудованому вище відео.)

Порівняння обсягу нового набору даних з аналогічними попередніми наборами. Джерело: https://arxiv.org/pdf/2603.19224

Порівняння обсягу нового набору даних з аналогічними попередніми наборами. Джерело

Дослідники стверджують, що їхній підхід досягає провідних результатів як за кількісними метриками, так і за якісною оцінкою людей.

Вони зазначають, що попередні роботи не завжди видаляли супутні ефекти об’єкта, наприклад тіні та відображення. Їхній набір даних ретельно підготовлений для усунення цього недоліку:

Приклади попередніх методів, які зосереджуються лише на об’єкті, що видаляється, і не враховують непрямі сліди, як-от відображення та тіні.

Приклади попередніх методів, які зосереджуються лише на об’єкті, що видаляється, і не враховують непрямі сліди, як-от відображення та тіні.

Нова наукова робота має назву EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing і підготовлена чотирма дослідниками факультету комп’ютерних наук та штучного інтелекту Фуданьського університету.

Метод

Гібридний набір VOR спроєктований так, щоб охопити достатньо широке коло ситуацій і врахувати всі наслідки видалення людини чи предмета з відео:

Парні кадри з VOR показують, що видалення має охоплювати не лише видимий предмет, а й спричинені ним ефекти. Приклади містять перекриття, тіні, зміни освітлення, відображення та фізичні деформації. Вхідний кадр з об’єктом показаний поруч із відповідним чистим фоном після видалення.

Парні кадри з VOR показують, що видалення має охоплювати не лише видимий предмет, а й спричинені ним ефекти. Приклади містять перекриття, тіні, зміни освітлення, відображення та фізичні деформації. Вхідний кадр з об’єктом показаний поруч із відповідним чистим фоном після видалення. Інші приклади є у відео YouTube наприкінці статті.

Автори визначають п’ять типових видів перешкод, які потрібно усувати: перекриття, зокрема різні форми перекриття склом і димом; тіні; освітлення (наприклад, коли об’єкт, який видаляють, створює або змінює шлях світла); відображення; та деформації (наприклад, заглиблення на подушці від людини, яке не повинно залишатися після видалення людини).

Процес створення VOR поєднує синтетичні сцени з Blender із реальними зйомками. Синтетичні дані будують із відібраних тривимірних середовищ, об’єктів і траєкторій камери. Реальні відео знімають у різних сценах і доповнюють рухом Кена Бернса. Сегментація SAM2 та ручне доопрацювання дають узгоджені трійки відео переднього плану, фону та відповідних масок.

Процес створення VOR поєднує синтетичні сцени з Blender із реальними зйомками. Синтетичні дані будують із відібраних тривимірних середовищ, об’єктів і траєкторій камери. Реальні відео знімають у різних сценах і доповнюють рухом Кена Бернса. Сегментація SAM2 та ручне доопрацювання дають узгоджені трійки відео переднього плану, фону та відповідних масок.

Для оригінальних реальних даних дослідники використовували нерухомі камери, знімаючи ті самі сцени з об’єктом і без нього, у різних середовищах, у різний час доби та за різної погоди.

Для синтетичних даних рендерили кілька ракурсів і створювали ситуації з кількома об’єктами, навмисно додаючи складні й вимогливі рухи камери, можливі в реальних зйомках. Автори вважають цей підхід досконалішим і трудомісткішим за метод створення подібного в інших аспектах набору Remove Objects with Side Effects in Videos (ROSE).

Щоб урізноманітнити рух, до пар реальних зйомок застосовували ефект Кена Бернса. За 14 заздалегідь визначеними правилами додавали контрольоване панорамування, масштабування та невеликі рухи, подібні до зйомки з рук. Для кожної пари вибирали п’ять шаблонів руху, залишаючи область обрізання всередині початкового кадру.

Масштаб і різноманітність також збільшували, поєднуючи синтетичні об’єкти з різними налаштуваннями камери. Маски створювали, вручну задаючи точкові підказки на ключових кадрах, поширюючи сегментацію за допомогою Segment Anything 2 (SAM2), очищаючи й уточнюючи результати та збираючи перевірені трійки переднього плану, фону й масок для навчання.

Підсумкова колекція містить 145 годин реальних і синтетичних відео в 60 000 парах, охоплюючи 366 класів об’єктів у 443 сценах.

Мережа EffectErase отримує матеріал через варіаційний автоенкодер (VAE†), а Wan2.1 усуває шум у латентному представленні. На цій основі EffectErase використовує три компоненти: спільне навчання видалення та вставлення, яке навчає обидва завдання на тих самих областях; керування областями з урахуванням завдання (TARG), яке поєднує токени об’єкта й завдання з перехресною увагою для моделювання просторових і часових зв’язків між об’єктами та їхніми ефектами й перемикання завдань; і функцію втрат узгодженості ефектів, яка суміщає області ефектів у завданнях видалення та вставлення:

Схема системи EffectErase. Під час навчання парні відео кодуються у спільний латентний простір, поєднуються із шумом та обробляються дифузійним трансформером під керуванням перехресної уваги з урахуванням завдання. Функція втрат узгодженості ефектів суміщає області видалення та вставлення, щоб обидва завдання зосереджувалися на тому самому місці.

Схема системи EffectErase. Під час навчання парні відео кодуються у спільний латентний простір, поєднуються із шумом та обробляються дифузійним трансформером під керуванням перехресної уваги з урахуванням завдання. Функція втрат узгодженості ефектів суміщає області видалення та вставлення, щоб обидва завдання зосереджувалися на тому самому місці.

Видалення та вставлення навчаються разом на спільній дифузійній архітектурі, щоб модель враховувала ті самі зачеплені області й структурні підказки.

Відео з об’єктом, відео лише з фоном і маски спочатку кодуються в латентний простір. Далі додається шум для дифузійного навчання, і модель вчиться відновлювати чисті представлення під керівництвом, відповідним завданню. Легкий адаптер поєднує зашумлені ознаки з умовами видалення або вставлення. Завдання можуть використовувати спільні навчальні сигнали та водночас залишаються окремо керованими.

Керування областями з урахуванням завдання створює спеціальний сигнал, поєднуючи мовні токени з візуальними ознаками об’єкта переднього плану, вилученими за допомогою CLIP. Загальний токен об’єкта замінюється векторним представленням, отриманим із фактичного вмісту зображення. Поєднане представлення передається до основної архітектури через перехресну увагу. Це дає змогу відстежувати зміни об’єкта та його візуальних ефектів у просторі й часі та гнучко перемикати видалення і вставлення.

Функція втрат узгодженості ефектів змушує видалення та вставлення враховувати ті самі змінені області, адже обидва завдання працюють із тим самим об’єктом та його візуальними ефектами. Карти уваги з кожної гілки об’єднуються в м’які карти областей і суміщаються з картою відмінностей, обчисленою з відео об’єкта й фону, щоб урахувати навіть невеликі зміни, як-от освітлення та тіні. Ця додаткова функція втрат дає змогу вставленню спрямовувати видалення і зберігає узгодженість обох завдань.

Дані та тести

Дослідники порівняли свій підхід із різними методами заповнення зображень, заповнення відео та видалення об’єктів: OmniPaint; ObjectClear; VACE; DiffuEraser; ProPainter; ROSE; та MiniMax-Remover.

Wan2.1 донавчали за допомогою LoRA†† на наборі VOR з роздільністю 832×480 пікселів. Для навчання випадково вибирали послідовності з 81 кадру ( практична межа для WAN, після перевищення якої зазвичай виникають помилки). Навчання тривало 129 000 ітерацій із розміром пакета 8 на восьми GPU H100, кожен із 80 ГБ VRAM. Швидкість навчання встановили на 1×102, а ранг LoRA — на 256.

Синтетична колекція ROSE-Benchmark була єдиним зовнішнім набором даних у тестах. Два інші — VOR-Eval, частина набору VOR, відведена для тестування; і VOR-Wild, тестовий набір зі 195 реальних відео, зібраних з інтернету, що містять рухомі об’єкти.

Використовували такі метрики: пікове співвідношення сигнал/шум (PSNR); індекс структурної подібності (SSIM); навчена перцептивна подібність фрагментів зображень (LPIPS); та відстань Фреше для відео (FVD). Також провели користувацьке дослідження зі 195 відео, згенерованими з VOR-Wild, ураховуючи середні оцінки 20 добровольців.

Крім того, автори розробили QScore, метрику, яка використовує мультимодальну модель Qwen-VL для оцінки якості відео після видалення об’єктів за залишковими артефактами чи неусуненими змінами оточення, як-от тіні та світлові ефекти:

Кількісне порівняння на ROSE і VOR. Найкращі результати виділено жирним шрифтом, другі за якістю — підкресленням.

Кількісне порівняння на ROSE і VOR. Найкращі результати виділено жирним шрифтом, другі за якістю — підкресленням.

Щодо цих результатів автори зазначають:

«[Сучасні] методи заповнення зображень обробляють окремі кадри за допомогою 2D-моделей без моделювання часу, тому не зберігають часову узгодженість відео.

Новіші [методи] заповнення відео явно не моделюють супутні ефекти об’єктів, що призводить до неприродних результатів видалення. Наявні [методи] видалення об’єктів із відео не моделюють просторові й часові кореляції між об’єктом та його ефектами, тому часто створюють артефакти й залишають сліди видалених об’єктів.

«Загалом EffectErase досягає передових результатів на всіх наборах даних і метриках оцінювання. Система отримує найкращі бали за метрикою якості відео FVD, демонструючи вищу плавність і часову узгодженість згенерованих відео.

«Наш метод також отримує найвищий QScore та оцінки користувачів, що додатково показує його ефективність у створенні візуально переконливих результатів видалення».

Для якісної оцінки в роботі наведено статичні зображення результатів, показані нижче. Результати в русі доступні на сайті проєкту та в супровідній відеопрезентації на YouTube:

Якісне порівняння на VOR-Eval для перекриттів, тіней, освітлення, відображень і деформацій. Методам заповнення важко усувати ефекти за межами маски, а моделі видалення часто залишають видимі артефакти. EffectErase чистіше видаляє цільові об’єкти та їхні ефекти. Вищу роздільність пропонує оригінальна робота, а відеоприклади — сайт проєкту.

Якісне порівняння на VOR-Eval для перекриттів, тіней, освітлення, відображень і деформацій. Методам заповнення важко усувати ефекти за межами маски, а моделі видалення часто залишають видимі артефакти. EffectErase чистіше видаляє цільові об’єкти та їхні ефекти. Вищу роздільність пропонує оригінальна робота, а відеоприклади — сайт проєкту.

Ми також радимо переглянути різноманітні пов’язані приклади на сайті проєкту, один з яких показаний нижче, та офіційне відео YouTube наприкінці статті:

Натисніть для відтворення. Приклад порівняння із сайту проєкту EffectErase. Вища роздільність (із зазначеними раніше застереженнями) та інші приклади доступні на сайті.

Автори коментують:

«[Методи] заповнення відео часто створюють артефакти в областях маски й не повністю усувають ефекти, спричинені видаленими об’єктами. Попередні методи видалення, як-от [ROSE] та [MinMax-Remover], добре видаляють цільові об’єкти, але досі мають труднощі із супутніми ефектами, особливо за перекриттів, тіней, освітлення, відображень і деформацій.

«Натомість EffectErase ефективно видаляє і цільові об’єкти, і їхні ефекти, даючи чисті, узгоджені результати високої якості».

Насамкінець дослідники зазначають, що метод можна адаптувати й до вставлення замість видалення без додаткового навчання:

Результати вставлення об’єктів у відео. EffectErase вставляє об’єкти, зберігаючи вміст фону й узгоджено між кадрами створюючи спричинені об’єктами ефекти, наприклад тіні та відображення.

Результати вставлення об’єктів у відео. EffectErase вставляє об’єкти, зберігаючи вміст фону й узгоджено між кадрами створюючи спричинені об’єктами ефекти, наприклад тіні та відображення.

Відеоприклади результатів вставлення можна переглянути у відео YouTube за посиланням на певний момент. Те саме відео вбудоване наприкінці статті без зазначення часу початку.

Висновок

Огляд схожих проєктів у науковій літературі показує: багато хто досі сподівається, що універсальні моделі VFX зрештою включать цю функцію до загальної моделі — «набору інструментів» для різних ефектів, а не лише для цього конкретного завдання.

Проте, з огляду на те, що універсальність може шкодити спеціалізації, розумно припустити, що спеціалізовані системи на кшталт EffectErase збережуть перевагу над загальнішими підходами. Застереження полягає в тому, що розрив із часом може звузитися настільки, що різниця не виправдовуватиме додаткових зусиль для навчання окремої моделі.

 

* На тлі зростання занепокоєння щодо походження матеріалів та інтелектуальної власності хотілося б, щоб усі такі джерела зазначалися. Але якщо доступні матеріали нової роботи вказують джерело 3D-моделей, я не зміг знайти цього посилання.

† Надане посилання, схоже, веде на загальний пояснювальний текст 2013 року; конкретний використаний VAE не описано.

†† Цей узятий із роботи опис семантично неясний, оскільки тонке налаштування та LoRA — різні процеси з дуже різними вимогами.

Уперше опубліковано в суботу, 21 березня 2026 року 

Martin Anderson

Автор у галузі машинного навчання, фахівець у сфері синтезу зображень людей. Колишній керівник дослідницького контенту в Metaphysic.ai, до його злиття з Brahma.ai, що належить DNEG.
Веб‑сайт: martinanderson.ai
Контакт: martin@martinanderson.ai