Генерація кращого відео за допомогою двох зображень

Інтерполяція кадрів відео (VFI) – це відкрите питання у дослідженні генеративного відео. Виклик полягає в тому, щоб згенерувати проміжні кадри між двома існуючими кадрами у відеопослідовності.

Натисніть, щоб відтворити. Фреймворк FILM, спільна робота Google та Університету Вашингтону, запропонував ефективний метод інтерполяції кадрів, який залишається популярним серед хобі та професійних сфер. Зліва ми бачимо два окремі та різні кадри, накладені один на одного; у центрі – “кінець кадру”; а справа – остаточна синтез між кадрами. Джерела: https://film-net.github.io/ та https://arxiv.org/pdf/2202.04901

Широко кажучи, ця техніка сягає понад століття та використовувалася у традиційній анімації з тих пір. У цьому контексті майстер-кадри створювалися головним художником-аніматором, а робота з проміжними кадрами здійснювалася іншими працівниками як більш підлегла задача.

До появи генеративного ІІ, інтерполяція кадрів використовувалася у проектах, таких як Реальний час проміжної оцінки потоку (RIFE), Глибинно-чутлива інтерполяція кадрів відео (DAIN) та Інтерполяція кадрів для великого руху (FILM – див. вище) для збільшення частоти кадрів існуючого відео або для створення штучно згенерованих повільних ефектів. Це досягається шляхом розділення існуючих кадрів кліпу та генерації оцінених проміжних кадрів.

VFI також використовується у розробці кращих відеокодеків, а також, загалом, у системах, заснованих на оптичному потоці (включаючи генеративні системи), які використовують попередню інформацію про майбутні ключові кадри для оптимізації та формування проміжного вмісту, який передує їм.

Кінцеві кадри у генеративних відеосистемах

Сучасні генеративні системи, такі як Luma та Kling, дозволяють користувачам вказувати початковий та кінцевий кадр, а також можуть виконувати цю задачу шляхом аналізу ключових точок у двох зображеннях та оцінки траєкторії між ними.

Як ми бачимо у прикладах нижче, надання “закриваючого” ключового кадру краще дозволяє генеративній відеосистемі (у цьому випадку, Kling) зберегти аспекти, такі як ідентичність, навіть якщо результати не досконалі (особливо при великих рухах).

Натисніть, щоб відтворити. Kling – одна з багатьох відеогенераторів, які дозволяють користувачеві вказати кінцевий кадр. У більшості випадків мінімальний рух призводить до найбільш реалістичних та найменш дефектних результатів. Джерело: https://www.youtube.com/watch?v=8oylqODAaH8

У вищезазначеному прикладі ідентичність особи зберігається між двома кадрами, наданими користувачем, що призводить до відносно послідовної генерації відео.

Коли надається лише початковий кадр, вікно уваги генеративної системи не є зазвичай великим enough, щоб “запам’ятати”, як виглядав особа на початку відео. Натомість ідентичність, ймовірно, зсунеться трохи з кожним кадром, доки не буде втрачена вся подібність. У прикладі нижче було завантажено початкове зображення, а рух особи керувався текстовим промптом:

Натисніть, щоб відтворити. Без кінцевого кадру Kling має лише невелику групу безпосередньо попередніх кадрів для керівництва генерацією наступних кадрів. У випадках, коли потрібний будь-який значний рух, ця атрофія ідентичності стає серйозною.

Ми бачимо, що подібність актора не є стійкою до інструкцій, оскільки генеративна система не знає, як він виглядатиме, якщо він буде сміятися, і він не сміється у вихідному зображенні (єдиному доступному посиланні).

Більшість вірусних генеративних кліпів ретельно відбираються, щоб знизити ці недоліки. Однак прогрес тимчасово послідовних генеративних відеосистем може залежати від нових розробок у дослідницькому секторі щодо інтерполяції кадрів, оскільки єдина можливна альтернатива – залежність від традиційної CGI як керуючого, “провідного” відео (і навіть у цьому випадку збереження текстури та освітлення зараз важко досягти).

Крім того, повільно-ітеративна природа отримання нового кадру з малої групи попередніх кадрів робить це дуже важким досягти великих та сміливих рухів. Це тому, що об’єкт, який швидко рухається через кадр, може перейти з одного боку на інший у просторі одного кадру, на відміну від більш поступових рухів, на яких система, ймовірно, була навчена.

Аналогічно, значна та смілива зміна пози може привести не тільки до зсуву ідентичності, але й до яскравих неконгруентностей:

Натисніть, щоб відтворити. У цьому прикладі з Luma запрошений рух не здається добре представленим у навчальних даних.

Framer

Це приводить нас до цікавої недавньої статті з Китаю, яка стверджує, що досягла нового стану мистецтва в автентично виглядаючій інтерполяції кадрів – і яка є першою свого роду, що пропонує взаємодію з користувачем на основі перетягування.

Framer дозволяє користувачеві керувати рухом за допомогою інтуїтивного інтерфейсу на основі перетягування, хоча він також має “автоматичний” режим. Джерело: https://www.youtube.com/watch?v=4MPGKgn7jRc

Драгоцентричні застосування стали частими у літературі останнім часом, оскільки дослідницький сектор бореться за надання інструментарію для генеративних систем, які не засновані на досить грубих результатах, отриманих за допомогою текстових промптів.

Нова система, названа Framer, не тільки може слідувати за користувачем-керованим перетягуванням, але також має більш традиційний “автопілотний” режим. Окрім звичайної інтерполяції, система здатна створювати часові лапси-симуляції, а також морфінг та нові огляди вхідного зображення.

Проміжні кадри, згенеровані для часової лапси-симуляції у Framer. Джерело: https://arxiv.org/pdf/2410.18978

Відносно створення нових оглядів, Framer трохи перетинається з територією нейронних радіаційних полів (NeRF) – хоча вимагає лише два зображення, тоді як NeRF зазвичай вимагає шість або більше зображень.

У тестах Framer, заснований на моделі генеративного відео Stable Video Diffusion від Stability.ai, зміг перевершити приблизні суперницькі підходи у користувальницькому дослідженні.

На момент написання статті код мав бути випущений на GitHub. Відеозразки (з яких походять вище зображення) доступні на сайті проекту, а дослідники також випустили відео на YouTube.

Нова стаття називається Framer: Інтерактивна інтерполяція кадрів і походить від дев’яти дослідників з Університету Чжецзяна та групи Alibaba.

Метод

Framer використовує інтерполяцію на основі ключових точок у будь-якому з двох режимів, при якому вхідне зображення оцінюється за базовою топологією, а “рухові” точки призначені при необхідності. По суті, ці точки еквівалентні ознакам обличчя в системах, заснованих на ідентифікації, але узагальнюються до будь-якої поверхні.

Дослідники дофільтрували Stable Video Diffusion (SVD) на датасеті OpenVid-1M, додавши додаткову можливість синтезу останнього кадру. Це забезпечує механізм контролю траєкторії (верхній правий у схемі зображення нижче), який може оцінити шлях до кінцевого кадру (або назад від нього).

Схема для Framer.

Відносно додавання умов кінцевого кадру, автори заявляють:

‘Щоб зберегти візуальну先锋ність попередньо натренованої SVD якомога більше, ми слідуємо парадигмі умов SVD та впроваджуємо умови кінцевого кадру у латентному просторі та семантичному просторі, відповідно.

‘Конкретно, ми конкатенуємо VAE-кодований латентний функцію першого [кадру] з шумним латентним першого кадру, як це було зроблено у SVD. Крім того, ми конкатенуємо латентний функцію останнього кадру, zn, з шумним латентним кінцевого кадру, вважаючи, що умови та відповідні шумні латентні є просторово вирівняними.

‘Крім того, ми витягуємо CLIP-імідж-ембеддинг першого та останнього кадрів окремо та конкатенуємо їх для ін’єкції функції крос-уваги.’

Для функціональності на основі перетягування модуль траєкторії використовує фреймворк CoTracker, який оцінює багато можливих шляхів вперед. Ці шляхи скорочуються до 1-10 можливих траєкторій.

Отримані координати точок потім перетворюються за допомогою методології, натхненної архітектурами DragNUWA та DragAnything. Це дає гаусівську теплову карту, яка індивідуалізує цільові області для руху.

Потім дані подаються до механізмів умовності ControlNet, допоміжної системи конформності, спочатку розробленої для Stable Diffusion, а згодом адаптованої до інших архітектур.

Для режиму “автопілот” спочатку здійснюється підгонка функцій за допомогою SIFT, який інтерпретує траєкторію, яку можна передати до механізму оновлення, натхненого DragGAN та DragDiffusion.

Схема для оцінки траєкторії точок у Framer.

Дані та тести

Для дофільтрування Framer простір уваги та залишкові блоки були заморожені, а тільки тимчасові блоки уваги та залишкові блоки були вплинути.

Модель була навчена протягом 10 000 ітерацій під AdamW з швидкістю навчання 1e-4 та розміром партії 16. Навчання відбувалося на 16 процесорах NVIDIA A100.

Оскільки попередні підходи до проблеми не пропонують редакторську інтерполяцію на основі перетягування, дослідники вирішили порівняти режим “автопілот” Framer з стандартною функціональністю старих пропозицій.

Фреймворки, протестовані для категорії сучасних систем генерації відео на основі дифузії, були LDMVFI; Dynamic Crafter; та SVDKFI. Для “традиційних” відеосистем суперницькими фреймворками були AMT; RIFE; FLAVR; та згаданий вище FILM.

Крім користувальницького дослідження, тести проводилися над датасетом DAVIS та UCF101.

Якісні тести можуть бути оцінені лише об’єктивними можливостями дослідницької команди та користувальницьким дослідженням. Однак стаття зазначає, що традиційні кількісні метрики в основному не підходять до цієї пропозиції:

‘[Відновлювальні] метрики, такі як PSNR, SSIM та LPIPS, не здатні точно захопити якість інтерполованих кадрів, оскільки вони покарання інші правдоподібні результати інтерполяції, які не є піксельно-вирівняними з оригінальним відео.

‘Хоча метрики генерації, такі як FID, пропонують деяке покращення, вони все ще не достатні, оскільки вони не враховують тимчасову послідовність та оцінюють кадри в ізоляції.’

Незважаючи на це, дослідники провели якісні тести з кількома популярними метриками:

Кількісні результати для Framer у порівнянні з суперницькими системами.

Автори зазначають, що незважаючи на те, що шанси проти них, Framer все ж досяг найкращого результату FVD серед тестованих методів.

Нижче наведені зразкові результати статті для якісного порівняння:

Якісне порівняння з попередніми підходами. Будь ласка, зверніться до статті для кращої роздільності, а також відеорезультатів на https://www.youtube.com/watch?v=4MPGKgn7jRc.

Автори коментують:

‘[Наш] метод створює значно чіткіші текстури та природний рух у порівнянні з існуючими техніками інтерполяції. Він працює особливо добре у сценаріях з суттєвими відмінностями між вхідними кадрами, де традиційні методи часто не можуть інтерполювати вміст точно.

‘У порівнянні з іншими методами генерації на основі дифузії, такими як LDMVFI та SVDKFI, Framer демонструє вищу адаптивність до складних випадків та пропонує кращий контроль.’

Для користувальницького дослідження дослідники зібрали 20 учасників, які оцінили 100 випадково впорядкованих відеорезультатів з різних методів. Таким чином, було отримано 1000 оцінок, які оцінювали найбільш “реалістичні” пропозиції:

Результати користувальницького дослідження.

Як можна побачити на графіку вище, користувачі переважно віддають перевагу результатам Framer.

Присутній на сайті проекту відеоролик на YouTube показує деякі інші потенційні застосування Framer, включаючи морфінг та міжкадрову анімацію – де весь концепт почався.

Висновок

Важко перебільшити важливість цього виклику зараз для завдання генерації відео на основі ІІ. На сьогодні старіші рішення, такі як FILM та EbSynth (не ІІ), використовувалися як аматорськими, так і професійними спільнотами для інтерполяції кадрів; але ці рішення мають суттєві обмеження.

Через нечесну підбірку офіційних прикладів відео для нових T2V-фреймворків існує широке публічне неправильне розуміння того, що системи машинного навчання можуть точно витягувати геометрію у русі без допомоги механізмів керування, таких як 3D-моделі (3DMM) або інші допоміжні підходи, такі як LoRAs.

Щиро кажучи, інтерполяція сама по собі, навіть якщо вона могла б бути ідеально виконана, становить лише “хак” або обман щодо цієї проблеми. Однак, оскільки часто легше створити два добре вирівняні кадри, ніж здійснити керування за допомогою текстових промптів або поточного діапазону альтернатив, добре бачити ітеративний прогрес у версії цього старішого методу на основі ІІ.

Перша публікація – вівторок, 29 жовтня 2024 року