Нова система для створення тимчасово сталої стабільної дифузійної відео-персонажів

Нова ініціатива компанії Alibaba пропонує один з найкращих методів, яких я бачив, для генерації повністю людських аватарів з основі моделі стабільної дифузії.

Названа MIMO (MIMікінг з Oб’єктами взаємодії), система використовує ряд популярних технологій і модулів, включаючи моделі людських персонажів, створені за допомогою CGI, і AnimateDiff, для забезпечення тимчасово сталої заміни персонажів у відео – або ж для керування персонажем за допомогою користувачем визначеної скелетної пози.

Тут ми бачимо персонажів, інтерполовані з одного джерела зображення, і керованих за допомогою попередньо визначеної руху:

[Натисніть відео нижче, щоб відтворити]

З одного джерела зображення три різні персонажі керуються 3D-позою (зліва) за допомогою системи MIMO. Перегляньте сайт проекту і супроводжуюче відео на YouTube (вбудоване в кінці статті) для більшої кількості прикладів і вищої роздільної здатності. Джерело: https://menyifang.github.io/projects/MIMO/index.html

Генеровані персонажі, які також можуть бути отримані з кадрів відео і іншими способами, можуть бути інтегровані в реальне відео.

MIMO пропонує нову систему, яка генерує три окремі кодування, кожне для персонажа, сцени і окулювання (тобто, матting, коли якийсь об’єкт або людина проходить перед персонажем, який зображується). Ці кодування інтегруються під час висновку.

[Натисніть відео нижче, щоб відтворити]

MIMO може замінити оригінальних персонажів фотореалістичними або стилізованими персонажами, які слідують руху з цільового відео. Перегляньте сайт проекту і супроводжуюче відео на YouTube (вбудоване в кінці статті) для більшої кількості прикладів і вищої роздільної здатності.

Система тренується над моделлю стабільної дифузії V1.5, використовуючи спеціально створений набір даних, який складається рівно з реальних і симульованих відео.

Великим недоліком дифузійних відео є тимчасова стабільність, де вміст відео або мерцане, або “еволюціонує” способами, які не бажані для сталої репрезентації персонажа.

MIMO, натомість, ефективно використовує одне зображення як карту для сталої орієнтації, яке може бути оркестровано і обмежено міжстановим SMPL моделлю CGI.

Оскільки джерело посилання є сталим, і базова модель, над якою система тренується, була покращена з достатнім представницьким рухом прикладами, можливості системи для тимчасово сталої вивідної інформації значно вищі за загальний стандарт для дифузійних аватарів.

[Натисніть відео нижче, щоб відтворити]

Додаткові приклади персонажів MIMO, керованих позою. Перегляньте сайт проекту і супроводжуюче відео на YouTube (вбудоване в кінці статті) для більшої кількості прикладів і вищої роздільної здатності.

Стає все більш звичайним використовувати одиничні зображення як джерело для ефективних нейронних репрезентацій, або самостійно, або в мультимодальному вигляді, поєднані з текстовими підказками. Наприклад, популярна система LivePortrait також може генерувати дуже правдоподібні глибоко фейкові обличчя з одного зображення обличчя.

Дослідники вважають, що принципи, використані в системі MIMO, можуть бути розширені на інші і нові типи генеративних систем і фреймворків.

Нова стаття називається MIMO: Контрольована синтез відео-персонажів з просторово розкладеним моделюванням, і походить від чотирьох дослідників Інституту інтелектуальних обчислень Alibaba Group. Робота має відео- Laden сайт проекту і супроводжуюче відео на YouTube, яке також вбудоване в кінці цієї статті.

Метод

MIMO досягає автоматичної і ненадглядової розділення трьох вище згаданих просторових компонентів, в кінцевій архітектурі (тобто, всі підсистеми інтегровані в систему, і користувачеві потрібно тільки надати вхідний матеріал).

Концептуальна схема для MIMO. Джерело: https://arxiv.org/pdf/2409.16160

Об’єкти в джерельних відео перекладаються з 2D в 3D, спочатку використовуючи монокулярний оцінювач глибини Depth Anything. Людський елемент у будь-якому кадрі витягується методами, адаптованими з проекту Tune-A-Video.

Ці функції потім перекладаються у відео-об’ємні грані через архітектуру Segment Anything 2 від Facebook Research.

Сам шар сцени отримується шляхом видалення об’єктів, виявлених у двох інших шарах, що забезпечує автоматичну маску типу ротоскопа.

Для руху витягується набір витягнутих латентних кодів для людського елемента, закріплених за замовчуванням до моделі CGI-людського SMPL, рух якої забезпечує контекст для відтвореного людського вмісту.

2D-карта функцій для людського вмісту отримується за допомогою диференціального растеризатора, отриманого з 2020 ініціативи від NVIDIA. Об’єднавши отримані 3D-дані з SMPL з 2D-даними, отриманими методом NVIDIA, латентні коди, що представляють “нейронну людину”, мають тверду відповідність їхньому майбутньому контексту.

На цьому етапі необхідно встановити посилання, яке часто потрібно в архітектурах, які використовують SMPL – канонічну позу. Це загалом схоже на “вітрувіанського людину” Да Вінчі, оскільки воно представляє собою нуль-позовий шаблон, який може прийняти вміст і потім бути деформованим, приносячи (ефективно) текстурно-відображений вміст з ним.

Ці деформації, або “відхилення від норми”, представляють людський рух, тоді як модель SMPL зберігає латентні коди, які становлять людську ідентичність, яка була витягнута, і таким чином правильно представляє аватар щодо пози і текстури.

Приклад канонічної пози в моделі SMPL. Джерело: https://www.researchgate.net/figure/Layout-of-23-joints-in-the-SMPL-models_fig2_351179264

Відносно питання заплутування (степеня, в якій навчені дані можуть виявитися негнучкими, коли ви розтягуєте їх за межі їх тренувальних обмежень і асоціацій), автори заявляють*:

‘Щоб повністю роз’єднати зовнішній вигляд від позованих відеокадрів, ідеальним рішенням було б вивчити динамічне людське представлення з монокулярного відео і перетворити його з позованого простору в канонічний простір.

‘З огляду на ефективність, ми використовуємо спрощений метод, який безпосередньо перетворює позований людський зображення в канонічний результат у стандартній позі A, використовуючи попередньо натренований людський репоз-модель. Синтезований канонічний зображення зовнішнього вигляду подається в кодувальники ID, щоб отримати код ідентичності.

‘Цей простий дизайн дозволяє повністю роз’єднати атрибути ідентичності і руху. Після [Animate Anyone], кодувальники ID включають кодувальник зображення CLIP і архітектуру reference-net для вкладення глобальної і локальної функції, [відповідно].’

Для аспектів сцени і окулювання використовується спільний і фіксований автоенкодер (VAE – в цьому випадку отриманий з 2013 публікації) для вкладення елементів сцени і окулювання в латентний простір. Несумісності обробляються методом інпейнтингу з проекту ProPainter 2023 року.

Як тільки вони зібрані і відредаговані в цьому вигляді, і фон, і будь-які окулюючі об’єкти у відео будуть забезпечувати мат для рухомого людського аватара.

Ці розкладені атрибути потім подаються в U-Net бекбон, заснований на архітектурі стабільної дифузії V1.5. Повний код сцени конкатенується з вихідним латентним шумом системи. Людський компонент інтегрується через самоувагу і міжувагу шари, відповідно.

Потім денойзований результат виводиться через декодувальник VAE.

Дані і тести

Для тренування дослідники створили набір даних людського відео під назвою HUD-7K, який складався з 5 000 реальних відео-персонажів і 2 000 синтетичних анімацій, створених за допомогою системи En3D. Реальні відео не потребували анотації, через несемантичний характер процедур витягування фігур в архітектурі MIMO. Синтетичні дані були повністю анотовані.

Модель була натренована на восьми GPU NVIDIA A100 (хоча стаття не вказує, чи були це моделі 40GB або 80GB VRAM), протягом 50 ітерацій, з використанням 24 відеокадрів і розміру пакету чотири, до збіжності.

Модуль руху для системи був натренований на вагах AnimateDiff. Під час процесу тренування ваги кодувальника/декодувальника VAE і кодувальника зображення CLIP були заморожені (на відміну від повного тонкого налаштування, яке матиме набагато ширший вплив на базову модель).

Хоча MIMO не проходив випробування з аналогічними системами, дослідники випробували його на складних рухових послідовностях, отриманих з AMASS і Mixamo. Ці рухи включали лазіння, гру і танці.

Вони також випробували систему на відео з реальних людей. У обох випадках стаття повідомляє про “високу стійкість” для цих невидимих 3D-рухів з різних точок зору.

Хоча стаття пропонує кілька статичних зображень, які демонструють ефективність системи, справжня продуктивність MIMO найкраще оцінюється за допомогою численних відео-результатів, наданих на сайті проекту, і в відео на YouTube, яке також вбудоване нижче (з якого відео в початку статті були отримані).

Автори висновують:

‘Експериментальні результати [демонструють] що наш метод дозволяє не тільки гнучкий контроль персонажа, руху і сцени, але також і розширення до довільних персонажів, загальність до нових 3D-рухів, і застосовність до інтерактивних сцен.

‘Ми також [вважаємо] що наше рішення, яке розглядає вбудований 3D-характер і автоматично кодує 2D-відео в ієрархічні просторові компоненти, могло б надихнути майбутні дослідження 3D-обізнаного відео-синтезу.

‘Крім того, наша система не тільки добре підходить для генерації відео-персонажів, але також може бути потенційно адаптована до інших задач керованого відео-синтезу.’

Висновок

Це освіжаюче бачити систему аватарів, засновану на стабільній дифузії, яка, здається, здатна до такої тимчасової стабільності – не в останню чергу тому, що аватари Гаусса здаються отримують верхню руку в цьому конкретному дослідницькому секторі.

Стилізовані аватари, представлені в результатах, ефективні, і хоча рівень фотореалізму, який MIMO може виробляти, зараз не дорівнює тому, чого здатний Гауссовий сплеск, різноманітні переваги створення тимчасово сталої людини в семантично-основаній латентній дифузійній мережі (LDM) є суттєвими.

* Моя конвертація вбудованих цитат авторів в гіперпосилання, і де необхідно, зовнішні пояснювальні гіперпосилання.

Перша публікація середи, 25 вересня 2024 року