Видатний крок у сфері людьми керованих відеороликів AI

Примітка: Сторінка проекту містить 33 відеоролики з автозапуском високої роздільності, які становлять половину гігабайта, що дестабілізувало мою систему при завантаженні. Через це я не буду посилатися на неї безпосередньо. Читачі можуть знайти URL-адресу в анотації статті або у PDF-документі, якщо вони бажають.

Одним із основних завдань у сфері синтезу відео є генерація повної відеоперFORMANCE, керованої штучним інтелектом, з одного зображення. Цього тижня нова стаття від Bytedance Intelligent Creation описала, можливо, найповнішу систему цього типу, здатну генерувати повні та напівтіла анімації, що поєднують виразні деталі обличчя з точним рухом великомасштабних об’єктів, а також покращує узгодженість ідентичності – область, де навіть провідні комерційні системи часто не справляються.

У прикладі нижче ми бачимо виступ, керований актором (верхній лівий) і отриманий з одного зображення (верхній правий), що забезпечує надзвичайно гнучку і рухому візуалізацію, без звичайних проблем з створенням великих рухів або “вгадуванням” про приховані області (тобто частини одягу та кутів обличчя, які повинні бути витягнуті або винайдені, оскільки вони не видно на єдиному джерельному фото):

АУДІОЗМІСТ. Натисніть, щоб відтворити. Виступ створюється з двох джерел, включаючи синхронізацію руху губ, яка зазвичай є прерогативою спеціалізованих допоміжних систем. Це скорочена версія з джерельного сайту (див. примітку на початку статті – застосовується до всіх інших вкладених відеороликів тут).

Хоча ми бачимо деякі залишкові проблеми щодо збереження ідентичності під час проходження кожного кліпу, це перша система, яку я бачив, що загалом (хоча не завжди) зберігає ідентичність протягом тривалого періоду без використання LoRAs:

АУДІОЗМІСТ. Натисніть, щоб відтворити. Додаткові приклади з проекту DreamActor.

Нова система, названа DreamActor, використовує тричастинну гібридну систему керування, яка приділяє особливу увагу виразності обличчя, обертанню голови та проектуванню скелета, тим самим забезпечуючи виконання, кероване штучним інтелектом, де ні вираз обличчя, ні тіла не страждають одна за рахунок іншої – рідка, можливо, невідома здатність серед подібних систем.

Нижче ми бачимо одну з цих граней, обертання голови, у дії. Колірна куля в куті кожного мініатюрного зображення праворуч вказує на певний віртуальний гімбал, який визначає орієнтацію голови незалежно від руху обличчя та виразності, які тут керуються актором (нижній лівий).

Натисніть, щоб відтворити. Багатокольорова куля, візуалізована тут, представляє вісь обертання голови аватара, тоді як виразність руху керується окремим модулем і інформується виступом актора (видно тут нижче ліворуч).

Одна з найцікавіших функцій проекту, яка навіть не включена належним чином до тестів статті, полягає в її здатності отримувати рух губ безпосередньо з аудіо – здатність, яка працює надзвичайно добре навіть без керування актором.

Дослідники прийняли участь у змаганні з провідними учасниками цієї галузі, включаючи високооцінені Runway Act-One і LivePortrait, і повідомили, що DreamActor був能够 досягти кращих кількісних результатів.

Оскільки дослідники можуть встановлювати自己的 критерії, кількісні результати не завжди є емпіричним стандартом; однак супровідні якісні тести, здається, підтверджують висновки авторів.

На жаль, ця система не призначена для публічного випуску, і єдина цінність, яку спільнота може потенційно отримати з цієї роботи, полягає в можливості відтворити методології, викладені в статті (як це було зроблено з помітним успіхом для закритого джерельного Google Dreambooth у 2022 році ).

Стаття зазначає*:

‘Анімація зображення людини має можливі соціальні ризики, такі як використання для створення фальшивих відеороликів. Запропонована технологія могла б бути використана для створення фальшивих відеороликів людей, але існуючі інструменти виявлення [Demamba, Dormant] можуть виявити ці фальшивки.

‘Щоб зменшити ці ризики, необхідні чіткі етичні правила та відповідні директиви щодо використання. Ми суворо обмежимо доступ до наших основних моделей і кодів, щоб запобігти їхньому неправильному використанню.’

Природно, що етичні розгляди такого типу є зручними з комерційної точки зору, оскільки вони забезпечують раціональне пояснення для доступу лише через API до моделі, яку можна монетизувати. ByteDance вже зробила це один раз у 2025 році, зробивши високооцінені OmniHuman доступними для оплати на сайті Dreamina. Тому, оскільки DreamActor, можливо, є ще сильнішим продуктом, це, здається, є найбільш ймовірним результатом. Що залишається побачити, якою мірою його принципи, наскільки вони пояснюються в статті, можуть допомогти відкритій спільноті.

Нова стаття називається DreamActor-M1: Голистична, виразна і надійна анімація зображення людини з гібридним керуванням і походить від шести дослідників Bytedance.

Метод

Система DreamActor, запропонована в статті, має на меті генерувати анімацію людини з посилання на зображення та керуючого відео, використовуючи Diffusion Transformer (DiT).framework, адаптований для латентного простору (очевидно, деякий варіант Stable Diffusion, хоча стаття посилається лише на видатну публікацію 2022 року).

Натомість ніж покладатися на зовнішні модулі для обробки умов посилання, автори об’єднують ознаки зовнішнього вигляду та руху безпосередньо всередині DiT-каркаса, дозволяючи взаємодію в просторі та часі через увагу:

Схема нової системи: DreamActor кодує позу, рух обличчя та зовнішній вигляд у окремі латентні змінні, поєднуючи їх із шумними відеолатентними змінними, отриманими від 3D VAE. Ці сигнали об’єднуються всередині Diffusion Transformer за допомогою само- та міжуваження, з спільними вагами по гілках. Модель контролюється шляхом порівняння очищених виходів з чистими відеолатентними змінними. Джерело: https://arxiv.org/pdf/2504.01724

Для цього модель використовує попередньо навчений 3D варіаційний автоенкодер для кодування як вхідного відео, так і посилання на зображення. Ці латентні змінні патчифікуються, об’єднуються та подаються до DiT, який обробляє їх спільно.

Ця архітектура відрізняється від звичайної практики прикріплення вторинної мережі для ін’єкції посилання, яка була підходом для впливових Animate Anyone і Animate Anyone 2 проектів.

Натомість DreamActor будує об’єднання безпосередньо в основну модель, спрощуючи конструкцію та покращуючи потік інформації між ознаками зовнішнього вигляду та руху. Модель потім тренується за допомогою відповідності потоку замість стандартної цілі дифузії (Відповідність потоку тренує моделі дифузії шляхом прямого прогнозування швидкісних полів між даними та шумом, пропускаючи оцінку оцінки).

Гібридне керування рухом

Метод гібридного керування рухом, який інформує нейронні візуалізації, поєднує токени пози, отримані з 3D скелетів тіла та сфер голови; імпліцитні представлення обличчя, витягнуті попередньо натренованим кодувальником обличчя; і токени зовнішнього вигляду посилання, вибрані з джерельного зображення.

Ці елементи інтегруються всередині Diffusion Transformer за допомогою різних механізмів уваги, дозволяючи системі координувати глобальний рух, вираз обличчя та візуальну ідентичність протягом процесу генерації.

Для першого з цих, натомість ніж покладатися на орієнтаційні точки обличчя, DreamActor використовує імпліцитні представлення обличчя для керування генерацією виразності, що, як здається, дозволяє здійснювати більш тонкий контроль над динамікою обличчя, одночасно роз’єднуючи ідентичність та позу голови від виразності.

Для створення цих представлень трубопровід спочатку виявляє та обрізає область обличчя в кожному кадрі керуючого відео, зменшуючи його до 224×224. Обрізані обличчя обробляються кодувальником руху обличчя, попередньо натренованим на PD-FGC наборі даних, який потім умовний MLP шаром.

PD-FGC, використаний у DreamActor, генерує говорючу голову з посилання на зображення з роз’єднаним контролем синхронізації руху губ (з аудіо), пози голови, руху очей та виразності (з окремих відео), що дозволяє точну, незалежну маніпуляцію кожним з них. Джерело: https://arxiv.org/pdf/2211.14506

Результатом є послідовність токенів руху обличчя, які ін’єкуються в Diffusion Transformer через міжуваження шар.

Та сама структура також підтримує аудіокерований варіант, у якому окремий кодувальник тренується, який відображає вхід аудіо безпосередньо на токени руху обличчя. Це дозволяє генерувати синхронізовану анімацію обличчя – включаючи рух губ – без керуючого відео.

АУДІОЗМІСТ. Натисніть, щоб відтворити. Синхронізація руху губ, отримана виключно з аудіо, без керуючого актора. Єдиним вхідним параметром є статичне фото зверху праворуч.

Другим, щоб контролювати позу голови незалежно від виразності обличчя, система вводить 3D сферу голови (див. відео, вкладене раніше в цю статтю), яка роз’єднує динаміку обличчя від глобального руху голови, покращуючи точність та гнучкість під час анімації.

Сфери голови генеруються шляхом витягування 3D параметрів обличчя – таких як обертання та поза камери – з керуючого відео за допомогою FaceVerse методу відстежування.

Схема проекту FaceVerse. Джерело: https://www.liuyebin.com/faceverse/faceverse.html

Ці параметри використовуються для візуалізації кольорової сфери, проєктованої на 2D площину зображення, просторово пов’язаної з керуючою головою. Розмір сфери відповідає розміру голови посилання, а її колір відображає орієнтацію голови. Ця абстракція зменшує складність навчання 3D руху голови, допомагаючи зберегти стилізовані або перебільшені форми голови персонажів, створених у анімації.

Візуалізація сфери контролю, що впливає на орієнтацію голови.

Нарешті, щоб керувати рухом повного тіла, система використовує 3D скелети тіла з адаптивною нормалізацією довжини кісток. Параметри тіла та рук оцінюються за допомогою 4DHumans і HaMeR, які працюють на SMPL-X моделі тіла.

SMPL-X застосовує параметричний mesh до всього людського тіла на зображенні, пов’язаний з оціненою позою та виразністю для забезпечення позо-залежної маніпуляції за допомогою mesh як об’ємного керівництва. Джерело: https://arxiv.org/pdf/1904.05866

З цих виходів вибрані ключові суглоби, проєктовані в 2D та з’єднані в лінійні карти скелета. На відміну від методів, таких як Champ, які візуалізують повні тіла mesh, цей підхід уникнув нав’язування попередньо визначених форм-пріорів, і, спираючись виключно на скелетну структуру, модель заохочується виводити форму тіла та зовнішній вигляд безпосередньо з джерельних зображень, зменшуючи упередженість щодо фіксованих типів тіла та покращуючи узагальнення по широкому діапазону поз та типів тіла.

Під час тренування 3D скелети тіла об’єднуються з сферами голови та подаються через кодувальник пози, який видає ознаки, які потім об’єднуються з шумними відеолатентними змінними для отримання шумових токенів, використовуваних Diffusion Transformer.

У час інференції система враховує скелетні відмінності між об’єктами шляхом нормалізації довжини кісток. Предварньо натренований SeedEdit модель редактору зображень перетворює як джерельне, так і керуюче зображення в стандартну канонічну конфігурацію. RTMPose потім використовується для витягування пропорцій скелета, які використовуються для регулювання керуючого скелета для відповідності анатомії джерельного об’єкта.

Огляд трубопроводу інференції. Псевдо-джерела можуть бути створені для збагачення ознак зовнішнього вигляду, тоді як гібридні сигнали контролю – імпліцитний рух обличчя та явна поза з сфер голови та скелета тіла – витягуються з керуючого відео. Вони потім подаються в DiT-модель для отримання анімованого виходу, з рухом обличчя, роз’єднаним від пози тіла, що дозволяє використовувати аудіо як керуючий сигнал.

Керування зовнішнім виглядом

Щоб покращити вірність зовнішнього вигляду, особливо в прихованих або рідко видимих областях, система доповнює первинне джерельне зображення псевдо-джерелами, вибраними з вхідного відео.

Натисніть, щоб відтворити. Система передбачає необхідність точно та послідовно візуалізувати приховані області. Це майже так само близько, як я бачив, в проекті такого типу, до підходу CGI-bitmap-текстури.

Ці додаткові кадри вибираються за допомогою RTMPose для розмаїття поз та фільтруються за допомогою CLIP-відповідності, щоб забезпечити їхню узгодженість з ідентичністю об’єкта.

Усі джерельні кадри (первинні та псевдо) кодуються тим самим візуальним кодувальником та об’єднуються за допомогою самоуваження, дозволяючи моделі доступ до додаткових ознак зовнішнього вигляду. Ця конструкція покращує покриття деталей, таких як профільні види чи текстури кінцівок. Псевдо-джерела завжди використовуються під час тренування та опційно під час інференції.

Тренування

DreamActor був тренований у трьох етапах для поступового введення складності та покращення стабільності.

На першому етапі використовувалися лише 3D скелети тіла та 3D сфери голови як сигнали контролю, виключно без представлення обличчя. Це дозволило базовій моделі відеогенерації, ініціалізованій з MMDiT, адаптуватися до анімації людини без перевантаження тонкими контролями.

На другому етапі були додані імпліцитні представлення обличчя, але всі інші параметри заморожені. Тільки кодувальник руху обличчя та шар уваги обличчя тренувалися на цьому етапі, дозволяючи моделі вивчити деталі виразності в ізоляції.

На останньому етапі всі параметри розблокувалися для спільної оптимізації зовнішнього вигляду, пози та динаміки обличчя.

Дані та тести

Для фази тестування модель ініціалізується з попередньо натренованого зображення-у-відео DiT-чекпойнту^† та тренується у трьох етапах: 20 000 кроків для кожного з перших двох етапів та 30 000 кроків для третього.

Щоб покращити узагальнення по різним тривалостям та роздільностям, відеокліпи випадково вибиралися з тривалістю між 25 та 121 кадром. Вони потім зменшувалися до 960×640 пікселів, зберігаючи співвідношення сторін.

Тренування проводилися на восьми (China-focused) NVIDIA H20 GPU, кожна з 96 ГБ відеопам’яті, за допомогою AdamW оптимізатора з (допустимо високою) швидкістю навчання 5e−6.

У час інференції кожен відеосегмент містив 73 кадри. Щоб зберегти послідовність по сегментах, останній латентний з одного сегмента повторно використовувався як початковий латентний для наступного, що контекстуалізує завдання як послідовну генерацію зображення-у-відео.

Керування без класифікатора застосовувалося з вагою 2,5 для джерельних зображень та сигналів руху.

Автори створили тренувальний набір даних (жодних джерел не зазначено в статті) з 500 годин відео з різноманітних доменів, що містять приклади (серед інших) танців, спорту, фільмів та публічних виступів. Набір даних був розроблений для захоплення широкого спектру руху людини та виразності, з рівномірним розподілом між повними та напівтіла кадрами.

Щоб покращити якість синтезу обличчя, Nersemble був включений у процес підготовки даних.

Приклади з набору даних Nersemble, використані для доповнення даних для DreamActor. Джерело: https://www.youtube.com/watch?v=a-OAWqBzldU

Для оцінки дослідники використовували свій набір даних також як бенчмарк для оцінки узагальнення по різним сценаріям.

Вихід моделі оцінювався за допомогою стандартних метрик з попередньої роботи: Fréchet Inception Distance (FID); Structural Similarity Index (SSIM); Learned Perceptual Image Patch Similarity (LPIPS); і Peak Signal-to-Noise Ratio (PSNR) для якості кадрів. Fréchet Video Distance (FVD) використовувався для оцінки часової узгодженості та загальної відео-відтворення.

Автори провели експерименти як з анімацією тіла, так і з анімацією портрета, всі з яких використовували одне (цільове) джерельне зображення.

Для анімації тіла DreamActor-M1 порівнювався з Animate Anyone; Champ; MimicMotion, і DisPose.

Кількісні порівняння з конкуруючими фреймворками.

Хоча PDF надає статичне зображення як візуальне порівняння, один з відеороликів з сайту проекту може підкреслити відмінності більш чітко:

АУДІОЗМІСТ. Натисніть, щоб відтворити. Візуальне порівняння по конкуруючим фреймворкам. Керуюче відео видно зверху ліворуч, і висновок авторів, що DreamActor дає кращі результати, здається, є розумним.

Для тестів анімації портрета модель оцінювалася проти LivePortrait; X-Portrait; SkyReels-A1; і Act-One.

Кількісні порівняння для анімації портрета.

Автори зазначають, що їхній метод виграє у кількісних тестах, і стверджують, що він також є кращим якісно.

АУДІОЗМІСТ. Натисніть, щоб відтворити. Приклади порівнянь анімації портрета.

Аргументно, третій і останній з кліпів, показаних у відео вище, демонструє менш переконливу синхронізацію руху губ порівняно з деякими конкуруючими фреймворками, хоча загальна якість є надзвичайно високою.

Висновок

Антисипуючи необхідність текстур, які припускаються, але не присутні в єдиному зображенні, що живить ці рекреації, ByteDance вирішила одну з найбільших проблем, з яких страждає генерація відео на основі дифузії – послідовні, постійні текстури. Наступним логічним кроком після вдосконалення такого підходу було б створити посилання-атлас з початкового згенерованого кліпу, який можна було б застосувати до наступних, різних генерацій, щоб зберегти зовнішній вигляд без LoRAs.

Хоча такий підхід фактично був би зовнішнім посиланням, це не відрізняється від текстур-маппінгу в традиційних техніках CGI, а якість реалізму та правдоподібності значно вища, ніж ті старіші методи можуть досягти.

Тим не менш, найвражаючою стороною DreamActor є об’єднана тричастинна система керування, яка мостить традиційний розрив між синтезом, орієнтованим на обличчя, та синтезом, орієнтованим на тіло, людської анімації інженерним способом.

Залишається тільки побачити, чи можна буде застосувати деякі з цих основних принципів у більш доступних пропозиціях; поки що DreamActor, здається, має стати ще однією пропозицією синтезу-як-служби, сильно обмеженою обмеженнями на використання та недоцільністю проведення широких експериментів з комерційної архітектури.

* Моя заміна гіперпосилань для авторів; внутрішні цитати

^† Як згадувалося раніше, не зрозуміло, який варіант Stable Diffusion був використаний у цьому проекті.

Перша публікація – п’ятниця, 4 квітня 2025