Штучне відео досконало доповнює селфі-кота

Генератори відео на основі штучного інтелекту часто дають результати, які близькі, але не зовсім ті, які ви хочете отримати за допомогою текстового запиту. Але нове високорівневе рішення робить всю різницю.

Системи генерації відео часто мають труднощі з створенням відео, які є真的 творчими або дивними, і часто не відповідають очікуванням текстових запитів користувачів.

Одна з причин цього полягає в ентанґлементі – факті, що моделі бачення/мови повинні знаходити компроміс щодо тривалості навчання на своїх джерельних даних. Занадто мало навчання, і концепції гнучкі, але не повністю сформовані – занадто багато, і концепції точні, але вже не гнучкі достатньо, щоб включити їх у нові комбінації.

Ви можете отримати уявлення про це з відео, вкладеного нижче. Зліва знаходиться той компроміс, який багато систем штучного інтелекту надають у відповідь на вимогливий запит (запит знаходиться у верхній частині відео у всіх чотирьох прикладах), який просить про деяке поєднання елементів, яке є надто фантастичним, щоб бути реальним прикладом. Праворуч знаходиться вивід штучного інтелекту, який краще відповідає запиту:

Натисніть, щоб відтворити (без звуку). Праворуч ми бачимо ‘факторизований’ WAN 2.2, який справді відповідає запиту, у порівнянні з невизначеними інтерпретаціями ‘ванільного’ Wan 2.2. Будь ласка, зверніться до джерельних відеофайлів для кращої роздільності та багатьох інших прикладів, хоча і курировані версії, показані тут, не існують на сайті проекту і були зібрані для цієї статті. Джерело

Добре, хоча нам потрібно пробачити хлопчика, який аплодірує з людськими руками (!), зрозуміло, що приклади праворуч відповідають оригінальному текстовому запиту значно краще, ніж ті, що зліва.

Цікаво, що обидві архітектури, представлені тут, є по суті тими самими архітектурами – популярною і дуже здатною Wan 2.2, китайським релізом, який здобув значний успіх у відкритих джерельних і хобійських спільнотах цього року.

Різниця полягає в тому, що другий генеративний конвеєр факторизований, що в цьому випадку означає, що велика мова модель (LLM) була використана для переінтерпретації першого (початкового) кадру відео, щоб зробити його значно легшим для системи відповісти на те, про що просить користувач.

Це “візуальне закріплення” включає в себе ін’єкцію зображення, створеного з цієї LLM-підсиленої запиту, у генеративний конвеєр як “початковий кадр”, і використання LoRA інтерпретативної моделі для допомоги у інтеграції “інтрозера” кадру у процес створення відео:

Результати, у термінах вірності запиту, досить видатні, особливо для рішення, яке здається досить елегантним:

Натисніть, щоб відтворити (без звуку). Додаткові приклади ‘факторизованого’ відео, яке справді відповідає сценарію. Будь ласка, зверніться до джерельних відеофайлів для кращої роздільності та багатьох інших прикладів, хоча і курировані версії, показані тут, не існують на сайті проекту і були зібрані для цієї статті.

Це рішення надходить у вигляді нової статті Факторизована генерація відео: декуплювання сценарію та темпоральної синтезу в текст-відео дифузійних моделях, і її відеозавантаженого супровідного сайту проекту.

Хоча багато сучасних систем намагаються підвищити точність запиту, використовуючи мовні моделі для переписування невизначених або недооцінених текстових запитів, нова робота стверджує, що ця стратегія все ще веде до невдачі, коли внутрішнє сценарне представлення моделі пошкоджене.

Даже з детальним переписаним запитом, текст-відео моделі часто неправильно складають ключові елементи або генерують несумісні початкові стани, які порушують логіку анімації. До тих пір, поки перший кадр не відображає опис запиту, результат відео не може відновитися, незалежно від того, наскільки хороша модель руху.

Стаття стверджує*:

‘[Текст-відео] моделі часто створюють розподілені зрушені кадри, але все ж досягли [оціночним балом] порівнянним з I2V моделями, вказуючи на те, що їхня модель руху залишається досить природною, навіть коли сценарна вірність відносно погана.

‘[Зображення-відео] моделі демонструють комплементарну поведінку, сильні [оціночним балом] від точних початкових сцен і слабші темпоральні когерентності, тоді як I2V+текст балансують обидва аспекти.

‘Цей контраст свідчить про структурну невідповідність у поточних T2V моделях: сценарне закріплення та темпоральна синтезування користуються різними індуктивними упередженнями, проте існуючі архітектури намагаються вивчити обидва одночасно у одній моделі.’

Діагностичне порівняння режимів генерації показало, що моделі без явного сценарного закріплення мали хороші результати у руху, але часто компрометували сценарний макет, тоді як підходи, умовлені зображенням, показували протилежний шаблон:

Порівняння режимів генерації відео на двох наборах даних, яке показує, що I2V+текст досягає найкращої якості кадрів (FID) і темпоральної когерентності (FVD), підкреслюючи вигоду від розділення сценарної конструкції та руху. Джерело

Ці висновки свідчать про структуруальну помилку, при якій поточні моделі намагаються вивчити сценарний макет і анімацію одночасно, хоча ці дві задачі вимагають різних типів індуктивного упередження і краще обробляються окремо.

Можливо, найбільш цікавим є те, що цей “трюк” потенційно може бути застосований до локальних інсталяцій моделей, таких як Wan 2.1 і 2.2, і подібних відео-дифузійних моделей, таких як Hunyuan Video. Анекдотично, порівнюючи якість хобійських виходів з комерційними порталами генерації відео, такими як Kling і Runway, більшість великих постачальників API покращують відкриті джерельні пропозиції, такі як WAN, за допомогою LoRAs, і, як здається, з трюками типу тих, що показані у новій статті. Тому цей особливий підхід може представляти собою можливість для FOSS-контингенту наздогнати.

Тести, проведені для цього методу, свідчать про те, що цей простий і модульний підхід пропонує новий стан-оф-арт на T2V-CompBench бенчмарку, суттєво покращуючи всі протестовані моделі. Автори зазначають у висновку, що хоча їхня система радикально покращує вірність, вона не адресує (і не призначена для адресування) дрейф ідентичності, який зараз є банею досліджень генеративного штучного інтелекту.

Нова стаття надходить від чотирьох дослідників з Ecole Polytechnique Fédérale de Lausanne (EPFL) у Швейцарії.

Метод і дані

Центральна пропозиція нового методу полягає в тому, що текст-відео (T2V) дифузійні моделі повинні бути “закріплені” до початкових кадрів, які справді відповідають текстовому запиту.

Для того, щоб модель поважала початковий кадр, новий метод порушує стандартний дифузійний процес шляхом ін’єкції чистого латентного від анкорного зображення на нульовий часовий крок, замінивши один з звичайних шумових входів. Цей незнайомий вхід спочатку плутає модель, але з мінімальним LoRA файн-тюнінгом вона вчиться поважати ін’єкційний кадр як фіксований візуальний анкор, а не як частину шумової траєкторії:

Двостадійний метод для закріплення текст-відео генерації з візуальним анкором: ліворуч, модель файн-тюнінгується за допомогою легкого LoRA для поважання ін’єкційного чистого латентного як фіксованого сценарного обмеження. Праворуч, запит розбивається на перший кадр, який використовується для генерації анкорного зображення, яке керує процесом створення відео.

Під час висновку метод переписує запит, щоб описати тільки перший кадр, використовуючи LLM для витягування плідного початкового сценарного стану, зосередженого на макеті та зовнішньому вигляді.

Цей переписаний запит передається генератору зображення для створення кандидата на анкорний кадр (який можна опціонально уточнити користувачем). Вибраний кадр кодується у латентний і ін’єктується у дифузійний процес шляхом заміни першого часу кроку, дозволяючи моделі генерувати решту відео підтримуючи анкорний початковий сценарій – процес, який працює без потреби змін у базовій архітектурі.

Процес був протестований шляхом створення LoRAs для Wan2.2-14B, Wan2.1-1B і CogVideo1.5-5B. Навчання LoRA проводилось на ранзі 256, на 5000 випадково вибраних кліпах з UltraVideo колекції.

Навчання тривало 6000 кроків і вимагало 48 годин GPU для Wan-1B і CogVideo-5B, і 96 годин GPU для Wan-14B. Автори зазначають, що Wan-5B нативно підтримує текст- тільки і текст-зображення умови (які в цьому випадку нав’язуються старішим фреймворкам), і тому не потребували жодного файн-тюнінгу.

Тести

У експериментах, проведених для цього процесу, кожен текстовий запит спочатку уточнювався за допомогою Qwen2.5-7B-Instruct, який використовувався для генерації детального “початкового зображення” запиту, що містить опис всього сценарію. Це потім передавалося QwenImage, який мав завдання генерувати “магічний кадр” для інтерпозиції у дифузійний процес:

Бенчмарки, використані для оцінки системи, включали згаданий вище T2V-CompBench, для тестування композиційної зрозумілості шляхом оцінки того, наскільки добре моделі зберігають об’єкти, атрибути та дії у згуртованому сценарії; і VBench 2.0, для оцінки ширшого розуміння та узгодженості по 18 метрикам, згрупованим у креативність, здоровий глузд, контроль, людська вірність і фізика:

По всіх сімом категоріях оцінки T2V-CompBench факторизований T2V метод перевершив стандартні та апсемпловані T2V базові лінії для кожної протестованої моделі, з виграшами до 53,25%. Найкращі варіанти часто збігалися або перевершували пропрієтарний PixVerse-V3 бенчмарк.

Відносно цього першого раунду тестів, автори зазначають*:

‘[У всіх моделях] додавання анкорного зображення послідовно покращує композиційні результати. Усі менші факторизовані моделі (CogVideo 5B, Wan 5B і Wan 1B) перевершують більшу Wan 14B T2V модель.

‘Наш факторизований Wan 5B також перевершує комерційний PixVerse-V3 бенчмарк, який є найкращим зареєстрованим моделем на бенчмарку. Це свідчить про те, що візуальне закріплення суттєво покращує сценарну та діючу зрозумілість, навіть у менших моделях.

‘У кожній моделі факторизована версія перевершує оригінальну модель. Зокрема, наш легкий анкор-ґрунтований LoRA на WAN 14B досягає результатів, порівнянних з його попередньо натренованим I2V 14B варіантом (0,661 проти 0,666),尽管 це не потребувало жодного повного перенастройки.’

Далі пішов раунд VBench2.0:

Факторизований T2V підхід послідовно покращує результати VBench 2.0 по композиції, здоровому глузді, контролі та фізиці, з деякими виграшами понад 60% – хоча людська вірність залишається нижче пропрієтарного Veo 3 бенчмарку.

По всіх архітектурах факторизований підхід підвищує результати у всіх категоріях VBench, крім людської вірності, яка трохи погіршується навіть з апсемплуванням запиту. WAN 5B перевершує більшу WAN 14B, підтримуючи попередні результати T2V-CompBench, які свідчать про те, що візуальне закріплення внесло більший внесок, ніж масштаб.

Хоча виграші на VBench були послідовними, вони були меншими, ніж ті, що були показані на T2V-CompBench, і автори приписують це суворішому бінарному режиму оцінювання VBench.

Для кваліфікаційних тестів стаття надходить із статичними зображеннями, але ми звертаємося до читача до вкладених у цю статтю відео для яснішого уявлення, з застереженням, що джерельні відео значно численніші та різноманітніші, а також мають більшу роздільність та деталізацію. Знахідіть їх тут. Відносно кваліфікаційних результатів стаття зазначає:

‘Анкорні відео послідовно демонструють більш точну сценарну композицію, сильніше зв’язування об’єкта-атрибуту та яснішу темпоральну прогресію.’

Факторизований метод залишався стабільним навіть тоді, коли кількість дифузійних кроків була скорочена з 50 до 15, показуючи майже жодної втрати результатів на T2V-CompBench. Навпаки, обидві текст- тільки і апсемпловані базові лінії погіршувалися різко під тих самих умов.

Хоча скорочення кроків теоретично могло б потриkrát підвищити швидкість, повний конвеєр генерації став тільки у 2,1 рази швидшим на практиці, через фіксовані витрати від генерації анкорного зображення. Тим не менш, результати свідчать про те, що закріплення не тільки покращує якість зразків, але також допомагає стабілізувати дифузійний процес, підтримуючи швидшу та ефективнішу генерацію без втрат у точності.

Сайт проекту надходить з прикладами апсемплованих та нових методів генерації, з яких ми пропонуємо кілька (нижчої роздільності) редагованих прикладів тут:

Натисніть, щоб відтворити (без звуку). Апсемпловані початкові джерела проти авторського факторизованого підходу.

Автори висновують:

‘Наші результати свідчать про те, що покращене закріплення, а не тільки збільшена ємність, може бути не менш важливим. Останні досягнення у T2V дифузії сильно залежали від збільшення розміру моделі та навчальних даних, проте навіть великі моделі часто мають труднощі з висновком згуртованого початкового сценарію з тексту самостійно.

‘Це контрастує з образом дифузії, де масштабування відносно просте; у відео моделях кожне архітектурне покращення повинно працювати над додатковим темпоральним виміром, що робить масштабування суттєво більш ресурсоємним.

‘Наші висновки свідчать про те, що покращене закріплення може доповнити масштаб, звертаючись до іншої вузької частини: встановлення правильного сценарію до початку синтезу руху.

‘Факторизуючи відео генерацію на сценарну композицію та темпоральну модель, ми пом’якшуємо кілька спільних режимів невдачі без потреби суттєво більших моделей. Ми розглядаємо це як комплементарний принцип дизайну, який може спрямовувати майбутні архітектури до більш надійної та структурованої відео синтезу.’

Висновок

Хоча проблеми ентанґлементу дуже реальні і можуть потребувати спеціальних рішень (таких як покращена кураторська обробка та розподільчі оцінки перед навчанням), було відкриттям спостерігати, як факторизація “розблоковує” кілька упертих і “закріплених” концептуальних оркестрацій у значно точніші візуалізації – з помірним шаром LoRA умовності і втручанням помітно покращеного початкового зображення.

Пропасть у ресурсах між локальною хобійською інференцією та комерційними рішеннями може не бути такою величезною, як вважається, оскільки майже всі постачальники намагаються раціоналізувати свій суттєвий витратний вклад у GPU для споживачів.

Анекдотично, велика кількість поточної генерації відео постачальників здається використовувати брендовані та загальні “підсилені” версії китайських відкритих джерельних моделей. Основний “рiв” будь-якої з цих “посередницьких” систем здається тим, що вони взяли на себе труднощі навчання LoRAs, або ж – за більшу ціну та трохи більшу винагороду – провели повне перенастройки ваг моделі^††.

Ось такі висновки можуть допомогти закрити цю пропасть далі, у контексті сцени релізу, де китайці, здається, визначені (не обов’язково з альтруїстичних чи ідеалістичних причин) демократизувати генерацію штучного інтелекту, тоді як західні бізнес-інтереси, можливо, бажали б, щоб збільшення розміру моделі та регулювання врешті-решт ізолювали будь-які хороші моделі за API та多шаровими контент-фільтрами.

* Авторські наголоси, не мої.

^† Стаття не вказує, який GPU був вибраний або скільки їх було використано.

^†† Хоча шлях LoRA більш імовірний, обидва для економічної легкості використання, і тому, що повні ваги, а не квантізовані ваги, не завжди надаються.

Перша публікація у п’ятницю, 19 грудня 2025 року