З плину зору, з пам’яті: подолання найбільшої проблеми штучного інтелекту в відео

Найбільша проблема навіть найкращих генераторів відео штучного інтелекту полягає в тому, що вони мають хронічну амнезію – проблему, яку зараз намагається вирішити нове дослідження з Китаю.

Найбільша проблема навіть найкращих і найсучасніших систем генерації відео штучного інтелекту полягає в тому, що всі вони мають хронічну амнезію: якщо камера відходить від того, на що вона була спрямована, і потім повертається назад, вона ніколи не знайде того, що було на початку – персонажі зникнуть, зміниться їхній вигляд і/або тип руху, і фон, ймовірно, також зміниться.

Це відбувається через те, що система генерації на основі дифузії має обмежене вікно уваги, і тому вона завжди зайнята тим, що вона бачить в цей момент; у справжньому втіленні соліпсизму те, що знаходиться поза кадром, не існує для генеративного штучного інтелекту – воно буквально викидається з пам’яті.

Це ніколи не було проблемою в традиційному CGI, яке може завжди звернутися до і точно відтворити об’єкт, включаючи вигляд і рух, в будь-якій точці відтвореного відео, де вони можуть бути потрібні знову:

Традиційні CGI-меші і текстури можуть завжди бути намальовані в рендер, забезпечуючи послідовний вигляд – трюк, який значно важче досягти в підходах штучного інтелекту, оскільки немає еквівалентного «плоского посилання» файлу або колекції пов’язаних файлів.

Це відбувається через те, що компоненти CGI, такі як mesh і текстури (див. зображення вище), а також файли руху і інші динамічні поведінки, можуть існувати окремо на диску і бути намальованими в композицію в будь-який момент.

У генеративному відео штучного інтелекту немає такого «плоского репозиторію»; найближче, що воно може досягти цієї функціональності, – це LoRAs – спеціально треновані допоміжні файли, які можна тренувати на споживчому обладнанні, що дозволяє впроваджувати нові персонажі і конкретне вбрання в відео:

Натисніть, щоб відтворити. Проблему соліпсизму штучного інтелекту можна частково вирішити за допомогою LoRAs – але результати можуть бути надмірними.

Це не є ідеальним рішенням, проте. По-перше, LoRAs прив’язані до конкретної версії базової моделі (наприклад, Wan2+ або Hunyuan Video), і потрібно їх переробляти кожного разу, коли змінюється базова модель. По-друге, LoRAs тендітно впливають на ваги базової моделі, так що навчена ідентичність LoRA накладається на всіх персонажів у сцені. Крім того, методи тонкої настройки цього типу дуже чутливі до погано кураторських наборів даних.

Точні повтори

Тепер нове академічно-промислове співробітництво з Китаю пропонує перше значне рішення, яке привернуло мою увагу за останні три роки звітності про цю проблему. Метод використовує гібридну пам’ять, щоб зберегти персонажі поза кадром і їхнє безпосереднє оточення активними і точними у латентному просторі моделі, так що коли наш погляд повертається до них, ефект є послідовним:

Натисніть, щоб відтворити. З проекту для нової статті, два приклади генерації персонажів штучного інтелекту (WAN), які виходять з кадру і точно входять назад. Джерело 

Відзначимо, що це не те саме, що досягнення послідовності персонажів у різних кадрах – щось, що було заявлено як досягнуте рік тому у випуску Gen 4 Runway, і яке залишається поточною погоні у дослідницькій літературі.

Натомість те, що вирішено тут, – це щось, чого не змогла досягти жодна комерційна чи експериментальна база, яку я бачив – послідовне візуальне повторення попереднього вигляду, руху і оточення персонажа поза кадром:

Натисніть, щоб відтворити. Інші два основні приклади, наведені на сайті нового проекту.

Очевидно, що принципи, які працюють тут, можуть бути застосовані також до інших областей, таких як дослідження міст, рух транспортних засобів з точки зору особи, або інших видів генерації, не пов’язаних з персонажами.

Відзначимо також, що цей новий підхід не вирішує чи не звертається до проблеми, яку Runway Gen4 і інші закриті платформи заявили, що вони вирішили, відтворюючи персонажів у різних кадрах; натомість він робить те, чого жодна з них ще не змогла досягти – зберігає персонажа і середовище в пам’яті, без необхідності їхньої постійної видимості для глядача.

Нова робота складається з спеціальної бази даних, згенерованої за допомогою Unreal Engine, а також спеціальних метрик для проблеми соліпсизму*, і спеціальної генеративної бази, побудованої над WAN. У тестах проти кількох аналогічних систем автори заявляють про досягнення найкращих результатів у галузі, і коментують:

‘[Пам’ять] механізми виникли як критичний рубіж у розвитку моделей світу, оскільки місткість пам’яті диктує просторову і тимчасову послідовність згенерованого контенту.

‘Конкретно, це когнітивний якор, який дозволяє моделі зберігати історичний контекст під час зміщення точки зору або довгострокової екстраполяції.

‘Без надійної пам’яті симульований світ швидко розвалюється на відокремлені, хаотичні кадри.’

Нова стаття називається Поза зором, але не з пам’яті: гібридна пам’ять для динамічних моделей світу відео, і виходить від семи дослідників з Університету науки і технологій Хуачжун і команди Клінга у компанії Kuaishou Technology.

Метод

Центральним елементом нової роботи є гібридна пам’ять, яка забезпечує «екстраполяцію поза кадром» – збереження персонажів і їхнього контексту, поки глядач «відводить погляд» (або поки персонаж сам виходить з кадру). У цьому сценарії база повинна виконувати просторово-часове роз’єднання, при якому вона одночасно зосереджена на генерації, видимій для глядача, і на позакадровому існуванні персонажа, який зараз поза кадром.

Приклади руху камери при вході/виході. У цих випадках рух камери викликає вихід персонажа з кадру, але у різних зразках ми також можемо спостерігати, як персонаж тимчасово виходить з кадру сам. Джерело

Автори відзначають, що у дифузійних латентних вкладеннях функції, які потрібно витягнути і використовувати, сильно заплутані з іншими функціями і властивостями; і що спроба витягнути їх часто викликає «заморожування» об’єкта у фоні. Тому вони розробили і курирували базу даних HM-World, спеціально призначену для навчання гібридної пам’яті**:

З статті, зразки з чотирьох категорій, які містяться в базі даних HM-World.

Колекція побудована за чотирма вимірами: траєкторії об’єктів, траєкторії камери, сцени і об’єкти.

Синтетичні дані в HM-World містять 17 сцен і 49 об’єктів, включаючи людей різного вигляду, а також тварин різних видів. Комбінації цих об’єктів процедурно розміщуються в сцені за допомогою Unreal Engine, кожна з унікальною анімацією руху, а потім встановлюється на випадково вибраній траєкторії.

Автори заявляють, що у базі даних зображено різноманітні події виходу/входу, з 28 різними траєкторіями камери, кожна з яких має кілька початкових точок.

Фінальна колекція нараховує 59 225 відеокліпів, кожен з яких анотований великомасштабною мовною моделлю MiniCPM-V.

Дослідники вказують на статистичні переваги своєї колекції перед попередніми базами даних WorldScore; Context-As-Memory; Multi-Cam Video; і 360° Motion:

<img class=" wp-image-405993" src="https://www.unite.ai/wp-content/uploads/2026/03/table-1-5.jpg" alt="Порівняння існуючих баз даних з базою даних HM-World, де «Динамічний об'єкт» вказує на наявність рухомих об'єктів, «Об'єкт виходить/входить» позначає кліпи, що містять об'єкти, які залишають і повторно входять у кадр, а «Поза об'єкта» відноситься до включення анотованих 3D-поз.

Менше пройдений шлях

При наявності декількох попередніх кадрів і відомої траєкторії камери завдання полягає в тому, щоб передбачити майбутні кадри при зміні точки зору глядача, враховуючи об’єкти, які рухаються незалежно і можуть покидати кадр, перш ніж повернутися. Це вимагає більшого, ніж збереження стабільного фону, оскільки модель повинна також зберігати внутрішню послідовну реєстрацію того, як кожен рухомий об’єкт виглядає і поводиться, навіть під час періодів, коли він не видимий.

Метод Гібридна динамічна увага до відновлення (HyDRA) авторів вирішує цю проблему, вводячи спеціальний шлях пам’яті, який розділяє динамічні об’єкти від статичного зображення сцени, дозволяючи їм зберігаються протягом часу і повторно входити з послідовним виглядом і рухом:

Концептуальна схема моделі HyDRA.

HyDRA побудована над Wan2.1-T2V-1.3B, з ядром дифузійного конвеєра, яке залишається в основному незмінним, при цьому вводиться модифікований блок трансформера, який включає динамічну увагу до відновлення. Це дозволяє моделі вибірково відновлювати рухомі і зовнішні ознаки з попередніх кадрів, а не покладатися на фіксований або локальний контекст.

Цей процес використовує адаптовану ціль уваги до потоку як заміну стандартної дифузійної втрати.

Щоб зберегти сцени, узгоджені з рухом камери, траєкторії камери подаються як явний сигнал умовності, з кожним кадром, поза якого визначається за допомогою обертання і перекладу, а потім перетворюється в компактне представлення, яке захоплює, як точка зору змінюється протягом часу.

У відповідності з попереднім (Клінг) ініціативою ReCamMaster результат потім розбирається камерним кодувальником, реалізованим як багатошаровий перцептрон, а потім передається і додається до ознак дифузійного трансформера, що дозволяє моделі зберігати послідовне розміщення об’єктів при русі камери.

Токенізація

Сирові дифузійні латентні дані змішують рух об’єкта, зовнішній вигляд і фон у єдине заплутане представлення, і спроба відновити їх безпосередньо з цього простору ризикує введення неістотного контексту або викликає «заморожування» рухомих об’єктів у фоні.

HyDRA вирішує цю проблему за допомогою токенізації пам’яті на основі 3D-конволюції, яка обробляє простір і час разом – а не передаючи повну історію латентних даних, вона стискає їх у компактні, рухомі токени пам’яті, які зберігають, як об’єкти виглядають і рухаються:

Огляд HyDRA. Зліва, токенізація пам’яті перетворює попередні кадри у компактні, рухомі токени пам’яті; справа, динамічна увага до відновлення оцінює поточний запит щодо цих токенів, відновлює найбільш відповідні з них і використовує їх для відновлення послідовного вигляду і руху у згенерованому кадрі.

Ці токени утворюють структуровану гібридну пам’ять, яка фільтрує шум, зберігаючи при цьому довгострокову динаміку. Передані до модулю динамічної уваги до відновлення, ці токени дозволяють моделі вибірково відновлювати позакадрові об’єкти, так що вони повторно входять з послідовним виглядом, рухом і контекстом.

Динамічна увага до відновлення

Двійний механізм пам’яті HyDRA також використовує динамічну увагу до відновлення у окремій, але доповнювальній ролі всередині бази.

Токенізація пам’яті стискає попередні латентні дані у структуровані, рухомі токени, які розділяють динамічні об’єкти від статичного зображення сцени, зменшуючи заплутаність, яка часто викликає «заморожування» об’єктів у фоні. Ці токени утворюють тривалу пам’ять, а не повну історію кадрів.

Динамічна увага до відновлення потім діє над цією пам’яттю під час генерації, оцінюючи поточний запит щодо збережених токенів і вибірково відновлюючи ті, які найбільш відповідні еволюції кадру. Це дозволяє позакадровим об’єктам продовжувати свою латентну еволюцію (тобто, продовжувати рухатися, коли їх не видно), і повторно входити з послідовним виглядом і рухом, коли вони повертаються у кадр, а не перезапускаються або погіршуються.

Дані і тести

У тестах система HyDRA, побудована над Wan, закодувала і зменшила 77 контекстних кадрів перед тим, як розібрати їх за допомогою 3D варіаційного автокодувальника (VAE), тоді як токенізація пам’яті використовувала 3D-конволюцію з розміром ядра 2x4x4.

Модель була тренована на HM-World протягом 10 000 ітерацій на 32 (невизначених) GPU, з розміром партії 32.

Було використано незвично велика кількість метрик у тестах: окрім звичайного співвідношення пікової потужності сигналу до шуму (PSNR), індексу структуальної подібності (SSIM) і метрик сприйманої подібності (LPIPS), автори також використовували послідовність об’єкта і послідовність фону з набору VBench, щоб оцінити послідовність кадрів.

Крім того, вони розробили спеціальну метрику під назвою динамічна послідовність об’єкта (DSC), яка використовує рамки обмеження з YOLO V11, щоб створити обрізані області, що містять рухомі об’єкти, з яких потім витягуються семантичні ознаки і обчислюються їхні подібності.

HyDRA була протиставлена дифузійному трансформеру з примусом (DFoT) і контексту як пам’яті, над базовою моделлю Wan2.1-T2V-1.3B, оснащеної камерним кодувальником (щоб представити суб’єктивну точку зору, спільну для всіх кліпів). Усі моделі були треновані на HM-World, а WorldPlay також використовувався як нульова, вторинна колекція тестів:

У початкових кількісних порівняннях HyDRA перевершувала всі базові моделі, підвищуючи PSNR з 18,696 до 20,357, і SSIM з 0,517 до 0,606. Вона також досягла найбільшої контекстної і фактичної діціметричної подібності, 0,827 і 0,849, з послідовністю об’єкта і фону, які досягли 0,926 і 0,932:

Результати початкового кількісного порівняння з попередніми підходами.

DFoT досягла 17,693 PSNR, а Контекст як пам’ять – 18,921, з прибутками, які автори приписують токенізації пам’яті, поєднаній з динамічною увагою до відновлення:

Кількісне порівняння HyDRA з сучасним станом справи.

Щодо тестів проти WorldPlay, автори заявляють:

‘Наш метод перевершує WorldPlay за всіма метриками, з помітною прогалиною PSNR у 5,502. Хоча WorldPlay демонструє нижчу продуктивність за метриками, що посилаються на фактичні дані (наприклад, PSNR 14,855, DSCGT 0,832), через розрив у розподілі доменів і відсутність спеціальної настройки, вона демонструє вражаючу стійкість за метриками, що посилаються на контекст, досягнувши DSCctx 0,822.

‘Цей спостереження не тільки підтверджує, що ретельно треновані моделі володіють справедливою гібридною послідовністю, але також непрямо підтверджує раціональність наших запропонованих метрик DSC щодо відображення динамічної послідовності об’єкта.

‘У кінцевому підсумку, ці вражаючі результати підкреслюють виняткові можливості нашої моделі, демонструючи її перевагу навіть над усталеними комерційними моделями.’

Стаття пропонує статичне представлення порівняльних тестів, проведених для тестів:

Порівняння виходу і повторного входу під час руху камери. Автори стверджують, що HyDRA зберігає ідентичність об’єкта, позу і послідовність руху після виходу і повторного входу у кадр, близько збігаясь з фактичними даними, тоді як конкуруючі методи демонструють дрейф, нестійкий рух або погіршення об’єкта, виділені червоним кольором (послідовні відновлення позначені зеленим).

Про ці результати автори коментують:

‘У випадку складних подій виходу/входу базова модель і Контекст як пам’ять демонструють сильне спотворення об’єкта і нестійкий рух. DFoT не може зберегти цілісність об’єкта, що призводить до його повного зникнення. Хоча WorldPlay вдалося зберегти послідовність вигляду об’єкта, вона страждає від ступору руху і ненатуральних дій.

‘Натомість наш метод успішно зберігає гібридну послідовність, зберігаючи як ідентичність об’єкта, так і послідовність руху після повторного входу об’єкта у кадр.’

Додаткові результати можна побачити у відео на допоміжному сайті, з яких перші чотири приклади були зібрані (нами) у відео нижче:

Натисніть, щоб відтворити. Чотири з шести тестових результатів, представлених на сайті проекту. Джерело 

Висновок

Хоча будь-яка спроба вирішити одну з найбільших проблем генерації відео штучного інтелекту є бажаною, здається, що оптимальне рішення для проблем виходу/повторного входу цього типу буде полягати, як і у випадку з CGI, у вигляді окремих посилальних матеріалів, які можна дискретно редагувати і вводити у композиторський простір.

Ця справа спроб保持ати вкладення у живому, на льоту, вихлопному порядку здається вичерпуючою, і також не пропонує чіткого шляху до внутрішньої послідовності кадрів, яка зараз доступна на різних чорних скриньках, таких як Runway. Якщо виявиться, що наступний кадр буде потребувати доступу до латентного простору попереднього кадру, чому не розмістити окреме і окреме вкладення персонажа?

* Ніхто інший не назвав це, і обговорення без спільних термінів є складним.

** Наразі зазначено як «скоро з’явиться» на сторінці проекту.

Опубліковано вперше у п’ятницю, 27 березня 2026 року