Відеокодек для відео, згенерованого штучним інтелектом

Як епоха “їж, скільки хочеш” штучного інтелекту підходить до кінця, новий економічний підхід до генерації відео штучним інтелектом обіцяє помітні економії токенів і часу.

Реальна вартість інференсу штучного інтелекту приносить нову ноту стримості до стрімкого темпу поточного революції штучного інтелекту, з підвищеним інтересом до раціоналізації вартості машинного навчання. Окрім потенціалу приблизнення штучного інтелекту до дому, та загального зростання приватного штучного інтелекту, вимогливі до ресурсів та пожираючі машинне навчання процедури також потребуватимуть оптимізації.

Генерація відео, можливо, найбільший правопорушник у цьому відношенні. Якщо ви коли-небудь рекомпресували фільм або експортували його з відео-редактора, ви вже знаєте вартість цієї конкретної (не штучної) задачі для вашого апаратного забезпечення – споживання ОЗУ та циклів ЦП, та часто блокування машини для будь-якого іншого використання, якщо не вжито заходів для обмеження впливу алгоритму стиснення на комп’ютер.

Отже, можна тільки уявити собі, до якої міри зростання відео штучного інтелекту повторює цю “пожираючу силу” процедуру в центрах даних по всьому світу. На такому рівні операцій навіть найменші виграші стають негайно суттєвими в сукупному підрахунку.

У кадрі

З урахуванням цього, нова дослідницька робота з Шанхаю, у співпраці з JD.com, пропонує відеокодек, спрямований не на процес рендерингу (процес стиснення великих, сирих кадрів у менший розмір відеофайлу), а на сам процес генерації відео штучним інтелектом.

Нормальний відеокодек працює шляхом не збереження кожного кадру як повного зображення, а шляхом створення меншої кількості повних картинок, званих I-кадрами, та збереження змін між кадрами.

Наприклад, якщо людина рухається трохи у відео, кодек реєструє лише частини кадру, які реєструють цю зміну, а не переписують всю сцену. Це P-кадри, які походять від попередніх кадрів, та B-кадри, які також можуть передбачати інформацію в майбутніх кадрах:

Анатомія відеокодека: верхній ряд показує кадри за часом, позначені I, P і B, з I-кадрами повністю збереженими у повному кольорі та P- і B-кадрами, показаними затененими, щоб вказати реконструкцію; стрілки вказують, чи кадри використовують попередні кадри, майбутні кадри або обидва; нижні панелі зображують повністю збережений кадр (I-кадр, ліворуч), кадр, побудований з попереднього кадру (P-кадр, другий ліворуч), та кадр, побудований з попередніх і майбутніх кадрів (B-кадр, праворуч).

Це повторне використання сусідньої інформації пояснює, чому відеофайли залишаються малими, з більшою частиною кадрів, що працюють не як нові зображення, а як інструкції, що описують, як попередній кадр змінився. Отже, I-кадри становлять “повноцінні”, просторісті незатиснені (або мінімально затиснені) зображення, з кадрами між ними, що становлять лише різницю між I-кадрами (та між собою).

Коли кожен окремий кадр є повним незатисненим зображенням, фільм фактично не має стиснення. Збереження фільму в такому вигляді, як незатиснений відео, потребуватиме майже (або більше) терабайта дискового простору. Однак це саме так робить штучний інтелект фільми^† – присвячуючи рівні ресурси та токени кожному кадру, коли він обчислює, як сформулювати відео.

Економія масштабу

Нова робота нової роботи, під назвою AdaCodec: передбачувальний візуальний код для відео MLLM, витрачає повні візуальні токени ексклюзивно на кадри- посилання (I-кадри), з усіма проміжними кадрами, відтвореними як “компактні P-токени” – парадигма, очевидно, взятого з традиційного стиснення, застосованого в історичних “реальних” відеокодеках.

Після того, як внутрішнє стиснення відбулося, відео штучного інтелекту можна потім звичайно стиснути, і, теоретично, всі економії відбуваються на стороні сервера:

Огляд AdaCodec. Ліворуч, відео розділяються на адаптивні групи картинок, з повними I-кадрами, зарезервованими для моментів, які важко передбачити, та проміжними P-кадрами, представленими у вигляді компактної рухової та залишкової інформації. Праворуч, система відповідає або перевищує Qwen3-VL-8B по одинадцяти тестам, підтримує вищу точність довгих відео по бюджетах токенів, та зменшує затримку відповіді під час обробки суттєво менше відеотокенів. Джерело

Економія, згідно з повідомленими результатами тестів для AdaCodec, варта переслідування; у статті зазначається, що система перевершила незмінену модель Qwen3-VL-8B по всіх основних тестах, використовуючи ту ж кількість процесорних ресурсів; і все ж таки відповідала або перевищувала продуктивність цієї моделі після скорочення відеотокенів приблизно на 86%.

Автори заявляють*:

‘Ми черпаємо натхнення з передбачувального кодування, де система передає помилки від передбачення, а не сирний сигнал. Це принцип має біологічне підґрунтя: візуальна система вважається кодувати передбачувані помилки, несумісність між очікуваним та спостережуваним входом, а не сам сигнал.

‘Сучасні відеокодеки використовують ту ж саму ідею залишкового кодування в інженерії: кадри-посилання несуть повний вміст, тоді як передбачувані кадри несуть рухову та залишкову інформацію відносно посилання.

‘Ці системи мають різні цілі, але вони мають ту ж умовну структуру: коли сусідні зразки є надлишковими, канал повинен нести те, чого не вдається передбачити.

‘Стандартні кодеки, однак, оптимізовані для бітстрімів та людських реконструкцій, а не для візуальних токенів, споживаних LLM. Тому ми перепроектовуємо цей механізм як інтерфейс MLLM для відеорозуміння.’

Нова робота, написана 11 дослідниками з Шанхайського університету Цзяо Тун, Шанхайського інноваційного інституту та JD.com, супроводжується асоціативною сторінкою проекту, з обіцянкою випуску вихідного коду.

Метод

Як обговорювалося, замість того, щоб розглядати кожен кадр як повністю нове зображення, система шукає те, що змінилося між одним кадром та іншим. Зліва, на зображенні нижче, ми бачимо малий регіон поточного кадру, який збігається з найбільш подібним регіоном у попередньому кадрі:

Схематичний огляд для AdaCodec.

Відстань між двома місцями стає вектором руху, тоді як будь-які інші візуальні відмінності стають залишковим, з цими компактними описами, що заміняють необхідність зберігати повне зображення.

Праворуч, ми бачимо результат інформації, введеної в модель штучного інтелекту: важливі кадри-посилання все ще обробляються як повні зображення, але проміжні кадри представлені набагато меншими руховими та залишковими токенами – що, як видається, дозволяє моделі зберігати достатньо інформації для розбору відео, обробляючи водночас суттєво менше візуальних даних.

Одна цікава проблема полягає в тому, щоб вирішити, які кадри заслуговують на те, щоб бути збереженими у повному вигляді: традиційні відеокодеки зазвичай розміщують кадри-посилання на регулярних інтервалах, незалежно від того, чи вони потрібні чи ні. AdaCodec, натомість, намагається визначити моменти, які мають найбільше значення.

Наприклад, розгляньте сцену, яка в основному зображує статичну розмову між двома людьми в квартирі – і раптом команда SWAT вибухає через вікно. Одразу ж точки зору камери та кількість редагувань збільшаться і вимагатимуть набагато більше даних, ніж регулярний інтервал кадрів-посилань зможе забезпечити:

Це логіка за яким стоять методи стиснення з змінною швидкістю (стиснення з змінною швидкістю) стиснення, які аналізують джерельне відео для таких “зайнятих” періодів та призначують більшу кількість даних, де це потрібно – за жодної суттєвої витрати часу та ресурсів.

У AdaCodec, якщо кадр можна передбачити точно з сусідніх кадрів, система продовжує використовувати компактні рухові та залишкові токени; якщо сцена змінюється суттєво (тобто, приклад команди SWAT вище, або щось менш драматичне), повний кадр-посилання вставляється. Це дозволяє витратити більшу частину доступного процесорного бюджету на важливу візуальну інформацію, а не розподілити її рівномірно по всьому відео.

Дані та тести

У тестуванні дослідники використовували вищезгаданий Qwen3-VL-8B як базову модель та оцінили AdaCodec по одинадцяти тестах, що охоплюють три області відеорозуміння: довготривале виконання відео було оцінено за допомогою MLVU, LongVideoBench та LVBench; часове розуміння з TempCompass, MotionBench та TOMATO; та загальне відеорозуміння з Video-MME, MVBench, NExT-QA, PerceptionTest та EgoSchema.

Відкриті моделі, які були протестовані, включали InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B; та Molmo2-O-7B.

GPT-5, Gemini та варіанти Claude з’являються в таблиці нижче лише як порівняльні базові лінії. CoPE-VideoLM-7B та ReMoRa-7B є попередніми відео-мовними моделями, які зменшують використання візуальних токенів за допомогою кодек-інспірованого стиснення, що робить їх найближчими прямими конкурентами до AdaCodec:

Основні результати по одинадцяти тестах, що охоплюють довготривале відеорозуміння, часове розуміння та загальне відеорозуміння. Вищі оцінки вказують на кращу продуктивність. LVB = LongVideoBench; V-MME = Video-MME. Жирні та підкреслені значення вказують на найвищі та другі за висотою оцінки серед відкритих моделей. Оцінки для закритих моделей були взяті з офіційних звітів, де це було можливо, з відсутніми результатами, взятими з Molmo2, або оціненими авторами.

Щоб забезпечити справедливе порівняння, однакова кількість візуальних токенів була призначена як для AdaCodec, так і для стандартної системи Qwen3-VL-8B, що дозволяє результатам відображати ефективність підходу до стиснення, а не будь-які відмінності у процесорних ресурсах.

На найбільш агресивній настройці AdaCodec зменшив використання візуальних токенів приблизно на 86%, все ще відповідаючи або трохи перевищуючи базову систему на довготривалих відео-, часових та загальних відеотестах.

Коли збережені токени були reinvested у обробку більшого кількості відеокадрів, продуктивність покращилася по всіх довготривалих відеотестах та всіх часових тестах, з виграшами до +5,4 балів на LongVideoBench та +4,3 балів на TOMATO, одночасно продемонструвавши деякі з найкращих відкритих результатів у дослідженні.

Висновок

Хоча проекти такого роду зазвичай орієнтовані на гіпермасштабні постачальників, це саме той вид зусиль, який буде цікавим для хобі та малих та середніх підприємств, як частина потенційної нової “публічної аскетики” щодо локального, раціоналізованого розгортання штучного інтелекту.

У спільнотах, таких як r/stablediffusion, це дуже стара новина, оскільки кожен великий відкритий реліз, який приходить туди, регулярно тортурується у гіпероптимізовану (GGUF, квантовані ваги тощо) версію, здатну працювати, з деякою терпінням, на нижчому рівні графічних карт.

Якщо “виступна стадія” цієї третій підйому штучного інтелекту дійсно закінчилася, та за умови, що корпорації будуть відштовхнуті справжніми витратами на інференсу, тоді ініціативи, такі як AdaCodec, можуть скласти частину майбутньої “великої оптимізації”.

^† Це не те саме, що рендеринг відео у користувацькому форматі/розміру файлу; радше, це стосується внутрішньої генерації та збору кадрів, що відбувається всередині моделі штучного інтелекту під час інференсу.

* Моя конвертація, у розумних межах, внутрішніх цитат авторів у гіперпосилання.

Перше видання четверга, 4 червня 2026