Відеокодек для відео, згенерованого штучним інтелектом

Коли доба необмеженого користування ШІ добігає кінця, новий економний підхід до генерації відео за допомогою ШІ обіцяє помітно заощадити токени й час.

Реальна вартість інференсу ШІ додає нову порцію тверезості до шаленого темпу нинішньої революції ШІ. Водночас зростає інтерес до раціоналізації вартості машинного навчання. Окрім можливості перенести ШІ у внутрішнє середовище організаціїта загального розвитку приватного ШІ, оптимізації, звісно, потребуватимуть і процеси машинного навчання, що споживають багато відеопам’яті VRAM та інших ресурсів.

Генерація відео, можливо, споживає найбільше ресурсів у цій сфері. Якщо ви коли-небудь повторно стискали фільм або експортували його з відеоредактора, то знаєте, яке навантаження це завдання, не пов’язане із ШІ, створює для обладнання: воно споживає оперативну пам’ять і цикли процесора та часто заважає використовувати комп’ютер для інших цілей, якщо не обмежити вплив алгоритму стиснення на його роботу.

Достатньо уявити, у якому масштабі розвиток відео ШІ повторює цю вимогливу до обчислювальних ресурсів процедуру в центрах обробки даних по всьому світу. У такому масштабі навіть найменші покращення одразу стають вагомими, якщо підсумувати їхній ефект.

Кадр у центрі уваги

У цьому контексті нова дослідницька робота із Шанхая, підготовлена спільно з JD.com (JD ), пропонує відеокодек, призначений не для остаточного рендерингу, тобто стиснення великих необроблених кадрів у менший відеофайл, а для самого процесу генерації відео за допомогою ШІ.

Звичайний відеокодек не зберігає кожен кадр як повне зображення. Натомість він створює меншу кількість повних зображень, які називають I-кадрами, а потім зберігає зміни між кадрами.

Наприклад, коли людина у відео трохи рухається, кодек записує лише змінені частини кадру, а не всю сцену заново. Для цього використовуються P-кадри, що формуються з попередніх кадрів, та B-кадри, які також можуть використовувати інформацію з наступних кадрів:

Будова відеокодека: верхній ряд показує послідовність кадрів I, P і B. Повністю збережені I-кадри показано насиченими кольорами, а відновлювані P- і B-кадри — блідими. Стрілки вказують на використання попередніх кадрів, наступних кадрів або обох типів. Нижні панелі зображують повністю збережений кадр (I, ліворуч), кадр, побудований із попереднього кадру (P, другий ліворуч), і кадр, побудований із попередніх та наступних кадрів (B, праворуч).

Повторне використання сусідньої інформації допомагає зберігати невеликий розмір відеофайлів. Більшість кадрів — це не нові зображення, а інструкції, які описують зміни відносно попереднього кадру. Отже, I-кадри — це повні нестиснені або мінімально стиснені зображення, що займають багато місця. Проміжні кадри містять лише відмінності від I-кадрів і між собою.

Коли кожен окремий кадр є повним нестисненим зображенням, фільм фактично не має стиснення. Двогодинний фільм, збережений таким способом, потребував би майже терабайт дискового простору або й більше. Проте саме так ШІ створює фільми^† : виділяє кожному кадру однаковий обсяг ресурсів і токенів, обчислюючи, як сформувати відео.

Економія у великому масштабі

Нова робота під назвою AdaCodec: A Predictive Visual Code for Video MLLMs натомість використовує повні візуальні токени винятково для опорних кадрів (I-кадрів), а всі проміжні кадри подає як компактні P-токени. Цей принцип явно запозичено з традиційного стиснення звичайних відеокодеків.

Після такого внутрішнього стиснення згенероване ШІ відео можна стиснути й звичайним способом. Теоретично вся економія досягається на боці сервера:

Огляд AdaCodec. Ліворуч відео поділено на адаптивні групи кадрів. Повні I-кадри зберігаються для моментів, які складно передбачити, а проміжні P-кадри подано компактною інформацією про рух і залишковий сигнал. Праворуч система досягає результатів Qwen3-VL-8B або перевищує їх в одинадцяти тестах, зберігає вищу точність роботи з довгими відео за різних бюджетів токенів і скорочує затримку відповіді, обробляючи значно менше відеотокенів. Джерело

Згідно з оприлюдненими результатами випробувань AdaCodec, заради такої економії варто докласти зусиль. У статті зазначено, що система перевершила незмінену модель Qwen3-VL-8B в усіх основних тестах за однакового обсягу обчислень. Вона й далі досягала результатів на рівні цієї моделі або перевищувала їх після скорочення кількості відеотокенів приблизно на 86%.

Автори заявляють*:

«Ми надихаємося предиктивним кодуванням, за якого система передає помилки передбачення замість необробленого сигналу. Цей принцип має біологічне підґрунтя: вважається, що зорова система кодує помилки передбачення, тобто невідповідність між очікуваними й спостережуваними вхідними даними, а не самі вхідні дані.»

«Сучасні відеокодеки застосовують ту саму ідею залишкового кодування в інженерії: опорні кадри передають повний вміст, а передбачувані кадри — сигнали руху й залишку відносно опорного кадру.»

«Ці системи мають різні цілі, але однакову умовну структуру: якщо сусідні зразки містять надлишкову інформацію, канал має передавати те, чого не може пояснити передбачення.»

«Однак стандартні кодеки оптимізовані для бітових потоків і відновлення зображень, призначених для перегляду людиною, а не для візуальних токенів, які використовує LLM. Тому ми переробляємо цей механізм на інтерфейс MLLM для розуміння відео.»

Нову роботу написали 11 дослідників із Shanghai Jiao Tong University, Shanghai Innovation Institute та JD.com. Її супроводжує сторінка проєкту, а публікацію вихідного коду обіцяно.

Метод

Як уже зазначалося, система не розглядає кожен кадр як цілком нове зображення, а шукає зміни між сусідніми кадрами. Ліворуч на наступній ілюстрації невелика ділянка поточного кадру зіставляється з найбільш подібною ділянкою попереднього кадру:

Схема AdaCodec.

Відстань між двома положеннями стає вектором руху, а решта візуальних відмінностей утворює залишковий сигнал. Ці компактні описи замінюють потребу зберігати повне зображення.

Праворуч отримана інформація надходить до моделі ШІ. Важливі опорні кадри й далі обробляються як повні зображення, але проміжні кадри представлені значно меншими токенами руху й залишкового сигналу. Схоже, це дає моделі змогу зберігати досить інформації для інтерпретації відео, обробляючи значно менше візуальних даних.

Цікаве завдання — визначити, які кадри варто зберігати повністю. Традиційні відеокодеки зазвичай вставляють опорні кадри через рівні проміжки, потрібні вони чи ні. AdaCodec натомість намагається визначити найважливіші моменти.

Уявімо сцену майже нерухомої розмови двох людей у квартирі. Раптом через вікно вривається загін SWAT. Одразу збільшуються кількість ракурсів камери та монтажних склейок, що потребує значно більше даних, ніж забезпечує сталий інтервал між опорними кадрами:

На цьому ґрунтуються методи змінного стиснення, зокремазмінний бітрейт. Вони аналізують вихідне відео, шукаючи такі насичені змінами ділянки, і виділяють більше даних там, де це потрібно. Це потребує чималих витрат часу та ресурсів.

Якщо AdaCodec може точно передбачити кадр за сусідніми кадрами, система й далі використовує компактні токени руху й залишкового сигналу. Якщо сцена істотно змінюється, як у прикладі із загоном SWAT або в менш драматичному випадку, вона вставляє повний опорний кадр. Це дає змогу спрямувати більшу частину доступного обчислювального бюджету на важливу візуальну інформацію, а не розподіляти його рівномірно по всьому відео.

Дані та тести

Дослідники використали згадану Qwen3-VL-8B як базову модель та оцінили AdaCodec в одинадцяти тестах, що охоплюють три сфери розуміння відео: роботу з довгими відео оцінювали за допомогою MLVU, LongVideoBench та LVBench; розуміння часових зв’язків за допомогою TempCompass, MotionBench та TOMATO; та загальне розуміння відео за допомогою Video-MME, MVBench, NExT-QA, PerceptionTest та EgoSchema.

Серед протестованих моделей із відкритим вихідним кодом були InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B; та Molmo2-O-7B.

Варіанти GPT-5, Gemini та Claude наведено в таблиці нижче лише як орієнтири для порівняння. CoPE-VideoLM-7B та ReMoRa-7B — це раніші відеомовні моделі, які скорочують використання візуальних токенів завдяки стисненню, натхненному принципами кодеків. Тому вони є найближчими прямими конкурентами AdaCodec:

Основні результати в одинадцяти тестах розуміння довгих відео, міркування про часові зв’язки та загального розуміння відео. Вища оцінка означає кращий результат. LVB = LongVideoBench; V-MME = Video-MME. Жирним шрифтом і підкресленням позначено відповідно найкращі та другі за величиною оцінки серед відкритих моделей. Оцінки закритих моделей узято з офіційних звітів, коли вони були доступні; відсутні результати отримано з Molmo2 або оцінено авторами.

Для коректного порівняння AdaCodec і стандартній системі Qwen3-VL-8B виділили однакову кількість візуальних токенів. Отже, результати відображають ефективність методу стиснення, а не відмінності в обчислювальних ресурсах.

За найсильнішого стиснення AdaCodec зменшив використання візуальних токенів приблизно на 86%, зберігши результати на рівні базової системи або трохи вищі в завданнях роботи з довгими відео, розуміння часових зв’язків і загального розуміння відео.

Коли заощаджені токени спрямували на обробку додаткових кадрів, результати покращилися в усіх тестах довгих відео та в усіх тестах часових зв’язків. Приріст сягнув +5,4 бала в LongVideoBench і +4,3 бала в TOMATO, що забезпечило одні з найкращих результатів відкритих моделей у дослідженні.

Висновок

Хоча такі проєкти зазвичай орієнтовані на гіпермасштабних провайдерів, ця робота зацікавить і аматорів, і малі та середні підприємства. Вона може стати частиною нової публічної стриманості щодо локального, раціональнішого розгортання ШІ.

Для спільнот на кшталт r/stablediffusion це давно знайома практика: кожен великий випуск відкритої моделі регулярно перетворюють на гранично оптимізовану версію (GGUF, квантовані ваги тощо), здатну за певного терпіння працювати на менш потужних відеокартах.

Якщо показовий етап цієї третьої хвилі розвитку ШІ справді закінчився і якщо припустити, що корпорації відштовхнуть реальні витрати на інференс, то ініціативи на кшталт AdaCodec можуть стати частиною майбутньої «великої оптимізації».

^† Ідеться не про остаточне виведення відео у зручні користувачеві формат і розмір файлу, а про внутрішню генерацію та збирання кадрів у моделі ШІ під час інференсу.

* У розумних межах я перетворив внутрішньотекстові посилання авторів на гіперпосилання.

Уперше опубліковано в четвер, 4 червня 2026 року