Видеокодек для сгенерированных ИИ видеороликов

Когда эпоха безлимитного использования ИИ подходит к концу, новый экономически эффективный подход к генерации видео с помощью ИИ обещает значительную экономию токенов и времени.

Реальная стоимость инференса ИИ вносит новую долю трезвости в лихорадочный темп нынешней революции ИИ. При этом растет интерес к рационализации стоимости машинного обучения. Помимо возможности перенести ИИ во внутреннюю среду организациии общего развития частного ИИ, оптимизация, конечно, потребуется и процессам машинного обучения, которые потребляют много видеопамяти и других ресурсов.

Генерация видео, возможно, потребляет больше всего ресурсов в этой области. Если вы когда-либо повторно сжимали фильм или экспортировали его из видеоредактора, то знаете, какую нагрузку эта задача, не связанная с ИИ, создает для оборудования: она расходует оперативную память и циклы процессора и часто мешает использовать компьютер для других целей, если не ограничить влияние алгоритма сжатия на его работу.

Достаточно представить, в каком масштабе развитие видео ИИ повторяет эту ресурсоемкую процедуру в центрах обработки данных по всему миру. В таком масштабе даже мельчайшие улучшения сразу приобретают значение, если сложить их общий эффект.

В центре внимания — кадр

В этом контексте новая исследовательская работа из Шанхая, подготовленная совместно с JD.com (JD ), предлагает видеокодек, предназначенный не для финального рендеринга, то есть сжатия огромных исходных кадров в видеофайл меньшего размера, а для самого процесса генерации видео с помощью ИИ.

Обычный видеокодек не сохраняет каждый кадр как полное изображение. Вместо этого он создает небольшое число полных изображений, называемых I-кадрами, а затем сохраняет изменения между кадрами.

Например, если человек на видео немного двигается, кодек записывает только изменившиеся части кадра, а не всю сцену заново. Для этого используются P-кадры, получаемые из предыдущих кадров, и B-кадры, которые также могут использовать информацию из последующих кадров:

Устройство видеокодека: верхний ряд показывает последовательность кадров I, P и B. Полностью сохраняемые I-кадры показаны в полных цветах, а восстанавливаемые P- и B-кадры — бледными. Стрелки показывают использование предыдущих кадров, последующих кадров или обоих типов. Нижние панели изображают полностью сохраненный кадр (I, слева), кадр, построенный по предыдущему кадру (P, второй слева), и кадр, построенный по предыдущим и последующим кадрам (B, справа).

Повторное использование соседней информации позволяет сохранять небольшой размер видеофайлов. Большинство кадров — это не новые изображения, а инструкции, описывающие изменения относительно предыдущего кадра. Поэтому I-кадры представляют собой полные несжатые или минимально сжатые изображения, занимающие много места. Промежуточные кадры содержат лишь отличия от I-кадров и друг от друга.

Когда каждый отдельный кадр является полным несжатым изображением, фильм по сути не имеет сжатия. Двухчасовой фильм, сохраненный таким способом, потребовал бы почти терабайт дискового пространства или больше. Между тем именно так ИИ создает фильмы^† : выделяет каждому кадру одинаковое количество ресурсов и токенов, рассчитывая, как сформировать видео.

Экономия в большом масштабе

Новая работа под названием AdaCodec: A Predictive Visual Code for Video MLLMs, напротив, использует полные визуальные токены исключительно для опорных кадров (I-кадры), а все промежуточные кадры представляет в виде компактных P-токенов. Эта схема явно заимствована из традиционного сжатия обычных видеокодеков.

После такого внутреннего сжатия сгенерированное ИИ видео по-прежнему можно сжать обычным способом. Теоретически вся экономия достигается на стороне сервера:

Обзор AdaCodec. Слева видео разделено на адаптивные группы кадров. Полные I-кадры сохраняются для моментов, которые трудно предсказать, а промежуточные P-кадры представлены компактной информацией о движении и остаточном сигнале. Справа система достигает результатов Qwen3-VL-8B или превосходит их в одиннадцати тестах, сохраняет более высокую точность работы с длинными видео при разных бюджетах токенов и снижает задержку ответа, обрабатывая значительно меньше видеотокенов. Источник

Судя по опубликованным результатам испытаний AdaCodec, за такую экономию стоит побороться. В статье говорится, что при одинаковом объеме вычислений система превзошла неизмененную модель Qwen3-VL-8B во всех основных тестах. Она продолжала соответствовать ее результатам или превосходить их даже после сокращения числа видеотокенов примерно на 86%.

Авторы утверждают*:

«Мы черпаем вдохновение в предиктивном кодировании, при котором система передает ошибки предсказания вместо исходного сигнала. У этого принципа есть биологическая основа: считается, что зрительная система кодирует ошибки предсказания, то есть расхождение между ожидаемыми и наблюдаемыми входными данными, а не сами входные данные.»

«Современные видеокодеки применяют ту же идею остаточного кодирования на практике: опорные кадры передают полное содержимое, а предиктивные кадры — сигналы движения и остатка относительно опорного кадра.»

«У этих систем разные цели, но одна и та же условная структура: если соседние образцы содержат избыточную информацию, канал должен передавать то, что предсказание не может объяснить.»

«Однако стандартные кодеки оптимизированы для битовых потоков и восстановления изображения, предназначенного для просмотра человеком, а не для визуальных токенов, используемых LLM. Поэтому мы перерабатываем этот механизм в интерфейс MLLM для понимания видео.»

Новую работу написали 11 исследователей из Shanghai Jiao Tong University, Shanghai Innovation Institute и JD.com. Ее сопровождает страница проекта, а публикация исходного кода обещана.

Метод

Как уже говорилось, система не рассматривает каждый кадр как совершенно новое изображение, а ищет изменения между соседними кадрами. В левой части следующей иллюстрации небольшая область текущего кадра сопоставляется с наиболее похожей областью предыдущего кадра:

Схема AdaCodec.

Расстояние между двумя положениями становится вектором движения, а оставшиеся визуальные различия образуют остаточный сигнал. Эти компактные описания заменяют необходимость хранить полное изображение.

Справа полученная информация поступает в модель ИИ. Важные опорные кадры по-прежнему обрабатываются как полные изображения, но промежуточные кадры представлены гораздо меньшими токенами движения и остаточного сигнала . По-видимому, это позволяет модели сохранять достаточно информации для интерпретации видео, обрабатывая существенно меньше визуальных данных.

Интересная задача — решить, какие кадры стоит сохранять целиком. Традиционные видеокодеки обычно вставляют опорные кадры через равные интервалы независимо от того, нужны ли они. AdaCodec, напротив, пытается определить наиболее важные моменты.

Представьте сцену почти неподвижной беседы двух человек в квартире. Вдруг через окно врывается отряд SWAT. Сразу увеличиваются число ракурсов камеры и количество монтажных склеек, что требует гораздо больше данных, чем обеспечивает регулярный интервал между опорными кадрами:

На этом основаны методы переменного сжатия, например переменный битрейт. Они анализируют исходное видео, находят такие насыщенные изменениями участки и выделяют больше данных там, где это нужно. Это требует немалых затрат времени и ресурсов.

Если AdaCodec может точно предсказать кадр по соседним кадрам, система продолжает использовать компактные токены движения и остаточного сигнала. При существенном изменении сцены, как в примере с отрядом SWAT или в менее драматичном случае, она вставляет полный опорный кадр. Так больше доступного вычислительного бюджета можно направить на важную визуальную информацию, вместо того чтобы равномерно распределять его по всему видео.

Данные и тесты

Исследователи использовали упомянутую Qwen3-VL-8B как базовую модель и оценили AdaCodec в одиннадцати тестах, охватывающих три области понимания видео: работа с длинными видео была оценена с помощью MLVU, LongVideoBench и LVBench; понимание временных связей с помощью TempCompass, MotionBench и TOMATO; и общее понимание видео с помощью Video-MME, MVBench, NExT-QA, PerceptionTest и EgoSchema.

В исследовании протестировали следующие модели с открытым исходным кодом: InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B; и Molmo2-O-7B.

Варианты GPT-5, Gemini и Claude приведены в таблице ниже только в качестве ориентиров для сравнения. CoPE-VideoLM-7B и ReMoRa-7B — более ранние видеоязыковые модели, которые сокращают использование визуальных токенов благодаря сжатию, основанному на принципах кодеков. Это ближайшие прямые конкуренты AdaCodec:

Основные результаты в одиннадцати тестах понимания длинных видео, рассуждения о временных связях и общего понимания видео. Чем выше оценка, тем лучше результат. LVB = LongVideoBench; V-MME = Video-MME. Жирным шрифтом и подчеркиванием отмечены соответственно лучшие и вторые по величине оценки среди открытых моделей. Оценки закрытых моделей взяты из официальных отчетов, когда они были доступны; недостающие результаты получены из Molmo2 или оценены авторами.

Для корректного сравнения AdaCodec и стандартной системе Qwen3-VL-8B выделили одинаковое число визуальных токенов. Поэтому результаты отражают эффективность метода сжатия, а не различия в вычислительных ресурсах.

При самом сильном сжатии AdaCodec сократил использование визуальных токенов примерно на 86%, сохранив результаты на уровне базовой системы или немного выше в задачах работы с длинными видео, понимания временных связей и общего понимания видео.

Когда сэкономленные токены направили на обработку дополнительных кадров, результаты улучшились во всех тестах длинных видео и во всех тестах временных связей. Прирост достиг +5,4 балла в LongVideoBench и +4,3 балла в TOMATO, что дало одни из лучших результатов открытых моделей в исследовании.

Заключение

Хотя такие проекты обычно ориентированы на гипермасштабных провайдеров, подобная работа заинтересует и любителей, и малые и средние предприятия. Она может стать частью новой публичной сдержанности в отношении локального, более рационального развертывания ИИ.

Для сообществ вроде r/stablediffusion это давно знакомая практика: каждый крупный выпуск открытой модели регулярно превращают в предельно оптимизированную версию (GGUF, квантованные веса и так далее), способную при некотором терпении работать на менее мощных видеокартах.

Если показной этап этой третьей волны развития ИИ действительно закончился и если предположить, что корпорации будут отпугнуты реальными затратами на инференс, то инициативы вроде AdaCodec могут стать частью грядущей «большой оптимизации».

^† Речь не о финальном выводе видео в удобные пользователю формат и размер файла, а о внутренней генерации и сборке кадров, происходящих в модели ИИ во время инференса.

* В разумных пределах я преобразовал внутритекстовые ссылки авторов в гиперссылки.

Впервые опубликовано в четверг, 4 июня 2026 года