Виклик субтитрування відео зі швидкістю понад 1 кадр за секунду

Спроможність систем машинного навчання розпізнавати події, які відбуваються всередині відео, є важливою для майбутнього генерації відео на основі штучного інтелекту – не в останню чергу тому, що відеодані вимагають точних субтитрів для створення моделей, які відповідають запитам користувача і не надміру галюцинують.

Приклад схеми субтитрування з проекту VidReCap від Google. Джерело: https://sites.google.com/view/vidrecap

Ручне субтитрування великої кількості відео, необхідної для ефективних навчальних наборів даних, є нереальним завданням. Хоча можливо тренувати системи штучного інтелекту для автоматичного субтитрування відео, все ж таки потрібна велика кількість прикладів, створених людиною, як основа для різноманітності та покриття.

Що ще важливіше, майже всі сучасні моделі субтитрування відео на основі штучного інтелекту працюють зі швидкістю 1 кадр за секунду, яка не є достатньо щільною для розпізнавання змін у багатьох сценаріях: швидких мікроекспресивних змін для систем розпізнавання емоцій; швидких подій у високошвидкісних видах спорту, таких як баскетбол; швидких рухів; швидких монтажних переходів у драматичних фільмах, де системи типу PySceneDetect можуть не виявити їх (або не використовуються); та багатьох інших сценаріїв, де вікно уваги явно повинно бути більш інтенсивним.

Натисніть, щоб відтворити. Швидка, але життєво важлива дія у одному з найповільніших видів спорту світу, коли Алекс Хіггінс виграє чемпіонат світу проти Рея Ріардона у 1982 році. Джерело: https://www.youtube.com/watch?v=_1PuqKno_Ok

Швидко рухатися та ламати логіку

Ця низька швидкість є стандартом через різні логістичні причини. По-перше, субтитрування відео – це ресурсоємна діяльність, як при вивченні однієї послідовної кадру за раз, так і при використанні різних методів для семантичної узгодженості послідовності кадрів у субтитровану послідовність. У будь-якому випадку вікно контексту обмежене апаратними обмеженнями.

Іншою причиною того, що 1 кадр за секунду є поточним стандартом, є те, що відео зазвичай не наповнені швидкими подіями; тому надлишковим було б надавати тим самим 300 кадрам статичного столу для снукеру таку саму увагу, як і моменту, коли чорний шар потрапляє у лузу та виграє чемпіонат (див. приклад вище).

Можливо використовувати широкі вторинні сигнали для визначення ключових моментів у відео спорту, наприклад, тривалу реакцію натовпу на швидкий слем-данк у баскетбольній грі. Однак такі підказки можуть траплятися з інших причин (наприклад, несподівані травми гравців), і на них не можна покладатися. Це один із прикладів того, як помилково позначене відеодані можуть привести до генерації відеомоделі, яка галюцинує або неправильно інтерпретує інструкції, тобто модель може показати травму гравця, коли її просили згенерувати слем-данк (оскільки «вторинна підказка» натовпу була не виняткова для конкретного типу події).

Це в багатьох аспектах «бюджетна» проблема, а в інших аспектах – процедурна проблема. До сих пір рамки працювали на принципі, що розріджені ключові кадри можуть ефективно захопити основну інформацію, але це більш ефективно для встановлення жанру та інших аспектів предмета відео, оскільки докази в цьому випадку зберігаються протягом кількох кадрів.

F-16

Нова стаття з Китаю пропонує рішення у вигляді першої багатомодальної великомасштабної мови моделі (MLLM, або просто LLM), яка може аналізувати відео зі швидкістю 16 кадрів за секунду замість стандартної швидкості 1 кадр за секунду, уникając при цьому великих недоліків збільшення швидкості аналізу.

У тестах автори стверджують, що нова система, названа F-16, перевершує власні пропріетарні моделі стану мистецтва, такі як GPT-4o та Google’s Gemini-1.5 pro. Хоча інші сучасні моделі могли дорівнювати або перевершувати результати F-16 у випробуваннях, конкуруючі моделі були значно більші та незграбніші.

Хоча F-16 була навчена на деякому серйозному апаратному забезпеченні (як ми розглянемо далі), інференція зазвичай значно менш вимоглива, ніж навчання. Тому ми можемо сподіватися, що код (обіцяний для найближчого випуску) буде здатний працювати на середньому або високому рівні домашніх GPU.

Що потрібно для життєвості сцени хобі (та професійної сцени VFX, більшість часу) – це модель субтитрування відео цього типу, яка може працювати, можливо, квантована, на споживчій системі, щоб вся сцена генерації відео не перейшла до API-орієнтованих комерційних систем або не змусила споживачів підключити локальні рамки до комерційних онлайн-сервісів GPU.

Поза масштабуванням

Автори відзначають, що такий підхід є практичною альтернативою масштабуванню наборів даних. Також можна зробити висновок, що навіть якщо ви будете кидали більше даних на проблему, це все ж таки буде підхід, який міг би бути переважним, оскільки нова система розрізняє події більш детально.

Вони заявляють:

‘Низька частота кадрів може призвести до втрати критичної візуальної інформації, особливо у відео з швидко змінюваними сценами, складними деталями або швидкими рухами. Крім того, якщо ключові кадри пропущені, а модель навчена на мітках, які залежать від інформації ключових кадрів, вона може мати труднощі з узгодженням своїх передбачень з очікуваним вмістом, що потенційно може привести до галюцинацій та погіршення продуктивності…

‘… F-16 досягає найкращої продуктивності серед моделей такого самого розміру та демонструє явну перевагу у високошвидкісному розумінні відео, перевершуючи пропріетарні моделі, такі як GPT-4o. Ця робота відкриває нові напрямки для вдосконалення високошвидкісного відео у дослідженні багатомодальних LLM.’

Нова стаття називається «Поліпшення розуміння відео LLM зі швидкістю 16 кадрів за секунду», і вона надходить від восьми авторів з Університету Цінхуа та ByteDance.

Метод

Оскільки послідовні кадри часто містять надлишкову інформацію, F-16 застосовує високошвидкісний алайнер для стиснення та кодування ключових рухових деталей, зберігаючи візуальні семантики. Кожен кадр спочатку обробляється попередньо натренованим кодувальником зображень, який витягує представлення функцій перед тим, як передати їх до алайнера на основі лінійних одиниць помилки Гаусса (GELU).

Архітектура F-16 обробляє відео зі швидкістю 16 кадрів за секунду, захоплюючи більше кадрів, ніж традиційні моделі з низькою частотою кадрів, а її високошвидкісний алайнер зберігає візуальні семантики, ефективно кодуючи рухові динаміки без додавання додаткових візуальних токенів. Джерело: https://arxiv.org/pdf/2503.13956

Для ефективного оброблення збільшеної кількості кадрів F-16 групує кадри у невеликі вікна обробки, об’єднуючи візуальні функції за допомогою тришарового перцептрона (MLP), що допомагає зберегти лише найважливіші рухові деталі, зменшуючи непотрібне дублювання, а також зберігаючи часовий потік дій. Просторічний шар максимуму далі стискає кількість токенів, зберігаючи обчислювальні витрати в межах.

Оброблені відеотокени потім подаються у Qwen2-7B LLM, яка генерує текстові відповіді на основі витягнутих візуальних функцій та заданого користувачем запиту.

Отримуючи відеовхід таким чином, F-16 дозволяє, як стверджують автори, більш точне розпізнавання подій у динамічних сценах, зберігаючи при цьому ефективність.

Коротка версія

F-16 розширює попередньо натренований образовий LLM, LLaVA-OneVision, для обробки відео шляхом трансформації його візуальної входної труби. Хоча стандартні образові LLM обробляють окремі кадри, високошвидкісний алайнер F-16 переформатує кілька кадрів у форму, яку модель може більш ефективно обробляти; це уникнення перевантаження системи надлишковою інформацією при збереженні ключових рухових сигналів, необхідних для точного розуміння відео.

Для забезпечення сумісності зі своєю основою F-16 повторно використовує попередньо натреновані параметри, перебудовуючи свій алайнер у субматриці. Цей підхід дозволяє йому інтегрувати знання з моделей окремих кадрів, адаптуючись до послідовного відеовходу.

Алайнер спочатку стискає послідовності кадрів у формат, оптимізований для LLM, зберігаючи найінформативніші функції та викидаючи непотрібні деталі. Архітектурний дизайн дозволяє системі обробляти високошвидкісне відео, зберігаючи при цьому обчислювальні витрати під контролем, що, на думку авторів, свідчить про те, що масштабування не є єдиним (або найкращим) шляхом для субтитрування відео.

Зміна темпу

Оскільки обробка відео зі швидкістю 16 кадрів за секунду покращує розуміння руху, але збільшує обчислювальні витрати, особливо під час інференції, F-16 вводить метод декодування із змінною частотою кадрів, що дозволяє їй динамічно регулювати частоту кадрів без перезнавчення.

Одиничний кадр та високошвидкісний алайнер, доступні для F-16.

Ця гнучкість дозволяє моделі працювати ефективно на нижчих частотах кадрів, коли висока точність не потрібна, і зменшує обчислювальні витрати.

Під час тестування, коли вибрана нижча частота кадрів, F-16 повторно використовує попередньо натреновані параметри алайнера, повторюючи вхідні кадри для відповідності очікуваним розмірам. Це забезпечує можливість моделі обробляти відео ефективно без зміни своєї архітектури.

На відміну від наївного дownsampling (тобто простого видалення кадрів), яке ризикує втратити критичні рухові деталі, цей метод зберігає навчені рухові представлення алайнера, зберігаючи точність навіть при зменшенні частоти кадрів. Для загального розуміння відео встановлення нижчої частоти кадрів може прискорити інференцію без значної втрати продуктивності, а високошвидкісний руховий аналіз все ж таки може використати повну можливість 16 кадрів за секунду.

Дані та тести

Розроблена на основі Qwen2-7B, FP-16 розширює LLaVA-OneVision за допомогою SigLIP як кодувальника зображень. З відеокадрами, вибраними зі швидкістю 16 кадрів за секунду, можна отримати до 1760 кадрів з кожного відео. Для довших відеокліпів кадри були вибрані рівномірно (тобто рідше).

Для навчання F-16 використовувала ті ж загальні відеодані, що й LLaVA-Video, включаючи LLaVA-Video-178K, NExT-QA, ActivityNet-QA та PerceptionTest.

F-16 також була додатково дообучена на високошвидкісних спортивних наборах даних FineGym, Diving48 та SoccerNet. Автори також підготували колекцію з 276 ігор НБА, зіграних між 13 та 25 листопада 2024 року, зосередившись на тому, чи був успішним постріл, використовуючи набір тестів NSVA, оцінений за допомогою F1-бали.

Модель була оцінена за допомогою набору тестів NSVA, а продуктивність вимірювалася за допомогою F1-балів.

Моделі гімнастики та стрибків у воду оцінювалися за точністю розпізнавання подій, тоді як моделі футболу та баскетболу відстежували передачі та результати пострілів.

Модель була навчена протягом 1 епохи за допомогою 128 GPU NVIDIA H100 (при стандартних 80 ГБ оперативної пам’яті на GPU це означало використання 10,24 терабайтів оперативної пам’яті GPU; навіть за сучасними стандартами це найпотужніша кластерна система GPU, з якою я особисто зустрічався під час ознайомлення з літературою комп’ютерного зору). Використовувався крок навчання 2×10⁻⁵ під час навчання.

Крім того, LoRA була дообучена на спортивних даних за допомогою адаптерів LoRA з 64 GPU протягом 5 епох. Тут тільки LLM була навчена, залишаючи кодувальник зображень замороженим.

Противні рамки, протестовані у першому раунді для «загального розуміння відео», були GPT-4o; Gemini-1.5-Pro; Qwen2-VL-7B; VideoLLaMA2-7B; VideoChat2-HD-7B; LLaVA-OV-7B; MiniCPM-V2.6-8B; LLaVA-Video-7B; та NVILA-7B;

Моделі були оцінені на Video-MME; VideoVista; TemporalBench; MotionBench; Next-QA; MLVU; та LongVideoBench.

Порівняння результатів відео-QA серед моделей, що показують обмеження частоти кадрів та продуктивність на кількох бенчмарках. F-16 досягає найкращої продуктивності серед 7B-моделей на Video-MME, NQA, TPB та MB, конкуруючи з пропріетарними моделями, такими як GPT-4o та Gemini-1.5-Pro.

З цих результатів автори заявляють:

‘На наборах даних Video-MME Short, Medium та NeXT-QA – кожен з яких призначений для короткого розуміння відео – наш модель перевершує попередню 7B SOTA-модель на 3,2%, 1,0% та 0,9% за точністю, підкреслюючи свою сильну продуктивність на коротких відео.

‘Для бенчмарків, що оцінюють довге розуміння відео, таких як Video-MME Long, LongVideoBench та MLVU, виклик більший через рідше вибір кадрів, що призводить до того, що кадри всередині вікна обробки демонструють більш значущі варіації.

‘Це збільшує складність для модального алайнера ефективно кодувати тимчасові зміни в межах обмеженого токенного представлення. Як наслідок, F-16 переживає певний спад продуктивності порівняно з [LLaVA-Video-7B], яка навчена на тому ж відеодані.’

Високошвидкісна обробка F-16, продовжують автори, також призвела до покращення на 13,5% на TemporalBench та на 2,5% на MotionBench порівняно з існуючими 7B-моделями, і показала продуктивність на рівні з комерційними моделями, такими як GPT-4o та Gemini-1.5-Pro.

Високошвидкісне відео спорту

F-16 була протестована на наборах даних FineGym, Diving48, SoccerNet та NBA для оцінки її здатності розуміти високошвидкісні спортивні дії.

За допомогою 10 000 ручних анотацій кліпів НБА навчання було зосереджено на русі м’яча та діях гравців, а також на тому, чи може модель правильно визначити, чи був постріл успішним, використовуючи набір тестів NSVA, оцінений за допомогою F1-балів.

<img class=" wp-image-214092" src="https://www.unite.ai/wp-content/uploads/2025/03/table-2-4.jpg" alt="Результати аналізу високошвидкісного спортивного відео. F-16 із високошвидкісним алайнером показала кращу продуктивність, ніж її низькочастотний аналог у всіх спортивних завданнях. GPT-4o та Gemini-1.5-Pro також були оцінені на NBA та SoccerNet QA, де не було необхідного знання в області." width="679" height="243" /> Результати аналізу високошвидкісного спортивного відео. F-16 із високошвидкісним алайнером показала кращу продуктивність, ніж її низькочастотний аналог у всіх спортивних завданнях. GPT-4o та Gemini-1.5-Pro також були оцінені на NBA та SoccerNet QA, де не було необхідного знання в області.”

На FineGym, який вимірює розпізнавання дій у гімнастиці, F-16 показала результат на 13,8% кращий, ніж попередня 7B SOTA-модель, демонструючи покращене розуміння руху.

Diving48 вимагала ідентифікації складних рухових послідовностей, таких як стадії старт, сальто, скручування та політ, і F-16 показала вищу точність у розпізнаванні цих переходів.

Для SoccerNet модель аналізувала 10-секундні кліпи, ідентифікуючи передачі м’яча, і результати показали покращення порівняно з існуючими 7B-моделями, вказуючи на те, що вищу частоту кадрів сприяє відстеженню малих та швидких рухів.

У наборі даних НБА здатність F-16 визначати результати пострілів наблизилася до точності більших пропріетарних моделей, таких як GPT-4o та Gemini-1.5-Pro, що свідчить про те, що вищу частоту кадрів покращує її здатність обробляти динамічні рухи.

Змінна частота кадрів

F-16 була протестована при різних частотах кадрів для вимірювання її адаптивності. Замість перезнавчення вона обробляла нижчі частоти кадрів, повторюючи кадри для відповідності структури алайнера. Цей підхід зберегла більше продуктивності, ніж просте видалення кадрів, яке схильне до втрати точності.

Результати показують, що хоча зниження частоти кадрів мало певний вплив на розпізнавання руху, F-16 все ж таки перевершувала низькочастотні моделі та зберегла сильні результати навіть нижче 16 кадрів за секунду.

Ліворуч: часові витрати різних модулів F-16 під час інференції, виміряні на 300 відео з набору Video-MME Long при різних частотах кадрів та довжинах послідовностей. Праворуч: порівняння продуктивності моделей Video-MME при різних частотах кадрів. Тверда лінія представляє моделі, навчені та протестовані на тих же частотах кадрів, тоді як пунктирна лінія показує продуктивність, коли модель, навчена на 16 кадрах за секунду, тестується на нижчій частоті кадрів.

Високошвидкісна обробка F-16 збільшила обчислювальні витрати, хоча її алайнер допоміг керувати цими витратами, стискаючи надлишкові візуальні токени.

Модель вимагала більше FLOPs на відео, ніж моделі з нижчими частотами кадрів, але також досягла кращої точності на токен, що свідчить про те, що її стратегії вибору кадрів та стиснення токенів допомогли компенсувати додаткові обчислення.

Висновок

Важко переоцінити важливість цього конкретного напрямку досліджень – особливо цього року, який має стати проривним роком для генерації відео, підкреслюючи недоліки кураторства відеоданих та якості субтитрування в гострому світлі.

Також слід підкреслити, що проблеми, пов’язані з отриманням точних описів внутрішніх деталей відео, не можна вирішити виключно шляхом збільшення кількості відео, часу або дискового простору. Метод, яким події ізолюються/виділяються з довгих і нудних відеокліпів (наприклад, кліпів з гольфом або снукером), буде вигідним від переосмислення семантичних підходів та механізмів, які зараз домінують у рішеннях стану мистецтва – оскільки деякі з цих обмежень були встановлені в часи, коли ресурси були біднішими.

(між іншим, навіть якщо 16 кадрів за секунду здається дуже низькою частотою кадрів для 2025 року, цікаво відзначити, що це також є рідною швидкістю навчання відеокліпів, використаних у дуже популярній моделі генерації відео Wan 2.1, і швидкістю, з якою вона працює з найменшим числом проблем. Сподіваємося, дослідницька спільнота буде стежити за можливою «ентропією стандартів» тут; іноді застарілі обмеження можуть визначити майбутні стандарти)

Опубліковано вперше у середу, 19 березня 2025 року