Штучна інтелект більше бажає читати книжку, ніж дивитися фільм

Дуже складно змусити моделі штучного інтелекту дивитися та коментувати справжній відеоконтент, навіть якщо вони призначені для цього завдання. Вони більше зацікавлені у написаному слові.

Якщо ви коли-небудь намагалися завантажити невеликий відеокліп до ChatGPT або подібної популярної моделі мови та зору, ви могли бути здивовані, що вони не можуть фактично розібрати відео. Хоча моделі, такі як ChatGPT-4o+, здатні аналізувати окремі кадри – у вигляді зображень, таких як JPEG і PNG – вони віддають перевагу тому, щоб користувачі самостійно витягували кадри та завантажували їх у вигляді зображень (які вони готові коментувати).

У випадку серії OpenAI GPT можна, досить довго, витягнути повний набір кадрів з відеокліпу та надати їх ChatGPT, наприклад, для генерування штучно створеного нарративного треку для відео:

Зображення та код з навчального посібника OpenAI про розбір декількох витягнутих кадрів для розробки штучно створеного коментаря до відеокліпу. Джерело

Але користувачеві доводиться самостійно робити конвертацію з відео у кадри, або викликаючи функції у великому рядку, як у прикладі вище, або витягуючи кадри за допомогою FFMPEG чи різних безкоштовних та платних відеоредакторів.

До певної міри, можливо навіть великої міри, обмеження на аналіз відео у великомасштабних продуктах, таких як ChatGPT, залежать від використання ресурсів: просто оснащення одної інстансу штучного інтелекту вибраною кількістю найпопулярніших відеокодеків та надання обчислювальних ресурсів для дисково- та процесорно-емної процедури витягування – це не мала справа, якщо сотні мільйонів користувачів вирішать почати використовувати ці можливості щодня.

Крім того, тимчасовий аналіз може малювати зовсім іншу картину, ніж один кадр (представіть собі людину, яка вступає до будинку у щасливому настрої, а потім знаходить тіло); тому розглянення всього тимчасового “хешу” навіть короткого відеокліпу – це складна та ресурсоємна задача – а також спеціалізована галузь наукової літератури, наприклад, у рамках розвитку таких рамок, як Optical Flow – яке фактично “розгортає” відео, щоб його можна було розглядати та обробляти як статичний документ:

Діаграми оптичного потоку підкреслюють, як рух відстежується через кадри у відеопослідовності, із зеленими векторами, які показують напрямок та інтенсивність руху. Ці відображення забезпечують тимчасову безперервність, необхідну для VLM, та можуть також служити структурованими керівництвами у роботах VFX. Джерело

Задоволення кліффнотами

Відтак, оскільки моделі, такі як Notebook LM від Google та більш недавні входи до ChatGPT, можуть читати пов’язані метадані (тобто вбудований текстовий контент, який контекстуалізує відео якимсь чином), вони не забороняють завантаження відеофайлів; і іноді вони навіть намагаються інтерпретувати відео, яке не містить жодних даних.

У наступному випадку я завантажив 6-секундний випадковий кліп з італійського фільму Рука Бога (2021) до NotebookLM, забезпечивши, щоб кліп не містив жодного корисного тексту, ані в метаданих, ані у імені файлу.

NotebookLM потім перейшла до складного вигадування матеріалу, повністю не пов’язаного з відео*, разом із безглуздим та не пов’язаним п’ятихвилинним подкастом:

Повсякденний момент у 6-секундному кліпі з італійського фільму зовсім неправильно інтерпретується NotebookLM. Джерело: Google NotebookLM

Хоча Notebook, як і ChatGPT, приймає відео з YouTube як вхідні дані, вона робить це тільки у разі, якщо відео містить інтерпретовний текстовий шар анотацій та/або субтитрів (не растрізовані субтитри, які вбудовані у відео).

Цим шляхом складна робота зі справжнього дивіння на вміст відео та виконання семантичної інтерпретації (правова необхідність для YouTube через його захист авторських прав, а також його майбутню систему захисту ідентичності), було зроблено після завантаження кліпу, коли кліп міг бути розподіленний необхідними ресурсами обробки.

Справжня інтерпретація відео – це дорогий та виснажливий процес, і, як виявилося, навіть моделі, які були спеціально навчені для виконання цієї задачі, віддають перевагу читанню тексту, аніж справжньому перегляду відео.

TL;DW

Це, згідно з новою статтею з Університету Бристоля у Великій Британії, під назвою Відео не коштує тисячу слів, у якій два автори роблять висновок, що сучасні моделі мови та зору (VLM) – моделі, призначені для аналізу відео більш зусильним способом, і для участі у відповідах на питання до відео (VQA) – також переходять до текстової інформації, коли тільки можливо.

Коли їм надавали рухомі зображення та написані питання та варіанти відповідей, автори статті виявили, що моделі зазвичай базували свої вибір на текстових узорах, а не на тому, що відбувається на екрані – у багатьох випадках виконуючи майже так само добре, навіть коли питання було повністю видалено.

У тому, що видається звичайною формою обхідного шляху або шахрайства, те, що було найважливішим для більшості моделей, було здатність виявляти узори у можливих відповідях; тільки коли завдання ставало складнішим, додаванням більшої кількості варіантів відповідей, штучний інтелект починали приділяти більше уваги відео.

Автори провели тести VQA під різними умовами для шести моделей VLM різної довжини контексту, на чотирьох підходящих наборах даних; і виявили, що результати свідчать про залежність моделей від тексту над відеоконтентом.

Приклад з дослідження, який показує, як відео-аналітична модель оцінює те, що вона бачить, порівняно з тим, що вона читає. Кліп показує людину, яка плете бамбук, але модель надає набагато більше значення написаному тексту питання та відповіді, ніж відеокадрам самих. Синій підкреслення показує елементи, які підтримують вибрану відповідь, тоді як червоний підкреслення показує ті, які тягнуть у протилежному напрямку, демонструючи, як міркування моделі центрується на тексті, а не на рухомих зображеннях. Джерело

Метод

Для розуміння того, як кожен вхідний елемент внесок до рішення моделі, нова робота використовує метод із теорії ігор, званий Shapley Values. Спочатку розроблений для справедливого розподілу винагороди серед гравців у коаліції, Shapley Values призначують кредит кожному “гравцеві” на основі його індивідуального впливу.

Ефективно, “гравці” в цьому сценарії – це або відеокадри, або текстові компоненти (анотації, субтитри, підписи тощо) завдання VQA; і “винагорода” – це остаточна відповідь моделі. Систематично тестуючи, що відбувається, коли кожна частина додається або видаляється, техніка розкриває, наскільки важливим був цей елемент для отримання вибраної відповіді.

У випадку нового проекту Shapley Values були адаптовані для обробки змішаних модальностей, з відео- та текстовими компонентами, які обробляються окремо, а їхній вплив на виходи моделей вимірюється, розкриваючи, чи відеоконтент був真正но інтерпретований, чи написані підказки використовувалися як обхідні шляхи.

Метрики

Було визначено дві прості метрики для порівняння того, як кожна модальність (тобто відео, питання чи відповідь) внесла свій внесок у рішення моделі: Внесок модальності вимірює, скільки з усього пояснення походило від кожного типу входу; тут усі доступні значення Shapley підсумовуються, а частка, що належить кожній модальності, обчислюється як відсоток від загального.

Друга, Внесок за ознакою, виправляє той факт, що деякі модальності, наприклад відео, містять набагато більше ознак, ніж інші. Замість цього середнє значення Shapley обчислюється для кожної ознаки, а ці середні значення порівнюються для визначення, яка модальність має домінуючий вплив.

Дані та тести

Автори протестували підхід на шести моделях VLM з різними характеристиками, призначеними для забезпечення того, щоб принципи тестів були досить загальними та узагальненими. Тому моделі були вибрані за різною довжиною контексту, різним віком (тобто скільки часу минуло з моменту виходу рамки) та різними конфігураціями архітектури.

Учасниками стали FrozenBiLM; InternVideo; VideoLLaMA2; VideoLLaMA3; LLaVa-Video (яка використовує Qwen2); і LongVA (також використовує Qwen2).

З тією ж метою різноманітності чотири цільові набори даних були вибрані: EgoSchema, набір даних VQA, призначений для того, щоб бути неможливим для виконання без повного перегляду пов’язаного відео; HD-EPIC, набір даних, орієнтований на кухню, який містить деякі незвично довгі відео; MVBench, кураторський збірник внесків з інших наборів даних; і LVBench, який ставить питання VQA для дуже довгих відео.

Від цих автори розробили 60 питань – по десять з кожного типу питань.

Метрики внеску зробили ясним, що більшість моделей залежали менше від відео, ніж від тексту, особливо при розгляді кадр за кадром. Навіть коли відео показувало розумну загальну внесок, його внесок за ознакою часто був мінімальним, що свідчило про те, що хоча модель могла використовувати відео в сукупності, вона приділяла мало уваги окремим кадрам. VideoLLaMA3 був основним винятком, з більшою візуальною залежністю, особливо на довших послідовностях у LVBench:

Бали внеску модальності (MC) та внеску за ознакою (PFC) по моделям та наборам даних, показуючи відносну вагу відео (V), питання (Q) та відповіді (A) входів. Більш прохолодні кольори вказують на сильніший внесок; тепліші кольори вказують на слабший або незначний вплив. У більшості налаштувань мова явно домінує, а відео часто відводиться на другий план – особливо у внеску за кадр.

Що стосується тексту, питання мали тенденцію мати більший вплив, ніж відповідь, особливо у сильніших моделях. Це було найбільш очевидним у наборах даних, таких як EgoSchema, де питання були довшими та більш природними, тоді як відповіді були короткими та іноді схематичними. MVBench частково змінив це, оскільки його двійкова структура відповідей збільшувала видимий вплив токенів відповідей.

У всіх моделях та наборах даних бачення було послідовно відведено на другий план, а мова виконувала більшу частину роботи.

У статті зазначається:

‘[Для] довгих моделей контексту відео показує суттєво зменшені внески, що означає, що за кадр значення Shapley значно менші, ніж їхні текстові аналоги.

‘Відео як ціла модальність явно все ще дуже актуальна, але це свідчить про те, що значення Shapley окремих кадрів більш центровані навколо нуля, і що увага моделі до них значно менша, ніж до тексту.’

Для перевірки того, як кожна частина входу внесла свій внесок до точності моделі, дослідники провели додаткові тести за допомогою маскування – навмисного приховування однієї або декількох частин входу та спостереження за тим, як змінюється точність моделі в результаті.

Якщо продуктивність різко падає при видаленні певного входу, цей вхід, ймовірно, важливий; якщо модель виконує приблизно так само, це свідчить про те, що відсутня частина не була сильно використана. У цьому сенсі тести маскування є певним видом ітеративного вивчення видалення.

Вплив на продуктивність маскування відео, питання чи відповіді входів по чотирьох тестах VQA. Бали показують зміну від базового рівня. Червоний означає нижчу точність, зелений – вищу. Моделі часто зберігали високі бали без відео, але втрачали більше, коли текстова відповідь була видалена. Питання можна було маскувати з мінімальним впливом.

Результати (показані вище) свідчать про те, що відповіді (текстові відповіді у даних з декількома варіантами) мають найбільший вплив у всіх випадках. Маскування відповіді зазвичай спричиняло найбільше падіння точності, часто знижуючи продуктивність моделей до майже випадкової.

Однак маскування питання зазвичай мало значно менше впливу, що підтверджує попередній висновок про те, що моделі часто недооцінюють питання.

У деяких випадках точність навіть покращувалася коли питання було видалено, що свідчить про те, що моделі іноді просто співставляли відповіді з текстовими чи візуальними підказками, а не правильно оцінювали питання.

Моделі також різнилися у своїй залежності від відео: деякі зберігали прийнятну точність без нього, що підтверджує обмежений внесок відеофункцій у багатьох поточних налаштуваннях.

Автори згодом протестували, чи можуть моделі бути змусені покладатися на відео, додавши додаткові неправильні відповіді до варіантів відповідей.

Коли відволікання були легкими та перероблені з інших питань, продуктивність покращувалася, оскільки моделі співставляли текстові узори без великого мислення. Але з десятьма чи більше не пов’язаними відповідями вони починали більше покладатися на відео та питання:

Внесок за ознакою та точність для відео, питання та відповіді входів, коли додаються додаткові неправильні відповіді до кожного тесту VQA, показуючи, що збільшення кількості відволікань зменшує домінування тексту та підвищує відносний вплив візуальних та питань ознак.

Для VideoLLaMA3 маскування відео знизило точність на 40% на EgoSchema та на 15% на LVBench, свідчачи про те, що просте збільшення кількості відповідей може змусити моделі відійти від текстових обхідних шляхів та перейти до справжньої багатомодальної логіки.

Дослідники також досліджували, як атрибуція розподіляється по входах, і нижче ми бачимо теплові карти значень Shapley для кожного входу моделі:

Теплові карти значень Shapley для чотирьох наборів даних, де кожен рядок показує один VQA-кортеж, а кожна колонка – одну ознаку. Відео-ознаки з’являються зліва, за ними текст. Більші значення у червоних регіонах підтверджують, що моделі покладаються значно більше на мову, ніж на відео.

Коментуючи результати вище, автори заявляють:

‘Величина значень Shapley значно більша у правій частині кожної теплової карти, представляючи атрибути питання та відповіді. Ця різка межа показує, де відеокадри закінчуються, а текстові ознаки починаються, демонструючи, що внесок модальності відео значно менший, ніж внесок питання/відповіді. ‘

У підсумку, по всіх наборах даних значення значно сильніші у текстовому кінці спектру, що свідчить про те, що моделі покладаються значно більше на мову, ніж на візуальні підказки. Навіть коли відео використовується, внесок розподіляється тонко по багатьох кадрах, часто без будь-якої послідовної закономірності.

Нижче ми бачимо анотований приклад з EgoSchema. 16 найбільш “важливих” кадрів були вибрані за допомогою значень Shapley та кольорові за їхнім впливом, з синім, який вказує на позитивний внесок, та червоним, який вказує на негативний:

Атрибути Shapley для одного прикладу з EgoSchema, показуючи 16 найбільш впливових кадрів та всі текстові входи. Внесок відео мінімальний порівняно з текстом, який домінує у міркуванні моделі. Синій та червоний кольори вказують на позитивний та негативний вплив на вибрану відповідь.

Результатом є те, що майже кожен кадр має лише слабкий вплив порівняно з словами у питаннях та відповідях. Візуальні підказки рідкісні та несумісні, тоді як іменники, такі як “стілець” та “паркан”, спрямовують модель до правильного вибору – або від нього, залежно від контексту.

Висновок

Хто б не займався відеомонтажем чи відеоаналізом, знає, наскільки ресурсоємкими ці процеси є, і зрозуміє, чому компанії, які обробляють мільйони запитів штучного інтелекту щодня, не можуть дозволити собі бездумно дозволяти користувачам виконувати відеообробку та інтерпретацію.

Одна річ, яку слід пам’ятати в цьому контексті, полягає в тому, що майже кожен API-інтерфейс штучного інтелекту, з яким ви коли-небудь працюватимете (за можливим винятком короткочасної демонстрації на підтримку нової наукової роботи), намагається виконувати бажання користувачів на мінімально можливому рівні витрат ресурсів.

Це означає використання наявних метаданих з даних користувача або RAG-збережень, якщо це можливо; і витягування (якщо абсолютно необхідно) метаданих для більш розбірливих форматів, таких як PDF, документи та окремі зображення.

Що не знаходиться в порядку денному, це проходження завантаженого вами відео через CLIP або останній реліз YOLO, або через будь-яку енергозатратну та тривалу VLM, яка може真正но ідентифікувати, що знаходиться у кадрах, та зрозуміти, що відбувається у наданому відео, враховуючи тимчасові фактори.

Однак це не означає, що явище, яке документується у поточній статті, обов’язково випливає з парціальних архітектурних підходів. Автори відзначають, що текст домінує у сучасних багатомодальних парадигмах навчання, що свідчить про те, що “візуальна мова” менш розвинена, менш важлива чи інформативна у багатомодальному контексті, або (наразі) менш добре зрозуміла,

* Цікаво, що матеріал, який NotebookLM створила, видається повністю оригінальним або повністю неіндексованим Google, оскільки я не можу знайти жодних результатів, які могли б проникнути у навчальні дані та спровокувати цей висновок.

Перша публікація – п’ятниця, 31 жовтня 2025 року; відредаговано 14:20 для форматування