У пошуках штучного ІІ, який може слідувати за цілим фільмом

Моделі штучного інтелекту все ще втрачають слід про те, хто є хто і що відбувається у фільмі. Нова система оркеструє розпізнавання облич та сценарну підсумкову обробку, зберігаючи персонажів прямо, і сюжети узгоджені протягом повнометражних фільмів.

Отримання штучного інтелекту для перегляду та розуміння голлівудських фільмів може здатися нішею або маргінальним заняттям; але система, яка може переглянути повнометражний фільм від початку до кінця, відстежувати прогрес усіх персонажів і залишатися на вершині сюжету, не тільки зробила можливим ряд прямих застосунків, які могли б виграти від таких можливостей, але також ряд периферійних або не пов’язаних викликів, у різних галузях.

Низько висячий плід для моделей штучного інтелекту для перегляду фільмів – системи рекомендацій, на платформах потокового відео, таких як Netflix, Amazon Prime і HBO Max. Гранульований розуміння розвитку сюжету та дій персонажів дозволяє зробити ближчий матч до (часто спекулятивних) уподобань та ентузіазму глядачів.

Крім того, глибше розуміння фільму дозволяє генерацію ключових слів та більш точну категоризацію, а не підтримку часто копійованих описів фільмів, які могли бути написані десятиліття тому. Такі знання також можуть виявити присутність “дорослих” тем у фільмі, які можуть не бути очевидними з діалогу чи візуальних ефектів.

Додатково, старі фільми в каталозі можуть мати застарілі рейтинги, а також огляди; наприклад, мова та ідіоми, які були нормалізовані у фільмі 1950-х років можуть вимагати значно більше уваги зараз. Але без загального розуміння контексту, отриманого з真正ого слідування довгій кінематографічній розповіді, такі інциденти могли б бути пере- або недооцінені.

Більше широко, покращені підходи до аналізу фільмів могли б суттєво внесли свій внесок у значно ширший проблему визнання подій, яка вкрай необхідна для інновацій у моніторингу безпеки, автоматичних спортивних коментарів та підсумків усіх видів, у всіх видах медіа.

Отже, “штучний інтелект для перегляду фільмів” – це досить популярна тема у літературі з комп’ютерного зору.

Глобальна картина

Останнім учасником є MovieTeller – академічно-промислова співпраця з Китаю, яка робить новий крок вперед, розділяючи різні підзадачі у виклику по різних додатках штучного інтелекту, які підходять для цих викликів, замість того, щоб, як часто буває, намагатися навчати дискретні та інкапсульовані моделі, які можуть виконувати всі необхідні завдання з одного латентного простору.

Автори спостерігають, що попередні моделі бачення-мови (VLMs) з таким же завданням не змогли просунутися далеко за рамки аналізу окремих кадрів; і що їхня відсутність контексту робить важким для таких моделей постійно ідентифікувати персонажів – можливо, найважливішу характеристику такої системи:

Нова система, MovieTeller, здатна постійно ідентифікувати людей у сценах, завдяки використанню спеціальної системи розпізнавання облич; але це більш загальне присвячення контексту дозволяє цій системі залишатися на вершині розвитку сюжету. Джерело

Автори заявляють:

‘Загальні моделі бачення-мови часто борються з розпізнаванням та постійним відстежуванням конкретних персонажів протягом довгої розповіді. Вони можуть описувати ключового протагоніста як “чоловіка” в одній сцені та “людину” в іншій, не зв’язуючи візуальне представлення з постійною ідентичністю.’

Автори відзначають, що через те, що механізм самоуваги трансформерів використовує квадратичну складність, обробка кожного кадру повнометражного фільму одночасно стає надто обчислювально дорогою. Через це підходи, які покладаються на уніформне вибіркове зображення або просте конкатенування, схильні розбивати потік історії, виробляючи фрагментовані підсумки замість узгодженого нарративу.

Натомість нова система складається з оркестрованого безтренувального конвеєра, з спеціальними інструментами для звернення до розпізнавання облич та збереження пам’яті (як персонажі залишають і повертаються у розповідь фільму).

MovieTeller був протестований проти попередніх підходів за допомогою 60 повнометражних фільмів, еквівалентних 10 000 хвилин відео. У кількісних абляційних тестах та дослідженнях людини автори повідомляють, що їхній підхід зміг суттєво покращити на стандартних середовищах та припущеннях, використовуваних попередніми системами.

Новий документ називається MovieTeller: інструментально посилене резюме фільму з прогресивною абстракцією, і походить від п’яти авторів з Університету Чжецзяна в Ханчжоу, державно-керованої групи China Media Group та Watch AI Group* (останні дві розташовані в Пекіні).

Метод

Схема MovieTeller складається з трьох стадій: сегментація сцен та видобуток ключових кадрів, які обробляються через PySceneDetect проект; генерація фактично-заснованого опису сцени через налаштування Qwen2.5-VL-7B-Instruct VLM; і прогресивна абстракція, яка конденсує детальні описи сцен у підсумкові розділи, а потім у повний узгоджений нарратив – і це також виконується моделлю Qwen2.5:

Огляд схеми MovieTeller: повнометражний фільм спочатку сегментується на сцени та відфільтровується у високоякісні ключові кадри; потім зовнішній інструмент розпізнавання облич вводить фактичні основи, пов’язуючи імена персонажів з обмежувальними рамками, які керують моделлю бачення-мови у генерації ідентично-узгоджених описів сцен. Ці описи потім прогресивно абстрагуються у підсумкові розділи та інтегруються у повний узгоджений нарратив фільму.

Перша стадія використовує PySceneDetect для розбиття фільму на окремі сцени, засновані на чітких візуальних змінах, з кожною сценою, представленою одним ключовим кадром.

Однак, не кожен кадр робить добру підсумкову картинку, оскільки перехідні моменти, затухання та темні кадри можуть заплутати пізнішу обробку. Тому проста перевірка якості виконує фільтр на кандидатських кадрах, вимірюючи яскравість та візуальну варіацію, забезпечуючи, щоб тільки інформаційно-багаті зображення були вибрані для опису.

Розміщення обличчя

База даних облич була створена з публічно доступної інформації про акторський склад^†, зберігаючи ім’я кожного головного персонажа поряд з числовим вбудовуванням обличчя^†. Коли обличчя з’являється у ключовому кадрі, його вбудовування порівнюється з базою даних, і найближчий результат приймається, якщо він перевищує поріг впевненості. Це створює “фактичні основи”, пов’язуючи імена з конкретними обмежувальними рамками.

Для цих цілей використовується InsightFace, який використовує ArcFace втрату на основі розпізнавання:

Два знайомі обличчя, добре запам’ятовані ініціативою Additive Angular Margin Loss (ArcFace), використовується дуже схожим чином для проекту MovieTeller. Джерело

Позначені ключові кадри потім передаються моделі Qwen з підказкою, яка перелічує виявлені персонажів та їхні позиції.

Оскільки моделі бачення-мови не можуть поглинути весь повнометражний фільм за один раз, MovieTeller спочатку розбиває матеріал на описи сцен. Ці описи групуються у послідовні, подібні до розділів, блоки, які потім передаються моделі Qwen2.5, яка підсумовує кожен розділ, стискаючи розвиток сюжету, мотивацію персонажів та точки повороту, зберігаючи при цьому раніше підтверджені імена персонажів.

Ці стиснуті підсумкові розділи потім конкатенуються та повертаються моделі з новою підказкою, яка просить повний нарратив:

Зразок шаблону підказки, використаного для генерації описів сцен, явно вводячи підтверджені імена персонажів та обмежувальні рамки для моделі бачення-мови, та забезпечення узгодженого нарративу.

Дані та тести

Для тестування системи автори створили спеціальний (і джерело-неатрибутирований) набір даних з 100 повнометражних фільмів, еквівалентних приблизно 166 годинам відео. У фільмах були включені Людина-Залізо 3, Прощай, моя наложниця, Їж, пий, чоловік, жінка та Хроніки Нарнії. Дослідники вимагали, щоб усі включені фільми мали рейтинг вище 5,0 на IMDB:

Склад набору даних по 100 фільмам, показуючи збалансоване тимчасове покриття з 1992 по 2025 рік, незначну більшість неангломовних назв, та широкий жанровий спектр, очолюваний драмою та бойовиками, з представництвом у науковій фантастиці, жахах, комедії, романі та історії.

Широкий спектр жанрів (див. графік вище) був розроблений для запобігання упередженості до якогось одного жанру.

Набір даних облич для кожного фільму складався з двох зображень головних акторів – одного з кадру фільму та одного з пов’язаного публічного зображення.

Реалізований на Python, тести були проведені на чотирьох графічних процесорах NVIDIA A40, кожний з 48 ГБ відеопам’яті, та з вищезгаданою моделлю Qwen2.5 як центральною VLM. Абляційні дослідження^†† також були проведені з альтернативними моделями стану мистецтва InternVL3-8B та WeThink-Qwen2.5VL-7B.

Нова система була протестована проти двох абляційних^†† варіантів: Без підказки базового варіанту, у якому модель бачення-мови генерувала описи сцен лише з ключового кадру, без будь-яких текстових підказок про імена персонажів; та Тільки імена підказки установки, де моделі були дані виявлені імена персонажів, але не їхні обмежувальні рамки, що дозволило авторам ізолювати конкретний внесок просторового ґрунтування до узгодженості ідентичності та узгодженості нарративу

Відносно метрик, враховуючи вищезгадану складність застосування методів ґрунтових істин до довгих підсумків, стандартні метрики перекриття n-грамів, такі як ROUGE та BLEU, були відкинуті на користь BERTScore з F1-оцінкою, для вимірювання семантичної схожості проти порівняльного нарративу, взятого з “публічної енциклопедії”.

Також було використано Gemini 2.5 Flash для оцінки кожного нарративу за фактичною вірністю; узгодженістю ідентичності та повнотою; узгодженістю нарративу та потоком; та лаконічністю, з оцінками, усередненими по вимірам.

Нарешті, людська оцінка 50 випадково вибраних підсумків була проведена за допомогою парної порівняльної оцінки, забезпечуючи практичну перевірку автоматичних оцінок.

Нижче ми бачимо результати BERTScore (F1) для трьох моделей: Qwen2.5-VL, InternVL3 та WeThink. Кожна з них тестується у трьох конфігураціях: Без підказки, Тільки імена підказки та повна система MovieTeller:

Порівняльний BERTScore (F1) по трьом базовим моделям бачення-мови та трьом експериментальним налаштуванням, показуючи постійні виграші від додавання імен персонажів та подальших покращень при включенні просторового ґрунтування, з MovieTeller, який досягає найвищих оцінок у всіх випадках.

Автори відзначають, що цей шаблон є постійним у всіх трьох базових моделях: використання лише сирого ключового кадру дає найслабший результат; додавання імен персонажів дає помірне покращення; та поєднання імен з обмежувальними рамками дає найкращі результати. Хоча виграші є інкрементальними, а не драматичними, повністю ґрунтована конфігурація досягає найвищої семантичної узгодженості з порівняльним нарративом у всіх випадках.

Відносно оцінки якості нарративу на основі великих мовних моделей: як ми бачимо у нижніх результатах, Без підказки базовий варіант найбільш бореться з узгодженістю ідентичності, що знижує його загальну оцінку; але надання лише імен персонажів дає помітний підйом, особливо на вимірах, пов’язаних з ідентичністю. Однак повна система MovieTeller знову займає найвищу позицію у всіх трьох базових моделях:

Оцінка LLM (1-5 шкала) по трьом базовим моделям, показуючи, що додавання імен персонажів покращує узгодженість ідентичності та загальну якість, тоді як повна система MovieTeller досягає найвищих оцінок за фактичну вірність, узгодженість, лаконічність та кінцеву оцінку.

Найсильніші виграші спостерігаються в узгодженості ідентичності, та у кінцевій середній оцінці, що свідчить про те, що просторове ґрунтування допомагає моделі залишатися чіткою щодо того, хто робить що під час розвитку сюжету.

У людській оцінці 50 випадково вибраних підсумків учасники бачили три підсумки одночасно та просили вибрати найкращий:

Оцінки людської переваги у тристоронньому примусовому порівнянні, показуючи, що повністю ґрунтовані підсумки MovieTeller вибрані найчастіше у всіх трьох базових моделях, суттєво перевершуючи обидва варіанти: Без підказки та Тільки імена підказки.

Нарешті, був проведений якісний тест на фільмі Булька, яка зникла (2012):

Ми не можемо відтворити весь цей графік з оригінальної статті, оскільки він дуже високий та текстово-густий. Будь ласка, зверніться до джерела статті.

Тут Без підказки базовий варіант генерує розмитий нарратив, який посилається на персонажів у загальних термінах, та розмитість їхніх ролей, робить ланцюг подій важчим для слідування. Надання лише імен персонажів покращує поверхневу пам’ять, але нарратив все ще дрейфує, з описами відносин персонажів та мотивацій у досить “сплеснутих” термінах.

Натомість повна система MovieTeller зберігає стабільність ідентичностей протягом всього нарративу та зв’язує дії з правильними персонажами, дозволяючи слідувати за розслідуванням з чіткою каузальною структурою. Конкретні напруження та динаміка ролей зберігаються, а не абстрагуються, що призводить до підсумку, який читається як узгоджений нарратив центральної арки фільму:

Частина кінцевого порівняння, яке ми не можемо повністю відтворити тут, показуючи абляційний та повний нарратив MovieTeller. Будь ласка, зверніться до джерела статті.

Висновок

Хоча більшість нових проектів такого типу закінчуються у літературі з комп’ютерного зору, генерація нарративу фільму штучним інтелектом охоплює багато інших дисциплін та галузей у дослідженні штучного інтелекту – і важко сказати, яка з них випадково внесе відсутню частину пазла; хоча MovieTeller робить крок у правильному напрямку, розділяючи завдання по відповідним модулям, а не сподіваючись вирішити все дискретно у латентному просторі, він зберігає “зібрано-разом” відчуття, яке зазвичай передує пізнішому, більш елегантному рішенню.

* Я не можу ідентифікувати цю установу, навіть після деяких пошуків.

^† Хоча можна припустити щось на зразок IMDB або OMDB, але джерело не вказано.

^†† Будь ласка, зверніться до джерела статті для повного абляційного дослідження, оскільки ми розглядаємо лише повне абляційне дослідження у виняткових випадках. Я відзначу, що не оброблені абляційні дослідження, згадані тут, не підірвають загальні висновки статті.

Перше опубліковано п’ятниця, 27 лютого 2026 року