Погляд Anderson

У пошуках штучного інтелекту, який може стежити за цілим фільмом

Martin Anderson
Додайте Unite.AI до бажаних джерел у Google
AI-generated illustration (GPT-1.5) depicting a POV of a Steenbeck flatbed editing table as robot hands examine celluloid footage of a love scene from an old movie.
Ключові моментиMovieTeller використовує спеціалізоване розпізнавання облич та покрокове узагальнення…
Показати більше
  • MovieTeller використовує спеціалізоване розпізнавання облич та покрокове узагальнення для відстеження персонажів у всьому фільмі.
  • Оркестрований конвеєр системи подолав обмеження Transformer, розділяючи фільми на сцени та глави.
  • Людські оцінки показали, що обґрунтовані ідентичності персонажів створюють більш зв'язні розповіді, ніж підходи лише з іменами або без підказок.

Моделі штучного інтелекту все ще втрачають слід про те, хто є хто і що відбувається у фільмі. Нова система оркеструє розпізнавання облич та поетапне підсумовування, зберігаючи чітку ідентифікацію персонажів, і сюжети узгоджені протягом повнометражних фільмів.

 

Отримання штучного інтелекту для перегляду та розуміння голлівудських фільмів може здатися нішею або маргінальним заняттям; але система, яка може переглянути повнометражний фільм від початку до кінця, відстежувати прогрес усіх персонажів і залишатися на вершині сюжету, не тільки зробила можливим ряд прямих застосунків, які могли б виграти від таких можливостей, але також ряд периферійних або не пов’язаних викликів, у різних галузях.

Низько висячий плід для моделей штучного інтелекту для перегляду фільмів – системи рекомендацій, на платформах потокового відео, таких як Netflix, Amazon Prime і HBO Max. Детальне розуміння розвитку сюжету та дій персонажів дозволяє зробити ближчий матч до (часто спекулятивних) уподобань та ентузіазму глядачів.

Крім того, глибше розуміння фільму дозволяє генерацію ключових слів та більш точну категоризацію, а не підтримку часто копійованих описів фільмів, які могли бути написані десятиліття тому. Такі знання також можуть виявити присутність “дорослих” тем у фільмі, які можуть не бути очевидними з діалогу чи візуальних ефектів.

Додатково, старі фільми в каталозі можуть мати застарілі рейтинги, а також огляди; наприклад, мова та ідіоми, які були нормалізовані у фільмі 1950-х років можуть вимагати значно більше уваги зараз. Але без загального розуміння контексту, отриманого зі справжнього стеження за довгій кінематографічній розповіді, такі інциденти могли б бути пере- або недооцінені.

Більше широко, покращені підходи до аналізу фільмів могли б суттєво внесли свій внесок у значно ширший проблему визнання подій, яка вкрай необхідна для інновацій у моніторингу безпеки, автоматичних спортивних коментарів та підсумків усіх видів, у всіх видах медіа.

Отже, “штучний інтелект для перегляду фільмів” – це досить популярна тема у літературі з комп’ютерного зору.

Глобальна картина

Останнім учасником є MovieTeller – академічно-промислова співпраця з Китаю, яка робить новий крок вперед, розділяючи різні підзадачі у виклику по різних додатках штучного інтелекту, які підходять для цих викликів, замість того, щоб, як часто буває, намагатися навчати дискретні та інкапсульовані моделі, які можуть виконувати всі необхідні завдання з одного латентного простору.

Автори спостерігають, що попередні моделі бачення-мови (VLMs) з таким же завданням не змогли просунутися далеко за рамки аналізу окремих кадрів; і що їхня відсутність контексту робить важким для таких моделей постійно ідентифікувати персонажів – можливо, найважливішу характеристику такої системи:

Нова система, MovieTeller, здатна постійно ідентифікувати людей у сценах, завдяки використанню спеціальної системи розпізнавання облич; але це більш загальне присвячення контексту дозволяє цій системі залишатися на вершині розвитку сюжету. Джерело - https://arxiv.org/pdf/2602.23228

Нова система, MovieTeller, здатна постійно ідентифікувати людей у сценах, завдяки використанню спеціальної системи розпізнавання облич; але це більш загальне присвячення контексту дозволяє цій системі залишатися на вершині розвитку сюжету. Джерело

Автори заявляють:

‘Загальні моделі бачення-мови часто борються з розпізнаванням та постійним відстежуванням конкретних персонажів протягом довгої розповіді. Вони можуть описувати ключового протагоніста як “чоловіка” в одній сцені та “людину” в іншій, не зв’язуючи візуальне представлення з постійною ідентичністю.’

Автори відзначають, що через те, що механізм самоуваги трансформерів використовує квадратичну складність, обробка кожного кадру повнометражного фільму одночасно стає надто обчислювально дорогою. Через це підходи, які покладаються на уніформне вибіркове зображення або просте конкатенування, схильні розбивати потік історії, виробляючи фрагментовані підсумки замість узгодженого нарративу.

Натомість нова система складається з оркестрованого безтренувального конвеєра, з спеціальними інструментами для звернення до розпізнавання облич та збереження пам’яті (як персонажі залишають і повертаються у розповідь фільму).

MovieTeller був протестований проти попередніх підходів за допомогою 60 повнометражних фільмів, еквівалентних 10 000 хвилин відео. У кількісних абляційних тестах та дослідженнях людини автори повідомляють, що їхній підхід зміг суттєво покращити на стандартних середовищах та припущеннях, використовуваних попередніми системами.

Новий документ називається MovieTeller: інструментально посилене резюме фільму з прогресивною абстракцією, і походить від п’яти авторів з Університету Чжецзяна в Ханчжоу, державно-керованої групи China Media Group та Watch AI Group* (останні дві розташовані в Пекіні).

Метод

Схема MovieTeller складається з трьох стадій: сегментація сцен та видобуток ключових кадрів, які обробляються через PySceneDetect проект; генерація фактично-заснованого опису сцени через налаштування Qwen2.5-VL-7B-Instruct VLM; і прогресивна абстракція, яка конденсує детальні описи сцен у підсумкові розділи, а потім у повний узгоджений нарратив – і це також виконується моделлю Qwen2.5:

Огляд схеми MovieTeller: повнометражний фільм спочатку сегментується на сцени та відфільтровується у високоякісні ключові кадри; потім зовнішній інструмент розпізнавання облич вводить фактичні основи, пов'язуючи імена персонажів з обмежувальними рамками, які керують моделлю бачення-мови у генерації ідентично-узгоджених описів сцен. Ці описи потім прогресивно абстрагуються у підсумкові розділи та інтегруються у повний узгоджений нарратив фільму.

Огляд схеми MovieTeller: повнометражний фільм спочатку сегментується на сцени та відфільтровується у високоякісні ключові кадри; потім зовнішній інструмент розпізнавання облич вводить фактичні основи, пов’язуючи імена персонажів з обмежувальними рамками, які керують моделлю бачення-мови у генерації ідентично-узгоджених описів сцен. Ці описи потім прогресивно абстрагуються у підсумкові розділи та інтегруються у повний узгоджений нарратив фільму.

Перша стадія використовує PySceneDetect для розбиття фільму на окремі сцени, засновані на чітких візуальних змінах, з кожною сценою, представленою одним ключовим кадром.

Однак, не кожен кадр робить добру підсумкову картинку, оскільки перехідні моменти, затухання та темні кадри можуть заплутати пізнішу обробку. Тому проста перевірка якості виконує фільтр на кандидатських кадрах, вимірюючи яскравість та візуальну варіацію, забезпечуючи, щоб тільки інформаційно-багаті зображення були вибрані для опису.

Розміщення обличчя

База даних облич була створена з публічно доступної інформації про акторський склад†, зберігаючи ім’я кожного головного персонажа поряд з числовим векторним поданням обличчя. Коли обличчя з’являється у ключовому кадрі, його вбудовування порівнюється з базою даних, і найближчий результат приймається, якщо він перевищує поріг впевненості. Це створює “фактичні основи”, пов’язуючи імена з конкретними обмежувальними рамками.

Для цих цілей використовується InsightFace, який використовує ArcFace як функцію втрат розпізнавального модуля:

Два знайомі обличчя, добре запам'ятовані ініціативою Additive Angular Margin Loss (ArcFace), використовується дуже схожим чином для проекту MovieTeller. Джерело - https://www.youtube.com/watch?v=y-D1tReryGA&t=80s

Два знайомі обличчя, добре запам’ятовані ініціативою Additive Angular Margin Loss (ArcFace), використовується дуже схожим чином для проекту MovieTeller. Джерело

Позначені ключові кадри потім передаються моделі Qwen з підказкою, яка перелічує виявлених персонажів та їхні позиції.

Оскільки моделі бачення-мови не можуть поглинути весь повнометражний фільм за один раз, MovieTeller спочатку розбиває матеріал на описи сцен. Ці описи групуються у послідовні, подібні до розділів, блоки, які потім передаються моделі Qwen2.5, яка підсумовує кожен розділ, стискаючи розвиток сюжету, мотивацію персонажів та точки повороту, зберігаючи при цьому раніше підтверджені імена персонажів.

Ці стиснуті підсумкові розділи потім конкатенуються та повертаються моделі з новою підказкою, яка просить повний нарратив:

Зразок шаблону підказки, використаного для генерації описів сцен, явно вводячи підтверджені імена персонажів та обмежувальні рамки для моделі бачення-мови, та забезпечення узгодженого нарративу.

Подібно до підказки, що просить повний переказ сюжету, цей приклад використовується для створення описів сцен із явним додаванням перевірених імен персонажів і обмежувальних рамок, щоб спрямувати візуально-мовну модель та забезпечити послідовну ідентичність у розповіді.


Martin Anderson

Автор у галузі машинного навчання, фахівець у сфері синтезу зображень людей. Колишній керівник дослідницького контенту в Metaphysic.ai, до його злиття з Brahma.ai, що належить DNEG.
Веб‑сайт: martinanderson.ai
Контакт: martin@martinanderson.ai