Anderson의 관점

영화 전체를 따라갈 수 있는 AI를 찾아서

Martin Anderson
Unite.AI를 Google의 선호 소스에 추가
AI-generated illustration (GPT-1.5) depicting a POV of a Steenbeck flatbed editing table as robot hands examine celluloid footage of a love scene from an old movie.
핵심 포인트MovieTeller는 전용 얼굴 인식 기술과 단계적 요약 방식을 사용하여 영화 전체에 걸쳐 등장인물을 추적합니다.
더 보기
  • MovieTeller는 전용 얼굴 인식 기술과 단계적 요약 방식을 사용하여 영화 전체에 걸쳐 등장인물을 추적합니다.
  • 이 시스템의 체계적인 파이프라인은 영화를 장면과 챕터로 분할함으로써 Transformer 모델의 한계를 극복합니다.
  • 인간 평가 결과, 이름만 제공하거나 힌트를 전혀 주지 않는 방식보다 확정된 캐릭터 정체성을 바탕으로 한 서사가 더 일관성 있는 이야기를 생성하는 것으로 나타났습니다.

AI 모델은 여전히 영화에서 누가 누구이며 무슨 일이 일어나는지 놓친다. 새로운 시스템은 얼굴 인식과 단계적 요약을 조율하여 장편 영화 전체에서 인물의 정체성을 분명히 하고 줄거리의 일관성을 유지한다.

 

인공지능이 할리우드식 영화를 보고 이해하게 만드는 일은 틈새 분야나 주변적인 시도로 보일 수 있다. 하지만 장편 영화를 처음부터 끝까지 보고 모든 인물의 전개와 줄거리를 파악하는 시스템은 그 능력을 활용할 직접적인 응용뿐 아니라 여러 분야의 간접적이거나 무관해 보이는 과제에도 가능성을 열어 준다.

영화를 보는 AI 모델의 가장 손쉬운 활용처는 Netflix, Amazon Prime, HBO Max 같은 스트리밍 플랫폼의 추천 시스템이다. 줄거리 전개와 인물 행동을 세밀하게 이해하면 시청자의 종종 겉보기와 실제가 다른 취향과 열의에 더 정확히 맞출 수 있다.

영화를 깊이 이해하면 수십 년 전에 작성되었을지도 모르는 설명을 계속 복사하는 대신 키워드를 생성하고 더 정확히 분류할 수 있다. 대사나 영상만으로는 분명하지 않은 성인 주제의 존재도 드러날 수 있다.

오래된 영화 목록에는 낡은 등급과 개요가 남아 있을 수 있다. 예를 들어 1950년대 영화에서 당연시되던 언어나 관용구는 오늘날 훨씬 주의 깊게 살펴야 할 수 있다. 그러나 긴 영화 서사를 실제로 따라가며 얻는 전체 맥락이 없으면 이런 사례를 지나치게 강조하거나 과소평가할 수 있다.

더 넓게 보면 개선된 영화 분석은 훨씬 광범위한 사건 인식 문제에 크게 기여할 수 있다. 이는 보안 감시, 자동 스포츠 해설, 다양한 매체의 각종 요약을 혁신하는 데 필수적이다.

따라서 AI 기반 영화 시청은 컴퓨터 비전 연구 문헌에서 의외로 많은 관심을 받는 분야다.

큰 그림 보기

새로운 연구인 MovieTeller는 중국의 학계와 산업계가 협력한 결과다. 하나의 잠재 공간에서 필요한 모든 작업을 수행하는 독립적이고 캡슐화된 모델을 훈련하려는 흔한 접근 대신, 문제를 여러 하위 작업으로 나누고 각 작업에 적합한 AI 응용을 배정해 진전을 이뤘다.

저자들은 같은 과제를 다룬 기존 시각-언어 모델(VLM)이 개별 프레임 분석을 크게 넘어서지 못했다고 지적한다. 맥락이 부족하여 인물을 지속적으로 식별하기 어렵고, 이는 이 시스템에 가장 중요한 특성일 수 있다:

MovieTeller는 전용 얼굴 인식 시스템 덕분에 장면 속 인물을 지속적으로 식별한다. 그러나 줄거리 전개를 계속 파악하게 하는 것은 맥락에 대한 더 폭넓은 집중이다. 출처 - https://arxiv.org/pdf/2602.23228

MovieTeller는 전용 얼굴 인식 시스템 덕분에 장면 속 인물을 지속적으로 식별한다. 그러나 줄거리 전개를 계속 파악하게 하는 것은 맥락에 대한 더 폭넓은 집중이다. 출처

저자들의 설명은 다음과 같다:

‘범용 VLM은 긴 서사에서 특정 인물을 인식하고 일관되게 추적하는 데 자주 어려움을 겪는다. 한 장면에서는 핵심 주인공을 “한 남자”로, 다른 장면에서는 “한 사람”으로 묘사하며 시각적 표현을 일관된 정체성에 연결하지 못할 수 있다.’

저자들은 Transformer의 자기 주의 메커니즘이 제곱 복잡도를 갖기 때문에 장편 영화의 모든 프레임을 한 번에 처리하는 계산 비용이 너무 크다고 설명한다. 균일한 프레임 샘플링이나 단순 연결에 의존하면 이야기의 흐름이 끊겨 일관된 서사 대신 조각난 요약이 나온다.

새 시스템은 추가 훈련이 필요 없는 조율된 파이프라인이다. 얼굴 인식과 기억의 지속성을 전용 도구로 처리하여 인물이 영화 서사에서 나갔다가 다시 들어와도 기억을 유지한다.

MovieTeller는 장편 영화 60편, 총 10,000분 분량을 이용해 기존 접근과 비교되었다. 저자들은 정량적 구성요소 제거 실험과 인간 연구에서 기존 시스템의 기본 환경과 가정보다 뚜렷한 개선을 얻었다고 보고한다.

새 논문의 제목은 MovieTeller: Tool-augmented Movie Synopsis with ID Consistent Progressive Abstraction이다. 항저우의 Zhejiang University, 국영 China Media Group, Watch AI Group* 소속 저자 다섯 명이 참여했다. 뒤의 두 기관은 베이징에 있다.

방법

MovieTeller는 세 단계로 이루어진다. PySceneDetect로 장면을 나누고 핵심 프레임을 추출하며, 맞춤화한 Qwen2.5-VL-7B-Instruct VLM으로 사실에 근거한 장면 설명을 만든다. 마지막 단계적 추상화는 상세 설명을 장별 요약으로, 다시 일관된 최종 줄거리로 압축한다. 이 단계 역시 Qwen2.5가 수행한다:

MovieTeller 개요: 장편 영화를 장면으로 나누고 고품질 핵심 프레임을 추출한다. 외부 얼굴 인식 도구는 인물 이름을 경계 상자에 연결하는 사실 근거를 제공하고, 시각-언어 모델은 이를 이용해 정체성이 일관된 장면 설명을 만든다. 설명은 단계적으로 장별 요약으로 압축된 뒤 일관된 최종 영화 줄거리로 통합된다.

MovieTeller 개요: 장편 영화를 장면으로 나누고 고품질 핵심 프레임을 추출한다. 외부 얼굴 인식 도구는 인물 이름을 경계 상자에 연결하는 사실 근거를 제공하고, 시각-언어 모델은 이를 이용해 정체성이 일관된 장면 설명을 만든다. 설명은 단계적으로 장별 요약으로 압축된 뒤 일관된 최종 영화 줄거리로 통합된다.

첫 단계는 분명한 시각적 변화를 기준으로 PySceneDetect를 사용해 영화를 개별 장면으로 나누고, 각 장면을 하나의 핵심 프레임으로 대표한다.

그러나 모든 프레임이 좋은 대표 이미지는 아니다. 전환 순간, 페이드아웃, 어두운 프레임은 후속 분석을 혼란스럽게 할 수 있다. 따라서 간단한 품질 검사가 후보 프레임의 밝기와 시각적 변화를 측정해 걸러내고, 정보가 풍부한 이미지만 설명 대상으로 선택한다.

얼굴 식별하기

공개된 출연진 정보†로 얼굴 데이터베이스를 만들고 주요 인물의 이름과 수치화된 얼굴 임베딩을 저장했다. 핵심 프레임에서 얼굴이 나타나면 임베딩을 데이터베이스와 비교하며, 가장 가까운 결과가 신뢰도 임계값을 넘을 때만 받아들인다. 이렇게 이름을 특정 경계 상자에 연결하는 사실 근거가 만들어진다.

이 작업에는 InsightFace가 사용되며, ArcFace 손실 함수 기반 인식 헤드를 활용한다:

Additive Angular Margin Loss(ArcFace) 방식이 잘 기억하는 익숙한 두 얼굴. MovieTeller에서도 매우 비슷한 방식으로 사용된다. 출처 - https://www.youtube.com/watch?v=y-D1tReryGA&t=80s

Additive Angular Margin Loss(ArcFace) 방식이 잘 기억하는 익숙한 두 얼굴. MovieTeller에서도 매우 비슷한 방식으로 사용된다. 출처

주석이 달린 핵심 프레임은 탐지한 인물과 위치를 나열하는 프롬프트와 함께 Qwen 모델에 전달된다.

시각-언어 모델은 장편 영화 전체를 한 번에 받아들일 수 없으므로 MovieTeller는 먼저 장면 설명을 만든다. 연속된 설명을 장과 비슷한 블록으로 묶어 Qwen2.5에 전달한다. 모델은 검증된 인물 이름을 유지하면서 각 장의 줄거리 전개, 인물의 동기, 전환점을 압축한다.

압축된 장별 요약을 연결해 완전한 줄거리를 요청하는 새 프롬프트와 함께 모델에 다시 전달한다:

장면 설명 생성을 위한 예시 프롬프트. 검증된 인물 이름과 경계 상자를 명시적으로 삽입해 시각-언어 모델을 제약하고 정체성이 일관된 서술을 유도한다.

전체 줄거리를 요청하는 프롬프트와 마찬가지로 이 예시는 장면 설명을 생성한다. 검증된 인물 이름과 경계 상자를 명시적으로 삽입해 시각-언어 모델을 제약하고 정체성이 일관된 서술을 유도한다.

과정이 성공했다면 최종 결과는 영화의 서사 곡선을 일관되게 반영해야 한다. 이는 기계 학습에서 특히 어려운 과제다. 가능한 줄거리 요약과 표현 방식의 다양성에 이런 데이터의 필수 길이까지 더해지면 일반적인 정답 기준 접근을 적용하는 것이 사실상 불가능해진다.

데이터와 실험

저자들은 출처가 명시되지 않은 장편 영화 100편으로 약 166시간의 맞춤 데이터셋을 구성했다. Iron Man 3, Farewell My Concubine, Eat Drink Man Woman, The Chronicles of Narnia가 포함되었다. 포함된 모든 영화는 IMDB 평점이 5.0을 초과해야 했다:

100편 영화 데이터의 구성. 1992~2025년을 균형 있게 포함하며 비영어권 작품이 근소하게 많다. 드라마와 액션이 중심이지만 SF, 공포, 코미디, 로맨스, 역사 등 다양한 장르를 포함한다.

100편 영화 데이터의 구성. 1992~2025년을 균형 있게 포함하며 비영어권 작품이 근소하게 많다. 드라마와 액션이 중심이지만 SF, 공포, 코미디, 로맨스, 역사 등 다양한 장르를 포함한다.

위 도표처럼 폭넓은 장르를 포함한 것은 특정 장르에 대한 편향을 막기 위해서였다.

각 영화의 얼굴 데이터셋에는 주요 배우별로 사진 두 장이 포함되었다. 하나는 영화 스틸이고 다른 하나는 관련 홍보 사진이다.

Python으로 구현한 실험은 각각 VRAM 48GB를 갖춘 NVIDIA A40 GPU 네 대에서 실행되었고, 위에 설명한 Qwen2.5 변형을 중심 VLM으로 사용했다. 다른 최신 모델인 InternVL3-8B와 WeThink-Qwen2.5VL-7B로도 구성요소 제거 연구††를 수행했다.

새 프레임워크는 두 구성요소 제거†† 변형과 비교되었다. No-Hint 기준선은 인물 정체성에 대한 텍스트 단서 없이 핵심 프레임만으로 장면 설명을 만들었다. Name-Only Hint 설정은 탐지된 인물 이름은 주되 경계 상자는 주지 않았다. 이로써 정체성 일관성과 서사의 응집성에 공간적 근거가 기여하는 부분을 분리할 수 있었다.

긴 줄거리 요약에 정답 기반 방법을 적용하기 어렵기 때문에 ROUGE, BLEU 같은 표준 n-그램 겹침 지표 대신 BERTScore와 F1 점수를 사용했다. 공개 백과사전에서 가져온 참조 줄거리와 의미적 유사성을 측정했다.

Gemini 2.5 Flash도 각 줄거리의 사실 충실도, 정체성 일관성과 완전성, 서사 응집성과 흐름, 간결성에 점수를 매겼으며 차원별 점수의 평균을 냈다.

마지막으로 무작위로 뽑은 요약 50개를 인간이 쌍대 비교하여 자동 평가를 실용적으로 점검했다.

아래는 Qwen2.5-VL, InternVL3, WeThink 세 기반 모델의 BERTScore(F1) 결과다. 각각 No-Hint, Name-Only, 완전한 MovieTeller의 세 구성으로 시험했다:

세 기본 시각-언어 모델과 세 실험 설정의 BERTScore(F1) 비교. 인물 이름을 추가하면 일관되게 개선되고 공간적 근거를 포함하면 더 좋아진다. MovieTeller는 모든 경우 최고 점수를 얻는다.

세 기본 시각-언어 모델과 세 실험 설정의 BERTScore(F1) 비교. 인물 이름을 추가하면 일관되게 개선되고 공간적 근거를 포함하면 더 좋아진다. MovieTeller는 모든 경우 최고 점수를 얻는다.

저자들은 세 기반 모델 모두 같은 패턴을 보인다고 설명한다. 원시 핵심 프레임만 사용하면 가장 약하고, 인물 이름을 추가하면 약간 개선되며, 이름과 경계 상자를 결합하면 가장 강한 결과를 얻는다. 개선폭은 극적이기보다 점진적이지만, 충분한 근거를 제공하는 완전한 구성은 모든 설정에서 참조 줄거리와 가장 높은 의미적 일치를 보인다.

LLM 기반 서사 품질 평가에서 No-Hint 기준선은 정체성 일관성에 가장 큰 어려움을 보여 전체 점수가 낮아진다. 이름만 제공해도 특히 정체성 관련 차원이 뚜렷하게 개선된다. 그러나 완전한 MovieTeller 구성은 다시 세 기반 모델 모두에서 최고 순위를 얻는다:

세 기본 모델의 LLM-as-a-Judge 평가(1~5점). 인물 이름을 추가하면 정체성 일관성과 전체 품질이 개선되며, 완전한 MovieTeller는 사실 충실도, 일관성, 간결성, 최종 평가에서 최고 점수를 얻는다.

세 기본 모델의 LLM-as-a-Judge 평가(1~5점). 인물 이름을 추가하면 정체성 일관성과 전체 품질이 개선되며, 완전한 MovieTeller는 사실 충실도, 일관성, 간결성, 최종 평가에서 최고 점수를 얻는다.

가장 큰 개선은 정체성 일관성과 최종 평균 점수에 나타난다. 이는 공간적 근거가 줄거리 전개 중 누가 무엇을 하는지 모델이 분명히 파악하도록 돕는다는 뜻이다.

무작위 요약 50개에 대한 인간 평가에서 참가자들은 한 번에 요약 세 개를 보고 가장 좋은 것을 골랐다:

세 대안 중 하나를 반드시 고르는 인간 평가의 선호 비율. 충분한 근거를 제공한 MovieTeller 요약이 세 기본 모델 모두에서 가장 많이 선택되며 No-Hint와 Name-Only 변형을 크게 앞선다.

세 대안 중 하나를 반드시 고르는 인간 평가의 선호 비율. 충분한 근거를 제공한 MovieTeller 요약이 세 기본 모델 모두에서 가장 많이 선택되며 No-Hint와 Name-Only 변형을 크게 앞선다.

마지막으로 The Bullet Vanishes(2012)에 대한 정성 실험을 수행했다:

원 논문의 그림은 매우 길고 글자가 빽빽하여 여기에서 전체를 재현할 수 없다. 원 논문을 참고하기 바란다.

원 논문의 그림은 매우 길고 글자가 빽빽하여 여기에서 전체를 재현할 수 없다. 원 논문을 참고하기 바란다.

여기서 No-Hint 기준선은 인물을 일반적 표현으로 부르고 역할을 흐리는 모호한 줄거리를 만들어 사건의 연결을 따라가기 어렵게 한다. 이름만 주면 표면적 기억은 개선되지만 서사는 계속 빗나가고 인물 관계와 동기는 평면적으로 묘사된다.

반대로 충분한 근거가 있는 MovieTeller는 요약 전체에서 정체성을 안정적으로 유지하고 행동을 올바른 인물과 연결하여 수사 줄거리의 인과 구조를 더 명확히 한다. 구체적인 긴장과 역할 간 역학을 추상화해 없애지 않고 유지하기 때문에, 요약은 단절된 개요보다 영화의 중심 이야기를 일관되게 다시 들려주는 글에 가깝다:

전체를 재현할 수 없는 최종 비교의 일부. 구성요소를 제거한 변형과 완전한 MovieTeller의 요약을 보여준다. 원 논문을 참고하기 바란다.

전체를 재현할 수 없는 최종 비교의 일부. 구성요소를 제거한 변형과 완전한 MovieTeller의 요약을 보여준다. 원 논문을 참고하기 바란다.

결론

이런 새 프로젝트 대부분은 컴퓨터 비전 문헌에 실리지만, AI 영화 요약에는 기계 학습의 여러 다른 학문과 연구 분야도 포함된다. 어느 분야가 뜻하지 않게 퍼즐의 빠진 조각을 제공할지 알기 어렵다. MovieTeller는 잠재 공간에서 모든 것을 독립적으로 해결하려 하기보다 적절한 모듈에 작업을 나누면서 올바른 방향으로 나아간다. 하지만 나중의 더 우아한 해결책에 앞서 나타나는, 여러 부품을 짜깁기했다는 느낌은 여전히 남아 있다.

 

* 검색을 해 보았지만 이 기관이 어디인지 확인하지 못했다.

† IMDB나 OMDB 같은 출처로 추정할 수 있지만 출처는 명시되어 있지 않다.

†† 전체 구성요소 제거 실험은 원 논문을 참고하기 바란다. 우리는 예외적인 경우에만 전체 실험을 다룬다. 여기서 다루지 않은 연구가 논문의 일반적인 결론을 훼손하지는 않는다는 점을 덧붙인다.

2026년 2월 27일 금요일 최초 게시

머신러닝 분야 작가이자 인간 이미지 합성 도메인 전문가. Metaphysic.ai에서 연구 콘텐츠 책임자를 역임했으며, DNEG의 Brahma.ai로 통합될 때까지 근무했습니다.
웹사이트: martinanderson.ai
연락처: martin@martinanderson.ai