AI 생성 영상을 위한 비디오 코덱

AI를 무제한으로 이용하던 시대가 저물면서, AI 영상 생성의 새로운 비용 효율적 접근법이 토큰과 시간을 크게 절약할 가능성을 제시합니다.

AI 추론의 실제 비용이 현재 AI 혁명의 숨 가쁜 속도에 새로운 현실 인식을 불러오면서, 머신러닝의 비용을 합리화하려는 관심이 높아지고 있습니다. 조직 내부에서 AI를 운영할 가능성과 프라이빗 AI의 전반적인 확산에 더해, VRAM과 기타 자원을 많이 소비하는 머신러닝 처리 과정도 최적화가 필요할 것입니다.

비디오 생성은 이 점에서 가장 많은 자원을 소모하는 분야일 수 있습니다. 영화를 다시 압축하거나 영상 편집 프로그램에서 내보낸 경험이 있다면, 이 작업이 하드웨어에 주는 부담을 잘 알 것입니다. AI와 무관한 이 작업은 RAM과 CPU 사이클을 소모하며, 압축 알고리즘이 컴퓨터에 미치는 영향을 제한하지 않으면 다른 용도로 컴퓨터를 사용하기 어려워지는 경우가 많습니다.

AI 영상의 확산이 전 세계 데이터센터에서 이처럼 막대한 연산을 요구하는 과정을 얼마나 많이 반복하는지 생각해 보면 됩니다. 이 정도 규모에서는 아주 작은 개선도 전체를 합산하면 즉각 큰 의미를 갖습니다.

프레임에 주목하다

이러한 맥락에서 상하이 연구진이 JD.com (JD )과 협력한 새로운 연구는 비디오 코덱을 제안합니다. 대용량 원시 프레임을 더 작은 영상 파일로 압축하는 최종 렌더링 단계가 아니라, AI로 영상을 생성하는 과정 자체를 대상으로 합니다.

일반적인 비디오 코덱은 모든 프레임을 완전한 이미지로 저장하지 않습니다. 대신 완전한 이미지인 I-프레임을 적은 수만 생성한 뒤 프레임 사이의 변화를 저장합니다.

예를 들어 영상 속 사람이 조금 움직이면, 코덱은 장면 전체를 다시 저장하지 않고 변화가 생긴 부분만 기록합니다. 이전 프레임에서 파생되는 P-프레임과 이후 프레임의 정보도 활용할 수 있는 B-프레임이 여기에 해당합니다.

비디오 코덱의 구조. 위쪽 행에는 시간순으로 I, P, B 프레임이 표시되어 있습니다. 완전히 저장되는 I-프레임은 선명한 색으로, 재구성되는 P-프레임과 B-프레임은 흐린 색으로 표시됩니다. 화살표는 이전 프레임, 이후 프레임 또는 둘 다를 사용하는지를 보여 줍니다. 아래 패널은 완전히 저장된 프레임(I, 왼쪽), 이전 프레임으로 구성한 프레임(P, 왼쪽에서 두 번째), 이전 및 이후 프레임으로 구성한 프레임(B, 오른쪽)을 나타냅니다.

주변 정보를 재사용하므로 영상 파일을 작게 유지할 수 있습니다. 대부분의 프레임은 새로운 이미지가 아니라 이전 프레임이 어떻게 바뀌었는지를 설명하는 지침입니다. 따라서 I-프레임은 압축하지 않았거나 최소한으로 압축한 완전한 이미지로서 많은 공간을 차지합니다. 중간 프레임은 I-프레임과의 차이 및 중간 프레임끼리의 차이만 담습니다.

모든 프레임이 완전한 비압축 이미지라면 영상에는 사실상 압축이 전혀 적용되지 않은 셈입니다. 두 시간짜리 영화를 이렇게 저장하려면 거의 1테라바이트 또는 그 이상의 디스크 공간이 필요합니다. 그런데 AI는 바로 이런 방식으로 영상을 만듭니다^†. 각 프레임에 같은 양의 자원과 토큰을 할당하면서 영상을 어떻게 구성할지 계산합니다.

규모가 만드는 절감 효과

새로운 연구 AdaCodec: A Predictive Visual Code for Video MLLMs는 참조 프레임인 I-프레임에만 완전한 시각 토큰을 사용하고, 모든 중간 프레임은 압축된 P-토큰으로 표현합니다. 이는 기존 비디오 코덱의 전통적인 압축 방식을 분명히 차용한 원리입니다.

이러한 내부 압축을 거친 AI 생성 영상은 이후에도 일반적인 방식으로 압축할 수 있습니다. 이론적으로 모든 절감 효과는 서버 측에서 발생합니다.

AdaCodec 개요. 왼쪽에서는 영상을 적응형 프레임 그룹으로 나눕니다. 예측하기 어려운 순간에는 완전한 I-프레임을 쓰고, 중간 P-프레임은 압축된 움직임 및 잔차 정보로 표현합니다. 오른쪽에서는 시스템이 11개 벤치마크에서 Qwen3-VL-8B와 대등하거나 더 높은 성능을 보입니다. 여러 토큰 예산에서 긴 영상의 정확도를 더 높게 유지하며, 훨씬 적은 영상 토큰을 처리하면서 응답 지연도 줄입니다. 출처

보고된 AdaCodec 시험 결과를 보면 이러한 절감을 추구할 가치가 있습니다. 논문에 따르면 시스템은 같은 연산량을 사용하면서 수정하지 않은 Qwen3-VL-8B를 모든 주요 벤치마크에서 능가했습니다. 영상 토큰 수를 약 86% 줄인 뒤에도 이 모델과 대등하거나 더 높은 성능을 유지했습니다.

저자들은 다음과 같이 설명합니다*:

“우리는 원시 신호 대신 예측 오차를 전송하는 예측 코딩에서 영감을 얻었습니다. 이 원리에는 생물학적 근거가 있습니다. 시각계는 예상한 입력과 관찰한 입력 사이의 차이인 예측 오차를 부호화하며,입력 자체를 부호화하는 것은 아닌 것으로여겨집니다.”

“현대 비디오 코덱은 공학적으로 같은 잔차 코딩 개념을 사용합니다. 참조 프레임은 전체 내용을 전달하고, 예측 프레임은참조 프레임에 대한 움직임 및 잔차 신호를 전달합니다.”

“이 시스템들은 목적이 서로 다르지만 같은 조건부 구조를 공유합니다. 주변 샘플에 중복 정보가 있다면 채널은 예측으로 설명하지 못하는 내용을 전달해야 합니다.”

“하지만 표준 코덱은 비트스트림과 사람이 볼 수 있는 영상의 복원에 최적화되어 있으며, LLM이 사용하는 시각 토큰에 최적화된 것은 아닙니다. 따라서 우리는 이 메커니즘을 영상 이해를 위한 MLLM 인터페이스로 재설계합니다.”

이번 논문은 상하이자오퉁대학교, 상하이혁신연구소, JD.com 소속 연구자 11명이 작성했습니다. 프로젝트 페이지도 마련되어 있으며 소스 코드 공개가 예고되어 있습니다.

방법

앞서 설명했듯이 시스템은 각 프레임을 완전히 새로운 이미지로 다루는 대신 프레임 사이의 변화를 찾습니다. 아래 그림 왼쪽에서는 현재 프레임의 작은 영역을 이전 프레임에서 가장 비슷한 영역과 대조합니다.

AdaCodec 구조 개요.

두 위치 사이의 거리는 모션 벡터가 되고, 남아 있는 시각적 차이는 잔차가 됩니다. 이러한 간결한 설명으로 전체 이미지를 저장할 필요를 대신합니다.

오른쪽에서는 이렇게 얻은 정보가 AI 모델에 입력됩니다. 중요한 참조 프레임은 여전히 완전한 이미지로 처리하지만, 중간 프레임은 훨씬 작은 모션 및 잔차 토큰으로 표현합니다. 이를 통해 모델은 영상 해석에 필요한 정보를 충분히 유지하면서 훨씬 적은 시각 데이터를 처리할 수 있는 것으로 보입니다.

어떤 프레임을 통째로 저장할지 결정하는 것도 흥미로운 과제입니다. 기존 비디오 코덱은 필요 여부와 관계없이 보통 일정한 간격으로 참조 프레임을 삽입합니다. 반면 AdaCodec은 가장 중요한 순간을 식별하려고 합니다.

두 사람이 아파트에서 거의 움직이지 않고 대화하는 장면을 생각해 봅시다. 갑자기 SWAT 팀이 창문으로 들이닥칩니다. 즉시 카메라 각도와 편집 컷이 늘어나 일정한 참조 프레임 간격으로 감당할 수 있는 양보다 훨씬 많은 데이터가 필요해집니다.

이는가변 비트레이트같은 가변 압축 방식의 원리입니다. 원본 영상에서 이처럼 변화가 많은 구간을 찾아 필요한 곳에 더 많은 데이터를 할당하며, 적지 않은 시간과 자원이 듭니다.

AdaCodec은 주변 프레임으로 해당 프레임을 정확히 예측할 수 있으면 압축된 움직임 및 잔차 토큰을 계속 사용합니다. SWAT 팀의 등장처럼 장면이 크게 바뀌거나 그보다 덜 극적인 변화가 일어나면 완전한 참조 프레임을 삽입합니다. 이로써 가용 연산 예산을 영상 전체에 균등하게 나누기보다 중요한 시각 정보에 더 많이 투입할 수 있습니다.

데이터 및 테스트

연구진은 앞서 언급한 Qwen3-VL-8B를 기본 모델로 삼아 영상 이해의 세 영역을 다루는 11개 벤치마크에서 AdaCodec을 평가했습니다. 긴 영상 처리 성능은 MLVU, LongVideoBench, LVBench를 사용하여 평가되었습니다. 시간적 관계 이해는 TempCompass, MotionBench, TOMATO를 사용하여 평가되었습니다. 일반적인 영상 이해는 Video-MME, MVBench, NExT-QA, PerceptionTest, EgoSchema를 사용하여 평가되었습니다.

시험한 오픈소스 모델은 InternVL3.5-8B; Keye-VL-1.5-8B; GLM-4.1V-9B; MiniCPM-V-4.5-8B; Eagle2.5-8B; PLM-8B; LLaVA-Video-7B; VideoChat-Flash-7B; Molmo2-8B; 및 Molmo2-O-7B입니다.

GPT-5, Gemini, Claude 버전은 아래 표에 비교 기준으로만 표시됩니다. CoPE-VideoLM-7B 및 ReMoRa-7B는 코덱에서 착안한 압축으로 시각 토큰 사용량을 줄이는 기존 영상 언어 모델입니다. 따라서 AdaCodec의 가장 가까운 직접 경쟁 모델입니다.

긴 영상 이해, 시간적 추론, 일반적인 영상 이해를 다루는 11개 벤치마크의 주요 결과. 점수가 높을수록 성능이 좋습니다. LVB = LongVideoBench, V-MME = Video-MME. 굵은 글씨와 밑줄은 오픈소스 모델 중 각각 최고 점수와 두 번째로 높은 점수를 나타냅니다. 폐쇄형 모델의 점수는 가능한 경우 공식 보고서에서 가져왔으며, 누락된 결과는 Molmo2에서 가져오거나 저자들이 직접 평가했습니다.

공정한 비교를 위해 AdaCodec과 표준 Qwen3-VL-8B 시스템에 같은 수의 시각 토큰을 할당했습니다. 따라서 결과는 연산 자원의 차이가 아니라 압축 방식의 효과를 보여 줍니다.

압축 강도가 가장 높은 설정에서 AdaCodec은 시각 토큰 사용량을 약 86% 줄이면서도 긴 영상, 시간적 관계, 일반적인 영상 이해 과제에서 기본 시스템과 대등하거나 약간 더 높은 성능을 보였습니다.

절약한 토큰으로 더 많은 영상 프레임을 처리하자 모든 긴 영상 벤치마크와 모든 시간적 관계 벤치마크에서 성능이 향상되었습니다. 개선 폭은 LongVideoBench에서 +5.4점, TOMATO에서 +4.3점에 달했으며, 연구에 포함된 오픈소스 모델 중에서도 가장 우수한 결과에 속했습니다.

결론

이런 프로젝트는 대개 하이퍼스케일 사업자를 겨냥하지만, 이러한 연구는 취미로 개발하는 사람들과 중소기업의 관심도 끌 것입니다. 로컬 환경에서 AI를 더 합리적으로 배포하려는 새로운 공개적 절약 기조의 일부가 될 가능성이 있습니다.

r/stablediffusion 같은 커뮤니티에서는 오래전부터 해 오던 일입니다. 주요 오픈소스 모델이 새로 나올 때마다 극도로 최적화된 버전(GGUF, 양자화된 가중치 등)으로 바꾸어, 어느 정도 기다릴 각오만 있다면 저사양 그래픽카드에서도 실행할 수 있게 합니다.

이번 세 번째 AI 붐의 과시적 단계가 정말로 끝났고, 기업들이 추론의 실제 비용에 부담을 느껴 물러선다고 가정한다면, AdaCodec 같은 시도는 다가올 ‘대규모 최적화’의 일부가 될 수 있습니다.

^† 이는 사용자에게 적합한 형식이나 파일 크기로 영상을 최종 출력하는 것과 다릅니다. 추론 시 AI 모델 내부에서 이루어지는 프레임 생성과 조합에 관한 것입니다.

* 필자가 저자들의 본문 인용을 합리적인 범위에서 하이퍼링크로 바꾸었습니다.

처음 게시된 날짜: 2026년 6월 4일 목요일