AI 동영상에 과거의 기억을 담다

지난 3월, 생성형 AI 동영상이 본 사물과 장소를 기억했다가 다시 재현해 시각적 일관성을 유지하는 데 어떤 어려움이 있는지 살펴봤습니다.

이 문제로 인해 AI 세계 모델 속에서 문을 지나간 뒤 10초 후에 돌아서면, 들어올 때 지나온 문이 더는 존재하지 않는 상황이 벌어질 수 있습니다.

이 문제는 간단한 오류처럼 손쉽게 해결할 수 있는 것이 아닙니다. 생성형 AI 동영상은 마주치는 ‘다음 장면’을 끊임없이 만들어 내야 하므로, 한참 전의 일이나 제한된 컨텍스트 창에서 밀려난 내용을 사실상 기억할 수 없습니다.

따라서 학습된 AI 세계 모델을 탐험하는 것은 텍스처와 기하 구조가 고정되어 벡터 및 비트맵 데이터로 저장된 모델링된 CGI 환경을 둘러보는 것과 다릅니다. 오히려 대략적인 확률로 이루어진 꿈속을 걷는 것에 가깝습니다. 똑같은 것을 두 번 발견할 수도 있지만, 이는 모델이 그것을 만들거나 본 사실을 실제로 기억해서가 아니라, 컨텍스트를 바탕으로 잠재 공간에서 두 번째로 불러냈기 때문입니다.

따라서 일반적인 생성형 AI 동영상 세계 모델은 순행성 기억상실증이 있는 사람과 비슷합니다. 그런 사람은 뇌졸중이나 부상 같은 뇌의 사건이 발생하기 전까지는 모든 일을 완벽하게 기억하지만, 그 사건이후로는 새로운 기억을 만들지 못합니다. 이 질환은 크리스토퍼 놀란 감독의 메멘토에서 가이 피어스가 연기한 인물이 앓는 병으로 대중에게 알려졌습니다 [2000]. 이 영화는 주요 기사 이미지에도 등장합니다.

이처럼 동영상 모델은 다양한 영역에 대해 깊고 뿌리 깊은 이해를 갖고 있지만, 새로운 내용을 기억하는 능력은 없습니다.

흔적을 따라

지난 3월 살펴본 HyDRA의 해결책은 압축된 시각 토큰으로 이루어진 ‘메모리 뱅크’를 활용해, AI가 생성한 캐릭터가 화면 밖으로 나갔다가 처음 등장했을 때와 같은 모습으로 돌아오도록 하는 방식이었습니다.

이러한 ‘빵 부스러기’ 방식의 다른 기법도 여럿 있습니다. 하지만 복잡한 3D 기하 구조를 생성해 남겨 두면 파일 크기가 커지는 것은 물론, 응답성 저하와 지연 시간 증가 등 잠재적인 병목 현상이 발생하는 대가를 치러야 합니다.

이러한 ‘3D 기반 세계 모델’에는 NVIDIA가 주도한 Gen3C가 있습니다. 이 모델의 HyDRA 방식은 이 문제를 해결하는 가장 일반적인 방법, 즉 모델이 ‘보는’ 것을 점군으로 변환합니다. 점군은 본질적으로 간소화된 3D 기하 구조입니다.

재생하려면 클릭하세요. HyDRA 방식은 지속적으로 유지되는 3D 점군 캐시를 사용해 동영상 생성을 안내합니다. 카메라가 움직이고 이미 본 영역이 다시 나타나도 장면의 일관성을 유지합니다. 출처

이와 비슷한 접근법으로는 옥스퍼드 대학교의 2025년 연구 VMEM과 같은 시기에 스탠퍼드 대학교가 주도한 공동 연구 SPMem 등이 있습니다.

재생하려면 클릭. 스탠퍼드 대학교가 주도한 공동 연구 SPMem은 정적인 풍경을 담은 지속적 3D 지도에 움직임을 포착하는 최근 동영상 프레임과 시각적 세부 정보를 담은 과거 프레임 일부를 결합합니다. 이를 통해 모델은 장소를 다시 방문할 때 그곳을 기억할 수 있습니다. 출처 

하지만 모든 3D 기하 구조를 처리하는 일은 부담이 크며 추론에 필요한 자원도 많이 듭니다. CG 아티스트처럼 환경을 돌아다니며 끊임없이 구조를 ‘만들어 가는’ 작업은 쉽지 않습니다. 게다가 다른 클립이나 시점, 테이크도 나중에 생성된 기하 구조를 참조할 수 있어야 하는데, 이는 만만치 않은 과제입니다.

더 가벼운 기억

‘AI 동영상 메모리’ 분야에 새롭게 뛰어든 것은 Tsinghua University가 주도하는 새로운 공동 연구입니다. 연구 제목은 동영상 세계 모델을 위한 지속적 평면 메모리입니다.

재생하려면 클릭하세요. Tsinghua가 주도하는 PPMem 프로젝트 웹사이트에 공개된 시스템 작동 사례입니다. PPMem은 이전 프로젝트인 SPMem에서 사용한 체적형 3D 메모리를 더 간결한 평면 표면의 집합으로 대체하고, 카메라의 움직임에 따라 이를 갱신하고 재사용해 이미 본 환경의 일관성을 유지합니다. 출처 

위 동영상 부분*에서 볼 수 있듯이, PPMem은 3D 환경을 더 간결하게 표현해 기존 접근법을 개선합니다. 이전에 본 환경을 재구성하기 위해 수백만 개의 개별 점을 저장하는 대신, 벽과 바닥, 가구 같은 평평한 표면을 찾아 재사용 가능한 기하학적 평면 요소인 평면 프리미티브로 저장합니다. 환경의 새로운 부분이 생성될 때마다 이러한 요소를 지속적인 로컬 메모리에 계속 추가합니다.

PPMem이 지속적인 3D 메모리를 구축하면서 동영상을 생성하는 두 가지 예입니다. 각 예에서는 왼쪽에 입력 이미지가 있고, 그 아래에는 카메라가 이동할 예정인 경로가 표시되어 있습니다. 첫째 줄의 프레임을 왼쪽에서 오른쪽으로 읽은 다음 둘째 줄을 같은 방식으로 읽으면, 카메라가 상점이나 정원을 탐색하는 모습을 볼 수 있습니다. 작은 컬러 삽입 이미지는 이동이 진행됨에 따라 저장된 3D 표면이 어떻게 쌓이는지 보여 주며, 이전에 탐색한 풍경을 보존합니다. 출처

카메라가 이전에 방문한 장소로 돌아오면 저장된 평면이 시야에 다시 투영되어 새 프레임 생성을 안내합니다. 이에 따라 보존하고 처리해야 하는 공간 정보의 양도 줄어듭니다. 또한 방문할 때마다 익숙한 사물과 주변 환경이 달라지거나 사라지는 것을 방지하는 데도 도움이 됩니다.

저자들은 평면 프리미티브, 즉 수학적 벡터로 정의되는 매개변수적 객체를 사용하면 ‘빵 부스러기 방식’을 더 유연하고 능숙하게 구현할 수 있다고 주장합니다.

“짧은 클립만이 아니라 전체 세계를 생성하는 모델에는 자신이 만들어 낸 것을 기억할 수 있는, 이에 상응하는 간결하고 구조화된 메모리가 필요합니다. 평면 프리미티브는 이러한 역할을 맡기에 적합한 후보입니다.

각 프리미티브는 단 7개의 숫자(중심 깊이, 두 개의 직사각형 크기, 회전 쿼터니언)로 매개변수화됩니다. 이 숫자들은 3D 기하 구조를 명시적으로 나타내며, 픽셀별 표현보다 몇 자릿수나 더 간결합니다.”

필요하면 재생을 클릭하세요. PPMem이 생성하는 평면 프리미티브의 경량 어셈블리는 카메라가 세계 모델을 이동하는 동안 세부 묘사와 전반적인 기하 구조를 모두 포착해 유지할 수 있습니다. 위에 시각화된 초록색 영역은 어두운색에서>초록색으로 변환되면서 메모리에 보존됩니다.

이러한 평면이 탐색한 세계를 어느 정도까지 표현할 수 있는지는 메모리 용량과 그 밖의 예측 가능한 병목 현상에 따라 자연히 제한됩니다. 따라서 몇 시간 동안 세계를 돌아다닌 뒤 돌아와서도 모든 것이 떠나기 전 그대로인 모습을 볼 수는 없습니다. 하지만 이런 종류의 ‘레벨 기반’ 제약은 비디오 게임 애호가에게 익숙할 것입니다. 강력하지만 한정된 로컬 리소스는 대개 공간이 가장 제한된 환경에서 최상의 결과를 내기 때문입니다.

재생을 클릭하세요. PPMem에서는 카메라가 환경을 이동하면서 자신이 본 것을 나타내는 경량 ‘평면’(초록색 영역으로 표시)을 남깁니다. 카메라가 다시 돌아오더라도 이 평면은 그대로 남아 있습니다.

따라서 위에서 방을 하나씩 ‘매핑’하여 층 전체가 초록색으로 바뀌는 모습을 볼 수 있습니다. 이렇게 되면 자유롭게 탐색할 수 있고, 새로운 평면을 더 생성할 필요도 줄어듭니다(완전히 없어지지는 않습니다).

방법

PPMem은 Wan2.2-TI2V-5B를 기반으로 개발되었습니다. 이는 HyDRA가 사용한 Wan2.1-T2V-1.3B 대신 선택한 모델로, 50억 개의 매개변수를 가진 비디오 확산 모델입니다. 여기에 Plana3R에서 개조한 기하 구조 예측 시스템을 추가했습니다. 기존 비디오 백본은 그대로 유지하고, 내부 표현에서 기하 정보를 추출하는 별도의 처리 경로를 도입했습니다.

PPMem의 동영상 생성 및 3D 메모리 시스템 구조도. 위쪽 경로에서는 동영상을 생성하고, 아래쪽 경로에서는 눈에 보이는 표면의 형태와 위치를 기록합니다. 이렇게 기록한 정보는 오른쪽의 저장된 메모리에 추가되며, 이 메모리는 다음 동영상 구간을 안내하는 데 사용됩니다. 아래쪽 화살표는 이 정보가 시스템으로 되돌아가는 방식을 보여 줍니다.

두 단계로 이루어진 학습 과정의 첫 번째 단계에서는 카메라 제어 동영상 생성을 위해 Wan 2.2를 미세 조정했습니다. 입력 이미지와 이전 프레임을 투영한 뷰를 사용해 의도한 카메라 움직임을 구현했습니다. 그런 다음 비디오 백본을 고정하고 새로운 기하 구성 요소를 독립적으로 학습했습니다.

학습에는 DL3DV와 RealEstate10K의 클립 8만 개 이상을 576×1024 해상도로 사용했습니다. 기준 깊이 정보는 MoGe-2에서 가져왔으며, 추정한 거리는 VGGT가 생성한 3D 재구성 결과에 맞춰 정렬했습니다.

이에 따라 PPMem의 평면 예측 시스템은 표면의 깊이와 방향을 추정하도록 학습되었으며, 출력 결과는 기준 기하 구조와 대조해 검증했습니다. 재구성된 장면과의 일치도를 높이기 위해 렌더링된 표면을 대상으로 추가 학습도 진행했습니다.

기본 비디오 모델을 수정하지 않고 기하 구조별 처리를 도입하기 위해 저랭크 적응(LoRA)을 사용했습니다.

추론 단계에서는 이러한 적응 기능을 비활성화한 채 일반적인 동영상 생성 과정을 완료한 다음, 별도의 처리 단계를 거쳐 기하 구조를 추출합니다. 이로써 두 작업은 사실상 서로 독립적으로 수행됩니다.

이후 약 25프레임 단위로 영상을 생성하며, 각 새 시퀀스에 필요한 시각 정보와 공간 정보를 준비하기 위해 의도한 카메라 움직임을 활용한다. 여기에는 이전에 생성한 배경의 투영 영상, 어느 영역이 보이는지 나타내는 마스크, 그리고 누적된 기하 정보에서 도출한 깊이 정보가 포함된다.

새로운 표면을 더 정확하게 예측하기 위해 저장된 깊이 정보를 모델이 기존에 파악한 장면 정보와 결합한다. 이때 DINOv2-Base를 기반으로 한 시각 트랜스포머를 사용한다.

학습 과정에서는 선택적으로 마스킹해 깊이 맵의 일부를 가려 두었다. 이에 따라 모델은 불완전한 공간 데이터를 바탕으로 표면의 기하 구조를 예측해야 했으며, 이는 일반화 성능을 높였다.

새로운 기하 정보가 생성되면 평면 풀을 다듬어 서로 겹치거나 가려진 표면이 있는지 확인하고, 더 나은 관측 정보가 확보될 때 신뢰도가 낮은 추정치를 제거한다. 이렇게 하면 카메라가 이동할 때마다 저장된 표현을 점진적으로 보정할 수 있어, 모든 표면 예측을 끝없이 쌓아 두는 일을 막을 수 있다.

결과

테스트에서는 기본 저장소 코드와 매개변수를 사용해 이 방법을 Gen3C, Voyager, VMEM, SPMem과 비교했다.

사용한 지표는 최대 신호 대 잡음비(PSNR), 학습 기반 지각 유사도 지표(LPIPS), CLIP 유사도, DINOv2 유사도였다(자세한 예외 사항은 논문 참조).

첫 번째 테스트에서는 DL3DV 및 RealEstate10K 데이터 세트에서 PPMem을 경쟁 모델들과 비교하고, 49프레임 및 121프레임 시퀀스의 영상 품질을 평가했다.

49프레임 및 121프레임 시퀀스에서 DL3DV와 RealEstate10K를 대상으로 PPMem, Gen3C, Voyager, VMem, SPMem의 영상 품질을 비교했다. PPMem은 네 가지 지표 모두에서 단독 또는 공동으로 가장 높은 점수를 기록했으며, 시퀀스가 길어질수록 대체로 우위가 커졌다.

이 결과에 대해 저자들은 다음과 같이 밝혔다.

‘PPMem은 두 데이터 세트와 두 프레임 길이 설정 모두에서 모든 지표 기준으로 가장 좋은 결과를 냈다. Gen3C(Cosmos 7B), Voyager(HunyuanVideo ∼13B)보다 더 작은 기반 모델(Wan 2.2 5B)을 사용했는데도 그렇다. T’

PPMem은 카메라에서 물체와 표면까지의 거리를 추정하는 능력도 테스트했다. 저자들에 따르면 DL3DV의 121프레임에서 Voyager보다 더 정확한 깊이 추정치를 얻었다. Voyager는 영상과 깊이 정보를 함께 생성할 수 있는 유일한 경쟁 모델이다.

두 번째 정성적 테스트에서는 경쟁 모델들이 DL3DV 장면을 통과하는 카메라 움직임에 맞춰 배경을 일관되게 유지하는 능력을 300~400프레임에 걸쳐 비교했다. PPMem은 경쟁 모델보다 이전에 본 주변 환경의 외관과 구조를 더 잘 보존했으며, 시퀀스가 이어질수록 그 우위는 더욱 커졌다.

재생하려면 클릭하세요. 원본보다 낮은 해상도로만 결과를 재현할 수 있었지만, 논문의 정지 화면보다 영상이 더 효과적으로 보여 준다고 판단했다. 따라서 PPMem 프로젝트 사이트에서 더 높은 화질의 버전을 확인해 보기를 권한다.

저자들은 다음과 같이 밝혔다.

‘PPMem은 전체 과정에서 가장 높은 지각적 충실도를 유지하며, 시간이 지날수록 격차가 벌어진다. DINOv2에서는 그 차이가 특히 두드러져, 300프레임 시점에 PPMem이 차선 모델보다 ∼0.27 앞선다.’

288프레임 시퀀스의 여섯 시점에서 Gen3C, VMem, SPMem, Voyager, PPMem이 생성한 영상 프레임을 원본 영상(Ground Truth)과 비교했다. 카메라가 움직이는 동안 PPMem은 화단의 모습과 주변 배경을 더 일관되게 보존한 반면, 경쟁 방식에서는 세부 정보가 점점 더 왜곡되거나 사라졌다.

논문에 따르면 약 400프레임의 영상을 생성한 뒤 PPMem은 탐색한 장면 전체를 약 10만 개의 평면 프리미티브로 표현할 수 있으며, 메모리는 5MB만 차지한다.

같은 배경을 조밀한 3D 포인트 클라우드의 개별 점으로 저장하는 것보다 대략 1,000배 더 압축된 방식이다. 따라서 기존 문헌에서 이어져 온 연구 흐름의 점진적 발전에 그칠 것으로 여겨졌을 이 논문은, 이 아키텍처의 운영 효율을 실질적으로 개선한 것으로 보인다.

결론

새 논문은 대상 문제의 범위와 조건 안에서 흥미로운 진전이지만, 우리는 여전히 월드 모델의 잠재 공간을 무작위로 탐색하면 기하 구조가 끈질긴 거품처럼 사방으로 흩뿌려지는 패러다임 안에서 작업하고 있다. 이렇게 만들어진 기하 구조는 이후 장면이나 나중의 맥락에서 다시 복원해야 할 수도 있다.

이 복원 작업은 기존 CGI 메시와 래핑된 텍스처를 가져오는 것보다 훨씬 더 번거롭다. 이 접근법 전체를 ‘다소 거꾸로’라고 볼 수도 있다. AI 모델은 잠재 공간을 이동하며 유연성과 창작의 자유를 유지하는 동시에, 어떤 형태의 RAG나 조회 시스템을 통해 고정 에셋을 검색하고 참조할 수 있어야 이상적이다.

부담스러운 요구이긴 하지만, ‘빵 부스러기’ 방식은 내게 라이트 형제 이전에 등장한 기이한 해결책들과 맞먹는 것처럼 보인다.

전체 영상은 프로젝트 사이트에서 확인해 주세요.

2026년 10월 20일 화요일 최초 게시