Anderson의 관점

AI로 영상에서 물체와 사람 제거하기

Martin Anderson
Unite.AI를 Google의 선호 소스에 추가
AI-generated stylized image depicting a magician robot showing an empty cabinet with a lady's tiara at the bottom. GPT-1.5
핵심 포인트EffectErase는 비디오에서 객체와 그림자 같은 이차적 효과를 제거하기 위한 새로운 데이터셋과 방법을 소개합니다.
더 보기
  • EffectErase는 비디오에서 객체와 그림자 같은 이차적 효과를 제거하기 위한 새로운 데이터셋과 방법을 소개합니다.
  • 이 시스템은 일관성을 위해 동일한 영향 받은 영역에 집중하도록 제거와 삽입 작업을 함께 학습합니다.
  • EffectErase는 객체와 그 시각적 부작용 간의 시공간적 연결을 명시적으로 모델링함으로써 기존 방법보다 성능이 뛰어납니다.

아니, AI가 관여한다면 아이는 화면에 남아 있지 않는다.

 

이미지와 영상에서 사람이나 물체를 제거하는 기술은 VFX 중심 AI 연구의 인기 있는 세부 분야다. 이 과제를 다루는 전용 데이터셋과 프레임워크도 점차 늘고 있다. 중국 푸단대학교 빅데이터연구소의 최신 연구는 EffectErase로, 물체의 효과까지 고려하는 영상 물체 제거 시스템이다. 저자들은 시험에서 기존 최고 수준의 방법보다 뚜렷하게 향상된 성능을 보였다고 주장한다:

프로젝트 웹사이트의 자료를 모아 구성한 EffectErase 사례들. 출처 링크를 제공하지만, 해당 사이트에는 최적화되지 않은 고해상도 자동 재생 영상이 너무 많아 브라우저의 안정성에 영향을 줄 수 있다. 함께 제공된 YouTube 영상이 더 편리하고 충실한 참고 자료이며, 이 글 끝에 삽입되어 있다.  출처

이번 연구에서는 약 350개의 원본 실제 장면과 합성 장면을 포함하는, 일부 새롭게 구성된 데이터셋을 제작하고 선별했다. 공개 저장소*도 활용했다. 장면은 전용 장비로 촬영하거나 다른 출처에서 확보한 뒤, 오픈소스 Blender 3D 프레임워크를 중심으로 구축한 작업 흐름에 맞게 재활용했다.

이 혼합형 Video Object Removal(VOR) 데이터셋은 EffectErase 애플리케이션 자체의 기반이다. 이 애플리케이션은 Wan2.1 영상 생성 시스템 위에 구축되었다. 또한 시스템은 관련된 두 가지 새 벤치마크를 정의한다. VOR Eval과 VOR Wild는 각각 정답 기준 데이터가 있는 표본과 없는 표본을 위한 벤치마크다.

(논문에는 프로젝트 사이트가 함께 제공되지만 고해상도 영상이 많아 불러오기 어렵다. 사이트 이용이 어렵다면 위에 삽입한 영상에서 내가 선별해 모은 부분을 참고하기 바란다.)

새 데이터셋과 이전의 유사한 데이터셋에 포함된 양을 비교한 표.

새 데이터셋과 이전의 유사한 데이터셋에 포함된 양을 비교한 표. 출처

연구진은 정량 지표뿐 아니라 인간 참여 연구로 평가한 정성 결과에서도 최고 수준의 성능을 얻었다고 주장한다.

기존 연구는 그림자나 반사처럼 물체에 수반되는 효과를 항상 제거하지는 못했으며, 이 한계를 보완하기 위해 데이터셋을 신중하게 만들었다고 설명한다:

이전 접근법이 제거 대상 자체를 넘어 반사와 그림자 같은 간접적인 흔적까지 처리하지 못한 사례.

이전 접근법이 제거 대상 자체를 넘어 반사와 그림자 같은 간접적인 흔적까지 처리하지 못한 사례.

이 새 논문의 제목은 EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing이며, 푸단대학교 컴퓨터과학·인공지능대학 소속 연구자 네 명이 작성했다.

방법

혼합형 VOR 데이터셋은 영상에서 사람이나 물체를 제거할 때 생기는 모든 영향을 다룰 수 있도록 충분히 폭넓은 상황을 포함하게 설계되었다:

VOR 데이터셋의 짝지어진 프레임은 물체 제거가 보이는 대상뿐 아니라 그로 인해 생기는 효과까지 다뤄야 함을 보여준다. 가림, 그림자, 조명 변화, 반사, 물리적 변형의 각 사례에서 물체가 있는 입력과 제거 후의 깨끗한 배경을 나란히 제시한다. 더 많은 사례는 이 글 끝에 삽입된 YouTube 영상을 참고하기 바란다.

VOR 데이터셋의 짝지어진 프레임은 물체 제거가 보이는 대상뿐 아니라 그로 인해 생기는 효과까지 다뤄야 함을 보여준다. 가림, 그림자, 조명 변화, 반사, 물리적 변형의 각 사례에서 물체가 있는 입력과 제거 후의 깨끗한 배경을 나란히 제시한다. 더 많은 사례는 이 글 끝에 삽입된 YouTube 영상을 참고하기 바란다.

저자들은 처리해야 할 대표적인 ‘간섭’을 다섯 유형으로 정의한다. 가림에는 여러 종류의 유리나 연기에 의한 가림이 포함된다. 나머지는 그림자, 조명(예를 들어 제거할 물체가 빛의 경로를 만들거나 바꾸는 경우), 반사, 그리고 변형이다. 예를 들어 사람이 쿠션에 남긴 눌린 자국은 그 사람을 제거한 뒤에는 남아 있지 않아야 한다.

VOR 데이터셋 구축 과정. Blender로 생성한 합성 장면과 실제 촬영 영상을 결합한다. 합성 데이터는 선별된 3D 환경, 물체, 카메라 경로로 만들고, 실제 영상은 다양한 장면에서 촬영한 뒤 Ken Burns 움직임을 더한다. 이후 SAM2 분할과 수동 보정으로 전경 영상, 배경 영상, 해당 마스크가 서로 정렬된 삼중항을 만든다.

VOR 데이터셋 구축 과정. Blender로 생성한 합성 장면과 실제 촬영 영상을 결합한다. 합성 데이터는 선별된 3D 환경, 물체, 카메라 경로로 만들고, 실제 영상은 다양한 장면에서 촬영한 뒤 Ken Burns 움직임을 더한다. 이후 SAM2 분할과 수동 보정으로 전경 영상, 배경 영상, 해당 마스크가 서로 정렬된 삼중항을 만든다.

실제 원본 데이터는 고정 카메라로 물체가 있는 장면과 없는 장면을 촬영했다. 다양한 환경, 시간대, 날씨를 포함했다.

합성 데이터는 여러 시점에서 렌더링하고 다중 물체 상황을 만들었다. 실제 영상에서 나타날 법한 복잡하고 어려운 카메라 움직임을 의도적으로 넣었다. 연구진은 이 접근법이 다른 면에서는 유사한 Remove Objects with Side Effects in Videos(ROSE) 데이터셋에 사용된 방식보다 더 정교하고 많은 노력이 든다고 설명한다.

움직임의 다양성을 늘리기 위해 카메라로 촬영한 영상 쌍에 Ken Burns 효과를 적용했다. 미리 정한 14개 규칙에 따라 제어된 패닝, 줌, 가벼운 손떨림 같은 움직임을 추가했다. 각 쌍에서 다섯 가지 움직임 패턴을 표본화하되 잘라낸 영역이 원본 프레임 안에 머물도록 했다.

합성 물체와 여러 카메라 설정을 조합해 규모와 다양성을 더 늘렸다. 핵심 프레임에 수동으로 점 프롬프트를 지정하고 Segment Anything 2(SAM2)로 분할 결과를 다른 프레임에 전파했다. 결과를 정리하고 보정한 뒤, 학습용으로 검증된 전경·배경·마스크 삼중항을 구성했다.

최종 데이터는 실제 및 합성 짝 영상 60,000개에 걸친 총 145시간의 영상으로, 443개 장면에 366개 물체 범주를 포함한다.

EffectErase 네트워크는 변분 오토인코더(VAE†)를 통해 입력을 받아들이고, 잠재 표현의 노이즈 제거는 Wan2.1이 처리한다. 이 기반 위에서 EffectErase는 다음 구성 요소를 사용한다. 제거·삽입 공동 학습은 같은 영역에서 두 작업을 함께 학습한다. 작업 인식 영역 유도(TARG)는 물체 및 작업 토큰과 교차 어텐션을 사용해 물체와 그 효과 사이의 시공간 관계를 모델링하고 작업 전환을 가능하게 한다. 효과 일관성 손실은 제거와 삽입 작업에서 효과가 나타나는 영역을 정렬한다:

EffectErase 프레임워크의 구성도. 학습 중 짝 영상은 공유 잠재 공간에 인코딩되고 노이즈와 결합된 뒤, 작업 인식 교차 어텐션의 안내를 받는 확산 트랜스포머에서 처리된다. 효과 일관성 손실은 제거와 삽입 영역을 정렬해 두 작업이 같은 영역에 집중하도록 한다.

EffectErase 프레임워크의 구성도. 학습 중 짝 영상은 공유 잠재 공간에 인코딩되고 노이즈와 결합된 뒤, 작업 인식 교차 어텐션의 안내를 받는 확산 트랜스포머에서 처리된다. 효과 일관성 손실은 제거와 삽입 영역을 정렬해 두 작업이 같은 영역에 집중하도록 한다.

제거와 삽입 과정은 공유 확산 기반에서 함께 학습되므로 모델은 같은 영향 영역과 구조적 단서에 집중하게 된다.

물체가 있는 영상, 배경만 있는 영상, 마스크를 먼저 잠재 공간에 인코딩한다. 그다음 확산 학습용 노이즈를 추가하고, 모델은 작업별 유도 아래 깨끗한 표현을 복원하도록 학습한다. 가벼운 어댑터가 노이즈가 있는 특징과 제거 또는 삽입 조건을 결합한다. 따라서 두 작업은 감독 신호를 공유하면서도 제어 가능성을 유지한다.

작업 인식 영역 유도는 언어 토큰과 전경 물체에서 추출한 시각 특징을 결합해 작업별 신호를 만든다. 이때 CLIP을 사용해 일반적인 물체 토큰을 실제 이미지 내용에서 얻은 임베딩으로 대체한다. 결합된 표현은 교차 어텐션을 통해 기반 네트워크에 주입된다. 이를 통해 모델은 물체와 그 시각적 효과가 공간과 시간에 따라 어떻게 변하는지 추적하면서 제거와 삽입 사이를 유연하게 전환할 수 있다.

효과 일관성 손실은 제거와 삽입 과정이 같은 변화 영역에 집중하도록 강제한다. 두 작업 모두 같은 물체와 그 시각적 효과를 다루기 때문이다. 각 분기의 어텐션 맵을 소프트 영역 맵으로 결합한 뒤, 물체가 있는 영상과 배경 영상에서 계산한 차이 맵에 정렬해 조명과 그림자 같은 미세한 변화도 보존한다. 이 추가 손실은 삽입이 제거를 안내하도록 돕고 두 작업의 일관성을 유지한다.

데이터와 시험

연구진은 여러 이미지 인페인팅, 영상 인페인팅, 물체 제거 방법과 비교했다. 비교 대상은 OmniPaint, ObjectClear, VACE, DiffuEraser, ProPainter, ROSE, MiniMax-Remover다.

Wan2.1은 LoRA††를 사용해 VOR 데이터셋에서 832×480픽셀 해상도로 미세 조정했다. 학습에는 연속 81프레임을 무작위로 표본화했다. 이는 WAN의 실질적인 한계로, 이를 넘어서면 오류가 생기는 경향이 있다. 학습은 129,000회 반복했으며 배치 크기는 8이었다. 각각 80GB VRAM을 갖춘 H100 GPU 여덟 대를 사용했다. 학습률은 1×102로, LoRA 랭크는 256으로 설정했다.

ROSE-Benchmark 합성 자료는 시험에 사용된 유일한 외부 데이터셋이었다. 나머지 둘은 VOR-Eval, 즉 VOR 데이터셋의 시험용 분할과, 인터넷에서 수집한 움직이는 물체가 등장하는 실제 영상 195개로 구성된 VOR-Wild 시험 세트였다.

사용한 평가 지표는 최대 신호 대 잡음비(PSNR), 구조적 유사도 지수(SSIM), 학습 기반 지각적 이미지 패치 유사도(LPIPS), 프레셰 영상 거리(FVD)였다. VOR-Wild에서 생성한 영상 195개에 대한 사용자 연구도 고려했으며, 자원봉사자 20명의 평균 평가 점수를 반영했다.

또한 저자들은 QScore라는 지표를 고안했다. 이는 Qwen-VL 멀티모달 모델을 활용해 물체를 제거한 영상의 품질을 평가한다. 남은 시각적 결함이나 그림자·조명 효과처럼 제거되지 않은 환경적 영향을 기준으로 삼는다:

ROSE와 VOR 벤치마크의 정량 비교. 최고 결과는 굵은 글씨, 두 번째로 좋은 결과는 밑줄로 표시했다.

ROSE와 VOR 벤치마크의 정량 비교. 최고 결과는 굵은 글씨, 두 번째로 좋은 결과는 밑줄로 표시했다.

이 결과에 대해 저자들은 다음과 같이 설명한다:

‘[현재의] 이미지 인페인팅 방법은 시간적 모델링 없이 2D 모델로 개별 프레임을 처리하므로 영상의 시간적 일관성을 유지하지 못한다.

최근 영상 인페인팅 [방법]은 물체의 부수 효과를 명시적으로 모델링하지 않아 제거 결과가 부자연스럽다. 기존 영상 물체 제거 [방법] 역시 물체와 부수 효과 사이의 시공간 상관관계를 모델링하지 않으므로, 시각적 결함과 제거된 물체의 흔적을 남기는 경우가 많다.

‘전반적으로 EffectErase는 모든 데이터셋과 평가 지표에서 최고 수준의 성능을 달성한다. 영상 품질 지표 FVD에서 가장 좋은 점수를 기록해 생성 영상의 뛰어난 시간적 매끄러움과 일관성을 보여준다.

‘우리 방법은 QScore와 사용자 피드백 평가에서도 가장 높은 점수를 얻었다. 이는 시각적으로 설득력 있는 제거 결과를 만드는 효과를 한층 더 보여준다.’

정성 평가의 경우, 논문에서 제시한 정지 이미지 결과를 바로 아래에 실었다. 움직이는 결과는 프로젝트 사이트와 함께 제공된 YouTube 영상 발표에서도 볼 수 있다:

VOR-Eval의 가림, 그림자, 조명, 반사, 변형 사례에 대한 정성 비교. 인페인팅 방법은 마스크 밖의 효과를 제거하기 어렵고, 제거 모델은 눈에 띄는 결함을 남기는 경우가 많다. EffectErase는 대상 물체와 관련 효과를 모두 더 깔끔하게 없앤다. 더 높은 해상도는 원 논문을, 영상 사례는 프로젝트 사이트를 참고하기 바란다.

VOR-Eval의 가림, 그림자, 조명, 반사, 변형 사례에 대한 정성 비교. 인페인팅 방법은 마스크 밖의 효과를 제거하기 어렵고, 제거 모델은 눈에 띄는 결함을 남기는 경우가 많다. EffectErase는 대상 물체와 관련 효과를 모두 더 깔끔하게 없앤다. 더 높은 해상도는 원 논문을, 영상 사례는 프로젝트 사이트를 참고하기 바란다.

또한 프로젝트 사이트의 다양한 관련 사례를 살펴보기를 권한다. 아래에 미리보기를 실었으며 공식 YouTube 영상도 이 글 끝에 삽입했다:

클릭해 재생. EffectErase 프로젝트 사이트의 비교 사례. 앞서 설명한 주의사항을 고려해 더 높은 해상도와 추가 사례는 해당 사이트를 참고하기 바란다.

저자들은 다음과 같이 설명한다.

‘영상 인페인팅 [방법]은 마스크 영역에 시각적 결함을 자주 만들고, 제거된 물체가 유발한 부수 효과를 완전히 없애지 못한다. [ROSE]와 [MinMax-Remover] 같은 기존 접근법은 대상 물체 제거에는 뛰어나지만, 특히 가림, 그림자, 조명, 반사, 변형 상황에서는 부수 효과를 처리하는 데 여전히 어려움을 겪는다.

‘반면 EffectErase는 대상 물체와 관련 효과를 모두 효과적으로 없애 깨끗하고 일관된 고품질 결과를 만든다.’

마지막으로 연구진은 추가 학습 없이도 제거 대신 삽입 작업에 이 방법을 적용할 수 있다고 설명한다:

영상 물체 삽입 결과. EffectErase는 배경 내용을 보존하면서 물체를 넣고, 프레임 전반에 걸쳐 그림자와 반사처럼 물체가 유발하는 효과를 일관되게 생성한다.

영상 물체 삽입 결과. EffectErase는 배경 내용을 보존하면서 물체를 넣고, 프레임 전반에 걸쳐 그림자와 반사처럼 물체가 유발하는 효과를 일관되게 생성한다.

삽입 작업의 영상 결과는 해당 시점으로 연결되는 YouTube 영상에서 볼 수 있다. 이 영상은 글 끝에 시간 지정 없이도 삽입되어 있다.

결론

문헌 속 유사한 프로젝트들을 살펴보면, 범용 VFX 모델이 결국 이러한 기능도 특정 작업 하나가 아니라 다양한 효과를 위한 일반적인 ‘도구 상자’ 모델에 통합할 수 있기를 기대하는 이들이 많다.

그러나 여러 일을 두루 하는 도구의 한계를 고려하면, EffectErase 같은 전용 시스템이 이런 기능에서는 더 일반적인 접근법보다 우위를 유지하리라고 가정하는 것이 합리적으로 보인다. 다만 격차가 충분히 좁아져 별도 모델을 학습하는 추가 노력을 들일 가치가 없어질 수도 있다.

 

* 지식재산권의 출처에 관한 우려가 커지는 만큼 이런 출처가 모두 인용되기를 바란다. 다만 새 연구의 공개 자료에 3D 모델의 출처가 명시되어 있다 하더라도 나는 해당 참조를 찾지 못했다.

† 제시된 참고문헌은 2013년의 일반적인 해설 자료로 보이며, 사용한 VAE의 구체적인 내용은 설명하지 않는다.

†† 논문에서 가져온 이 설명은 의미가 불분명하다. 미세 조정과 LoRA는 요구사항이 매우 다른 별개의 과정이기 때문이다.

2026년 3월 21일 토요일 최초 게재 

머신러닝 분야 작가이자 인간 이미지 합성 도메인 전문가. Metaphysic.ai에서 연구 콘텐츠 책임자를 역임했으며, DNEG의 Brahma.ai로 통합될 때까지 근무했습니다.
웹사이트: martinanderson.ai
연락처: martin@martinanderson.ai