가우시안 스플래팅을 이용한 이미지 편집

폴란드와 영국의 연구자 간의 새로운 협력이 가우시안 스플래팅을 이용한 이미지 편집의 가능성을 제안한다. 이는 선택된 이미지의 일부를 일시적으로 3D 공간으로 해석하고, 사용자가 3D 표현을 수정 및 조작할 수 있도록 허용하며, 이후 변환을 적용한다.

고양이의 머리 방향을 변경하기 위해 관련 섹션을 가우시안 스플래팅을 통해 3D 공간으로 이동시키고, 사용자가 조작한 후 수정을 적용한다. 이 과정은 어도비 소프트웨어의 다양한 모달 기술과 유사하다. 소스: https://github.com/waczjoan/MiraGe/

가우시안 스플래팅 요소는 일시적으로 삼각형의 메시로 표현되며, ‘CGI 상태’에 들어가게 되며, 통합된 물리 엔진이 자연스러운 움직임을 해석할 수 있다. 이는 정적인 객체의 상태를 변경하거나 애니메이션을 생성하는 데 사용될 수 있다.

새로운 MiraGe 시스템에 통합된 물리 엔진은 애니메이션 또는 이미지의 정적인 변경을 위한 자연스러운 물리적 움직임의 해석을 수행할 수 있다.

이 과정에는 생성적 AI가 관여하지 않으며, 즉 라텐트 확산 모델(LDM)이 관여하지 않는다. 이는 어도비의 파이어플라이 시스템과 다르며, 파이어플라이 시스템은 어도비 스톡(구 포토리아)에 훈련된 생성적 AI를 사용한다.

시스템은 MiraGe라고 불리며, 선택된 이미지를 3D 공간으로 해석하고 기하학적 정보를 추론하며, 이는 선택된 이미지를 미러 이미지로 생성하고, 3D 좌표를 근사화하여 스플래트로 해석한다.

재생하기MiraGe 시스템을 사용하여 수동으로 변경되거나 물리 기반의 변형을 적용한 요소의 추가 예시입니다.

연구자들은 MiraGe 시스템을 이전 접근 방식과 비교하고, 목표 작업에서 최첨단 성능을 달성하는 것을 발견했다.

zBrush 모델링 시스템의 사용자들은 이 과정과 유사한 프로세스를熟悉할 것이다. zBrush를 사용하면 3D 모델을 ‘평면화’하고 2D 세부 사항을 추가할 수 있으며, 이를 통해 새로운 세부 사항을 모델에 통합할 수 있다. 이는 MiraGe 방법과 반대되는 ‘동결’ 프로세스이다.

파라미터화된 가우시안 스플래팅을 사용하여 MiraGe는 2D 이미지의 선택된 영역에 대한 높은 품질의 재구성을 생성하고, 일시적으로 3D로 선택된 영역에 소프트 바디 물리학을 적용할 수 있다.

연구 논문은 다음과 같이述한다:

‘우리는 2D 이미지를 인간이 사진이나 종이를 볼 때와 같이 평면 물체로 간주하는 모델을 제안한다. 이 모델은 3D 공간 내에서 평면 물체로 간주된다.

‘이 접근 방식은 직관적이고 유연한 이미지 편집을 가능하게 하며, 인간의 인식의 세부 사항을 포착하는 동시에 복잡한 변환을 가능하게 한다.’

새로운 논문은 MiraGe: 가우시안 스플래팅을 사용한 편집 가능한 2D 이미지라고 제목이 붙여져 있으며, 크라쿠프의 야기엘론 대학교와 케임브리지 대학교의 4명의 저자에 의해 작성되었다. 시스템의 전체 코드는 깃허브에 공개되었다.

연구자들이 이 과제를 어떻게 해결했는지 살펴보자.

방법

MiraGe 접근 방식은 가우시안 메시 스플래팅(GaMeS) 파라미터화를 사용한다. 이는 가우시안 스플래팅을 전통적인 CGI 메시로 해석하고, 이를 다양한 변형 기술에 적용할 수 있게 한다.

MiraGe는 ‘평면’ 가우시안을 2D 공간에서 해석하고, GaMeS를 사용하여 내용을 일시적으로 GSplat을 사용한 3D 공간으로 이동시킨다.

각 평면 가우시안은 삼각형의 구름으로 표현되며, 이를 ‘삼각형 수프’라고 부른다. 이는 이미지의 추론을 조작할 수 있게 한다. 소스: https://arxiv.org/pdf/2410.01521

위 이미지의 왼쪽 아래 구석에서 볼 수 있듯이, MiraGe는 편집할 이미지의 섹션을 ‘미러’ 이미지로 생성한다.

연구자들은 다음과 같이述한다:

‘우리는 두 개의 서로 반대되는 카메라를 사용하여, 원점을 중심으로 Y축에 대칭적으로 배치하고, 서로를 향해 방향을 잡는다. 첫 번째 카메라는 원래 이미지를 재구성하는 역할을 하며, 두 번째 카메라는 미러 반사를 모델링한다.

‘이미지는 3D 공간 내에서 투명한 트레이싱 페이퍼 시트로概念化되며, 반사는 수평으로 이미지를 뒤집음으로써 효과적으로 표현할 수 있다. 이 미러-카메라 설정은 생성된 반사의 신뢰성을 향상시키며, 시각적 요소를 정확하게 캡처하는 강력한 솔루션을 제공한다.’

논문은 MiraGe가 Blender와 같은 외부 물리 엔진을 사용할 수 있으며, Taichi_Elements에도 적용될 수 있다고述한다.

데이터 및 테스트

MiraGe의 이미지 품질 평가를 위한 테스트에서는 신호 대 노이즈 비율(SNR)과 MS-SIM 메트릭스를 사용했다.

사용된 데이터 세트는 Kodak Lossless True Color Image Suite와 DIV2K 검증 세트였다. 이러한 데이터 세트의 해상도는 Gaussian Image와의 비교에 적합했다. 다른 라이벌 프레임워크로는 SIREN, WIRE, NVIDIA의 Instant Neural Graphics Primitives(I-NGP), 및 NeuRBF가 있었다.

실험은 NVIDIA GEFORCE RTX 4070 노트북과 NVIDIA RTX 2080에서 수행되었다.

MiraGe는 선택된 이전 프레임워크에 대해 최첨단 결과를 제공한다.

이러한 결과에 대해 연구자들은 다음과 같이述한다:

‘우리의 제안은 두 데이터 세트 모두에서 이전 솔루션을 능가한다. 두 메트릭스를 사용한 품질은 모든 이전 접근 방식에 비해 상당한 개선을 보여준다.’

결론

MiraGe의 2D 가우시안 스플래팅 적용은 아직 초기 단계이지만, 이미지 편집을 위한 흥미로운 대안이 될 수 있다. 이는 확산 모델을 사용한 이미지 수정의 불확실성과 임의성을 피할 수 있는 방법이다.

확산 모델은 이미지의 작은 변경만을 수행할 수 있으며, 이는 의미적이고 종종 ‘과도한 상상력’을 가진 텍스트 기반 사용자 요청에 제한된다.

따라서 이미지의 일부를 일시적으로 3D 공간으로 가져가서 조작하고, 원래 이미지로 다시 적용하는 능력은 가우시안 스플래팅에 적합한 작업일 수 있다.

* 연구 논문에는 일부混乱이存在한다. 즉, ‘Amorphous-Mirage’가 가장 효과적이고 능력 있는 방법이라고 언급하는 동시에, 원치 않는 가우시안(아티팩트)을 생성하는 경향이 있다고述한다. 그러나 ‘Graphite-Mirage’는 더 유연하다고述한다. Amorphous-Mirage는 최고의 세부 사항을 제공하며, Graphite-Mirage는 최고의 유연성을 제공한다. 두 방법 모두 연구 논문에 제시되었으며, 저자의 선호도는 명확하지 않다.

최초로 게시된 날짜: 2024년 10월 3일