기후 변화의 영향을 사진에 투영하는 것에 대한 생성적 적대적 네트워크

캐나다와 미국의 연구자 팀은 기후 변화의 치명적인 영향을 실제 사진에 투영하는 기계 학습 방법을 개발했으며, 생성적 적대적 네트워크(GAN)를 사용하여 ‘거리’를 줄이기 위한 목표를 가지고 있습니다. 즉, 기후 변화와 관련된 가상 또는 추상적인 시나리오에 대해 우리가 관련성을 느끼지 못하는 것을 말합니다.

ClimateGAN은 계산된 깊이 맵에서 기하학을 추정한 후 반사도를 추가하여 수면을 투영합니다. 출처: https://arxiv.org/pdf/2110.02871.pdf

이 프로젝트는 ClimateGAN이라고 불리며, 사용자가 홍수, 극한의 열, 기후 변화의 다른 심각한 결과로 영향을 받은 세계를 탐색할 수 있는 상호 작용 환경을 개발하려는 더广泛한 연구 노력의 일부입니다.

연구자들은 이니셔티브의 동기를 다음과 같이 설명합니다.

‘기후 변화는 인류에게 주요 위협이며, 기후 변화의 치명적인 결과를 방지하기 위한 조치는 정책 결정과 개인 행동의 변화가 포함됩니다. 그러나 조치를 취하기 위해서는 기후 변화의 영향을 이해해야 합니다. 그러나 이러한 영향은 추상적이고遠い 것으로 보일 수 있습니다. ‘

‘기후 변화의 잠재적인 결과를 투영하는 것은 기후 변화의 영향을 더 구체적으로 만들 수 있습니다. 예를 들어, 익숙한 장소에서 홍수를 투영하는 것은 기후 변화의 영향을 더 구체적으로 만들 수 있습니다.’

이니셔티브의 핵심 목표는 사용자가 주소를 입력하여(또는任意의 주소) 구글 스트리트 뷰의 해당 이미지의 기후 변화에 영향을 받은 버전을 볼 수 있는 시스템을 구축하는 것입니다. 그러나 ClimateGAN의 변환 알고리즘은 사진의 항목에 대한 높이의 일부 추정 지식을 필요로 합니다. 구글이 스트리트 뷰에 대한 메타데이터로 제공하는 정보에는 이러한 높이 정보가 포함되어 있지 않습니다. 따라서 이러한 높이 추정 알고리즘을 개발하는 것은 계속적인 도전입니다.

데이터 및 아키텍처

ClimateGAN은 두 단계의 비감독 이미지-이미지 번역 파이프라인을 사용합니다. 첫 번째 단계는 Masker 레이어로, 대상 이미지에서 수면의 수준을 추정합니다. 두 번째 단계는 Painter 모듈로, 수면의 경계 안에서 물을 현실적으로 렌더링합니다. 또한 물 위의 기하학의 반사도를 고려합니다.

ClimateGAN의 아키텍처. 입력 데이터는 공유 인코더를 통해 세 단계의 마스킹 프로세스로 진행된 후 Painter 모듈로 전달됩니다. 두 네트워크는 독립적으로 훈련되며, 새로운 이미지를 생성할 때만 함께 작동합니다.

대부분의 훈련 데이터는 CityScapes와 Mapillary 데이터셋에서 선택되었습니다. 그러나 홍수 이미지에 대한 기존 데이터가 상대적으로 부족하기 때문에, 연구자들은 기존의 사용 가능한 데이터셋과 Unity3D 게임 엔진으로 개발된 새로운 ‘가상 세계’를 결합했습니다.

Unity3D 가상 환경의 장면.

Unity3D 세계에는 약 1.5km의 지형이 포함되어 있으며, 도시, 郊外, 농촌 지역이 포함되어 있습니다. 연구자들은 이 지역을 ‘洪水’로 만들어서 ‘이전’과 ‘이후’ 이미지를 생성하여 ClimateGAN 프레임워크에 대한 추가적인 지면 진실을 생성했습니다.

Masker 유닛은 2018년 ADVENT 코드를 훈련에 사용하며, 2019년 프랑스 연구 이니셔티브 DADA의 발견에 따라 추가적인 데이터를 제공합니다. 연구자들은 또한 Masker 유닛에 입력 이미지의 의미에 대한 추가적인 정보를 제공하기 위해 분할 디코더를 추가했습니다.

Flood Mask Decoder는 가능한 물줄기를 계산하며, NVIDIA의 SPADE 인페인팅 프레임워크에 의해 구동됩니다.

클릭하여 확대. 함께 với 의미적 분할(세 번째 열), 깊이 맵 정보는 사진의 기하학을 구분하기 위한 지침을 제공합니다. 이것은 기계 학습 프로세스를 통해 추론할 수 있으며, 이러한 정보는 점점 더 소비자 수준의 모바일 장치 센서에 포함되고 있습니다. 가장 아래 행에서, ClimateGAN 아키텍처는 복잡한 장면의 기하학을 정확하게 캡처하지 못한 경우에도 원본 이미지의 ‘洪水’ 버전을 성공적으로 렌더링했습니다.

연구자들은 기존 이미지에 대한 높이 데이터의 부족으로 인해 임의로 물줄기를 설정하는 것이 어려움을 인정합니다. 또한 홍수 효과가 홍수 지역에만 제한되어 있으며, 여러 수준의 홍수(예: 초기 홍수의 후퇴 후)를 방법론에 추가하는 방법을 조사할 계획입니다.

ClimateGAN의 코드는 GitHub에 공개되었으며, 추가적인 렌더링된 이미지 예시도 포함되어 있습니다.

프로젝트의 GitHub 존재에서, 스모그는 도시 사진에 추가됩니다. 이것은 대부분의 VFX 실무자에게 익숙한 방식으로, 깊이 맵은 물질의 밀도를 증가시키는 재귀적인 ‘백아웃 마스크’로 사용됩니다.

품질 평가

결과 이미지의 품질을 평가하기 위한 지표는 180개의 다양한 유형의 구글 스트리트 뷰 이미지(도시 장면, 더 시골의 이미지 등)를 레이블링하여 생성되었습니다. 이미지들은 수동으로 ‘洪水 불가능’, ‘洪水 필수’, ‘洪水 가능’으로 레이블링되었습니다.

이것은 세 가지 지표를 형성했습니다. 첫 번째는 ‘오류율’입니다. 두 번째는 ‘F05 점수’입니다. 세 번째는 ‘에지 일관성’입니다. 비교를 위해, 연구자들은 이전의 이미지-이미지 번역 모델(InstaGAN, CycleGAN, MUNIT 등)을 테스트했습니다.

사용자 테스트에서, ClimateGAN은 다섯 개의 경쟁적인 IIT 아키텍처보다 더 높은 현실성을 달성했습니다. 파란색은 사용자가 ClimateGAN을 대안 방법보다 더 선호하는 정도를 나타냅니다.

연구자들은 높이 데이터의 부족으로 인해 임의로 물줄기를 설정하는 것이 어려움을 인정합니다. 또한 홍수 효과가 홍수 지역에만 제한되어 있으며, 여러 수준의 홍수(예: 초기 홍수의 후퇴 후)를 방법론에 추가하는 방법을 조사할 계획입니다.

ClimateGAN의 코드는 GitHub에 공개되었으며, 추가적인 렌더링된 이미지 예시도 포함되어 있습니다.

프로젝트의 GitHub 존재에서, 스모그는 도시 사진에 추가됩니다. 이것은 대부분의 VFX 실무자에게 익숙한 방식으로, 깊이 맵은 물질의 밀도를 증가시키는 재귀적인 ‘백아웃 마스크’로 사용됩니다. 출처: https://github.com/cc-ai/climategan