AI 모델은 흐릿한 이미지의 해상도를 60 배까지 향상시킬 수 있다

듀크 대학교의 연구자들은 매우 흐릿하고 픽셀화된 이미지를 높은 세부도로 렌더링할 수 있는 AI 모델을 개발했다. TechXplore에 따르면, 이 모델은 상대적으로 적은 픽셀을 사용하여 이미지의 해상도를 약 64 배까지 늘려서 현실적인 얼굴을 생성할 수 있다. 이 모델은 원본 이미지의 선 사이에 있는 특징을 상상하거나 추론한다.

이 연구는 초고해상도(super-resolution)의 예이다. 듀크 대학교의 컴퓨터 과학 팀의 신시아 루딘(Cynthia Rudin)은 TechXplore에 이 연구 프로젝트가 초고해상도에서 기록을 세웠다고 설명했다. 이전에는 इतन게 작은 시작 픽셀 샘플에서こんな한 이미지들이 생성된 적이 없다. 연구자들은 모델이 원본 저품질 이미지의 얼굴을 실제로 재생성하지 않는다는 것을 강조했다. 대신, 모델은 새로운 얼굴을 생성하며 이전에 존재하지 않았던 세부사항을 채운다. 이러한 이유로, 이 모델은 보안 시스템과 같은 곳에서 사용할 수 없다. 왜냐하면 모델은 초점이 맞지 않는 이미지를 실제 사람의 이미지로 변환할 수 없기 때문이다.

전통적인 초고해상도 기법은 이전에 학습한 이미지에 기반하여 흐릿한 이미지를 높은 해상도의 이미지로 변환하기 위해 필요한 픽셀을 추측한다.추가된 픽셀은 추측의 결과이므로 모든 픽셀이 주변 픽셀과 일치하지는 않으며 이미지의 특정 영역은模糊하거나歪曲될 수 있다. 듀크 대학교의 연구자들은 다른 방법으로 자신의 AI 모델을 훈련시켰다. 듀크 연구자들이 생성한 모델은 먼저 저해상도 이미지를 가져와서 시간이 지남에 따라 이미지에 세부사항을 추가한다. 모델은 높은 해상도의 AI 생성 얼굴을 참조하여 대상 이미지를 찾는다. 모델은 대상 이미지를 찾기 위해 생성된 얼굴과 일치하는 이미지를 찾는다.

연구 팀은 새로운 이미지를 생성하기 위해 적대적 생성 네트워크(Generative Adversarial Network, GAN) 모델을 생성했다. GAN은 실제 데이터셋에서 훈련된 두 개의 신경 네트워크로 구성된다. 하나의 네트워크는 실제 이미지와 유사한 가짜 이미지를 생성하는 역할을 한다. 다른 네트워크는 가짜 이미지를 실제 이미지와 구분하는 역할을 한다. 첫 번째 네트워크는 가짜 이미지가 실제 이미지와 구분될 때마다 통보를 받으며 실제 이미지와 구분할 수 없을 때까지 개선된다.

연구자들은 자신의 초고해상도 모델을 PULSE라고 명명했다. 이 모델은 일관적으로 높은 품질의 이미지를 생성한다. 다른 초고해상도 방법으로 높은 품질의 이미지를 생성할 수 없는 흐릿한 이미지를 입력해도 높은 품질의 이미지를 생성할 수 있다. 이 모델은 거의 구별할 수 없는 얼굴의 특징을 가진 이미지를 실제적인 얼굴로 생성할 수 있다. 예를 들어, 16×16 해상도의 얼굴 이미지를 입력하면 1024 x 1024 해상도의 이미지를 생성할 수 있다. 이 과정에서 수백만 개의 픽셀이 추가되어 머리카락, 주름, 조명과 같은 세부사항이 채워진다. 연구자들은 1440개의 PULSE 생성 이미지를 다른 초고해상도 기법으로 생성된 이미지와 비교했을 때, PULSE 생성 이미지가 일관적으로 최고의 점수를 받았다.

연구자들은 자신의 모델을 사람의 얼굴 이미지에 적용했지만, 동일한 기술을 거의 모든 객체에 적용할 수 있다. 다양한 객체의 저해상도 이미지를 사용하여 해당 객체 세트의 높은 해상도 이미지를 생성할 수 있다. 이는 현미경 이미지, 위성 이미지, 교육, 제조, 의료 등 다양한 산업과 분야에서 적용할 수 있는 가능성을 열어준다.