AI 모델은 흐릿한 이미지의 해상도를 60배까지 향상시킬 수 있다

듀크 대학교의 연구자들은 매우 흐릿하고 픽셀화된 이미지를 높은 세부도로 렌더링할 수 있는 AI 모델을 개발했다. TechXplore에 따르면, 이 모델은 상대적으로 적은 픽셀을 사용하여 이미지를 확대하여 사실적인 얼굴을 생성할 수 있으며, 이는 원래 이미지의 해상도보다 약 64배 더 높다. 이 모델은 원래 이미지의 선 사이에 있는 특징을 상상하거나 추측한다.

이 연구는 超解像度의 예이다. 듀크 대학교의 컴퓨터 과학 팀의 신시아 루딘(Cynthia Rudin)은 TechXplore에 설명했다, 이 연구 프로젝트는 시작 픽셀의 작은 샘플에서 생성된 이미지와 같은 수준의 超解像度를 달성한 예가 없기 때문에 超解像度 기록을 세웠다. 연구자들은 모델이 실제로 원래 저품질 이미지의 얼굴을 재현하지 않는다는 점을 강조했다. 대신, 모델은 새로운 얼굴을 생성하며, 이전에 없던 세부사항을 채운다. 이러한 이유로, 모델은 보안 시스템과 같은 곳에서 사용할 수 없으며, 초점이 맞지 않는 이미지를 실제 사람의 이미지로 변환할 수 없다.

전통적인 超解像度 기술은 모델이 事前 학습한 이미지에 기반하여 높은 해상도의 이미지로 변환하기 위해 필요한 픽셀을 추측한다. 추가된 픽셀은 추측에 기반하므로, 모든 픽셀이 주변 픽셀과 일치하지는 않으며, 이미지의某些 영역이模糊하거나歪曲된 것처럼 보일 수 있다. 듀크 대학교의 연구자들은 다른 방법으로 자신의 AI 모델을 훈련시켰다. 듀크 연구자들이 생성한 모델은 먼저 저해상도 이미지를 가져와서 시간이 지남에 따라 이미지에 세부사항을 추가하며, 높은 해상도의 AI 생성 얼굴을 참조한다. 모델은 AI 생성 얼굴을 참조하여 대상 이미지와 유사한 것을 찾으려고 시도하며, 생성된 얼굴을 대상 이미지의 크기로 축소한다.

연구 팀은 새로운 이미지 생성을 처리하기 위해 생성적 적대 신경망(Generative Adversarial Network) 모델을 생성했다. GAN은 실제로 두 개의 신경망으로, 동일한 데이터셋에서 훈련되고 서로에 대해 경쟁한다. 하나의 네트워크는 실제 이미지와 유사한 가짜 이미지를 생성하는 책임이 있으며, 두 번째 네트워크는 가짜 이미지와 실제 이미지를 구분하는 책임이 있다. 첫 번째 네트워크는 가짜 이미지가 실제 이미지와 구분되지 않을 때까지 개선된다.

연구자들은 자신의 超解像度 모델을 PULSE라고 명명했으며, 모델은 일관되게 높은 품질의 이미지를 생성한다. 다른 超解像度 방법으로는 높은 품질의 이미지를 생성할 수 없는 흐릿한 이미지를 입력으로 받더라도 높은 품질의 이미지를 생성할 수 있다. 모델은 거의 구분할 수 없는 얼굴의 특징을 가진 이미지를 실제적인 얼굴로 생성할 수 있다. 예를 들어, 16×16 해상도의 얼굴 이미지를 입력으로 받으면, 1024 x 1024 이미지로 생성할 수 있다. 이 과정에서 수백만 개의 픽셀이 추가되어, 머리카락의 가닥, 주름, 조명과 같은 세부사항이 채워진다. 연구자들이 사람들에게 1440개의 PULSE 생성 이미지를 다른 超解像度 기술로 생성된 이미지와 비교하여 평가하도록 요청했을 때, PULSE 생성 이미지는 일관되게 최고의 평가를 받았다.

연구자들은 자신의 모델을 사람의 얼굴 이미지에 사용했지만, 동일한 기술을 거의 모든 객체에 적용할 수 있다. 다양한 객체의 저해상도 이미지를 사용하여 해당 객체 세트의 높은 해상도 이미지를 생성할 수 있으며, 이는 현미경, 위성 이미지, 교육, 제조, 의료 등 다양한 산업과 분야에서 응용할 수 있다.