AI 모델은 흐릿한 이미지를 촬영하고 해상도를 60배 향상시킬 수 있습니다.

Duke University의 연구원들은 매우 흐릿하고 픽셀화된 이미지를 가져와 매우 자세하게 렌더링할 수 있는 AI 모델을 개발했습니다.  TechXplore에 따르면, 모델은 비교적 적은 수의 픽셀을 사용하고 이미지를 확장하여 원본 이미지 해상도의 약 64배인 사실적으로 보이는 얼굴을 만들 수 있습니다. 모델은 원본 이미지의 선 사이에 있는 기능을 환각하거나 상상합니다.

이 연구는 초해상도의 한 예입니다. Duke University 컴퓨터 과학 팀의 Cynthia Rudin 역 TechXplore에 설명, 이 연구 프로젝트는 초해상도에 대한 기록을 세웠는데, 이렇게 작은 시작 픽셀 샘플에서 그런 느낌으로 이미지가 생성된 적이 없었습니다. 연구원들은 모델이 원래의 낮은 품질의 이미지에서 사람의 얼굴을 실제로 재현하지 않는다는 점을 강조하기 위해 주의를 기울였습니다. 대신 새로운 얼굴을 생성하여 이전에는 없었던 세부 정보를 채웁니다. 이러한 이유로 이 모델은 초점 이미지를 실제 사람의 이미지로 바꿀 수 없기 때문에 보안 시스템과 같은 용도로 사용할 수 없습니다.

기존의 초해상도 기술은 모델이 미리 학습한 이미지를 기반으로 이미지를 고해상도 이미지로 변환하는 데 필요한 픽셀을 추측하여 작동합니다. 추가된 픽셀은 추측의 결과이므로 모든 픽셀이 주변 픽셀과 일치하지 않으며 이미지의 특정 영역이 흐릿하거나 뒤틀려 보일 수 있습니다. Duke University의 연구원들은 AI 모델을 교육하는 다른 방법을 사용했습니다. Duke 연구원이 만든 모델은 먼저 저해상도 이미지를 촬영하고 시간이 지남에 따라 이미지에 세부 사항을 추가하여 고해상도 AI 생성 얼굴을 예로 참조하여 작동합니다. 모델은 AI가 생성한 얼굴을 참조하고 생성된 얼굴이 대상 이미지의 크기로 축소될 때 대상 이미지와 유사한 얼굴을 찾으려고 시도합니다.

연구팀은 새로운 이미지 생성을 처리하기 위해 Generative Adversarial Network 모델을 만들었습니다. GAN은 실제로 동일한 데이터 세트에서 훈련되고 서로 경쟁하는 두 개의 신경망입니다. 하나의 네트워크는 훈련 데이터 세트에서 실제 이미지를 모방하는 가짜 이미지를 생성하는 역할을 하고, 두 번째 네트워크는 진짜 이미지에서 가짜 이미지를 감지하는 역할을 합니다. 첫 번째 네트워크는 이미지가 가짜로 식별되면 알림을 받고 가짜 이미지가 진짜 이미지와 구별되지 않을 때까지 개선됩니다.

연구원들은 초고해상도 모델이라고 불렀습니다. 펄스, 다른 초고해상도 방법으로는 고품질 이미지를 생성할 수 없을 정도로 흐릿한 이미지가 제공되더라도 모델은 일관되게 고품질 이미지를 생성합니다. 이 모델은 얼굴의 특징을 거의 구별할 수 없는 이미지에서 사실적으로 보이는 얼굴을 만들 수도 있습니다. 예를 들어, 16×16 해상도의 얼굴 이미지가 주어지면 1024×1024 이미지를 생성할 수 있습니다. 이 과정에서 백만 개 이상의 픽셀이 추가되어 머리카락, 주름, 심지어 조명과 같은 세부 사항을 채웁니다. 연구자들이 사람들에게 다른 초고해상도 기술로 생성된 이미지와 비교하여 1440 PULSE 생성 이미지를 평가하도록 했을 때 PULSE 생성 이미지가 지속적으로 최고 점수를 받았습니다.

연구원들은 사람들의 얼굴 이미지에 모델을 사용했지만 그들이 사용하는 것과 동일한 기술을 거의 모든 물체에 적용할 수 있습니다. 다양한 물체의 저해상도 이미지를 사용하여 해당 물체 세트의 고해상도 이미지를 생성할 수 있으므로 현미경, 위성 이미지, 교육, 제조 및 의학에서 다양한 산업 및 분야에 대한 가능한 응용 프로그램을 열 수 있습니다.