픽셀매터, AI 기반 슈퍼 해상도 기능 제공

픽셀매터는 최근 픽셀매터 프로(Pixelmator Pro) 사용자에게 AI 기반의 슈퍼 해상도 기능을 제공하기 시작했습니다.

슈퍼 해상도 기능은 흐릿한 저해상도 사진을 향상시키고 이미지의 해상도를 높이는 것을 가능하게 합니다. 슈퍼 해상도 기술은 이미지를 놀라운 효과로 선명하게 만들 수 있으며, 종종 범죄 드라마에서 보이는 “강화” 트로프를 연상시킵니다. 픽셀매터는 최근 프로 버전의 사진 편집 소프트웨어에 “ML 슈퍼 해상도” 도구를 포함했다고 발표했습니다. 픽셀매터의 데모는 일부 결과를 보여주고 있습니다.

도구의 초기 테스트 결과, 텍스트, 사진, 일러스트레이션 등 다양한 유형의 이미지에서 블러를 줄일 수 있는 것으로 나타났습니다. The Verge에 따르면, 프로그램이 생성한 결과는 다른 이미지 업스케일링 도구보다 더 좋으며, 이러한 도구는 일반적으로 가장 가까운 이웃(Nearest Neighbors) 및 이중 선형(Bilinear) 알고리즘과 같은 알고리즘을 사용합니다.

슈퍼 해상도에 대한 연구는 구글, 마이크로소프트, 엔비디아와 같은 여러 기술 회사에 의해 주도되어 왔습니다. 여러 회사가 자신의 슈퍼 해상도 알고리즘을 설계했지만, 차이점을 학습하는 데 사용되는 방법은 기본적으로 동일합니다.

(GOOGL ) (MSFT )

ML 슈퍼 해상도 및 기타 슈퍼 해상도 도구는 저해상도 및 고해상도 이미지의 쌍을 사용하여 훈련됩니다. 저해상도 이미지는 일반적으로 정식 고해상도 이미지의 축소된 버전입니다. 저해상도 및 고해상도 이미지를 비교하고, 기계 학습 알고리즘이 고해상도 이미지의 픽셀 영역과 저해상도 이미지의 차이를 학습합니다. 목표는 신경망이 더 높은 해상도의 이미지를 생성할 수 있는 픽셀 패턴을 학습하여 미래에 보지 못한 이미지에 대한 해상도를 향상시키는 것입니다.

슈퍼 해상도 응용 프로그램은 다양한 방법으로 생성될 수 있습니다. 예를 들어, 슈퍼 해상도 방법 중 하나는 생성적 적대적 네트워크(Generative Adversarial Networks, GANs)를 사용하는 것입니다. GANs는 실제 이미지와 가짜 이미지를 생성하는 두 개의 신경망으로, 제로섬 게임 및 액터-크리틱 모델과 같은 게임 이론의 개념을 차용합니다. 본질적으로, 한 신경망의 작업은 가짜 이미지를 생성하는 것이며, 다른 네트워크의 작업은 이러한 가짜 이미지를 감지하는 것입니다. 가짜 이미지를 생성하는 네트워크를 생성자라고 하며, 가짜 이미지를 감지하는 네트워크를 판별자라고 합니다.

픽셀매터의 슈퍼 해상도 도구의 경우, 29개의 컨볼루션 계층이 이미지를 스캔한 후 이미지 크기를 늘리는 “확대” 블록이 구현된 컨볼루션 신경망이 생성되었습니다. 확대된 이미지 배열은 이후 전통적인 이미지로 변환되어 해상도가 향상됩니다. 네트워크에는 또한 이미지 노イズ를 제거하고 압축 아티팩트를 처리하는 기능이 포함되어 있으므로 이러한 이미지는 업스케일링되지 않습니다. 픽셀매터의 알고리즘은 연구 환경에서 사용되는 알고리즘보다 훨씬 작으며, 픽셀매터 프로 앱에 포함되어 다양한 장치에서 실행될 수 있도록 설계되었습니다. 훈련 데이터셋은 비교적 작으며, 알고리즘을 훈련시키기 위해 약 15,000개의 샘플만 사용되었습니다.

The Verge에 따르면, 소비자가 사용할 수 있는 다른 슈퍼 해상도 도구도 있습니다. 예를 들어, Adobe (ADBE ) cũng Adobe Camera 스위트에 자신의 슈퍼 해상도 도구를 가지고 있지만, 픽셀매터의 도구는 가장 일관된 고품질 이미지를 생성하는 것으로 보입니다.