Pixelmator, 사용자에게 AI 기반 초고해상도 제공

Pixelmator는 최근 사진 조작 앱인 Pixelmator Pro 소유자가 AI로 구동되는 초고해상도 도구를 사용할 수 있도록 했습니다.

초고해상도는 흐릿한 저해상도 사진을 향상시키고 이미지의 해상도를 향상시킵니다. 초고해상도 기술은 이미지를 인상적인 효과로 선명하게 할 수 있으며 종종 범죄 쇼에서 자주 볼 수 있는 "향상" 비유를 불러일으킵니다. Pixelmator는 최근 사진 편집 소프트웨어의 Pro 버전에 "ML Super Resolution" 도구를 포함한다고 발표했습니다. 일부 결과에 대한 Pixelmator의 데모를 볼 수 있습니다. 여기에서 지금 확인해 보세요..

이 도구의 초기 테스트에서는 텍스트, 사진 및 일러스트레이션을 포함한 여러 유형의 이미지에서 흐림을 줄일 수 있음을 보여줍니다. 처럼 The Verge보고, 프로그램에 의해 생성된 결과는 Nearest Neighbors 및 Bilinear 알고리즘과 같은 알고리즘을 자주 활용하는 다른 이미지 업스케일링 도구보다 나은 것 같습니다.

Google, Microsoft 및 Nvidia와 같은 다양한 기술 회사에서 초고해상도에 대한 연구를 주도했습니다. 여러 회사에서 자체 초해상도 알고리즘을 설계했지만 서로 다른 초해상도 장치를 교육하는 데 사용되는 방법은 동일한 기본 원칙을 사용합니다.

ML 초해상도 및 기타 초해상도 도구는 저해상도 및 고해상도 이미지 쌍을 사용하여 학습됩니다. 저해상도 이미지는 일반적으로 일반 고해상도 이미지의 축소 버전입니다. 저해상도 이미지와 고해상도 이미지를 비교하고, 머신러닝 알고리즘은 고해상도 이미지의 픽셀 영역이 저해상도 이미지와 어떻게 다른지 학습합니다. 목표는 신경망이 더 높은 해상도의 이미지로 이어지는 픽셀 패턴을 구별하는 방법을 학습하는 것입니다. 그런 다음 이러한 차이 패턴을 사용하여 이미지에 보이지 않는 이미지가 표시될 때 해상도를 향상시키기 위해 이미지에 픽셀을 추가할 위치를 예측할 수 있습니다.

다양한 방법으로 초고해상도 응용 프로그램을 만들 수 있습니다. 예를 들어, 초고해상도의 한 가지 방법 의 사용이다 GAN (Generative Adversarial Networks). GAN은 실제로 제로섬 게임 및 배우 비평 모델과 같은 게임 이론의 개념을 차용한 서로 맞붙은 두 개의 신경망입니다. 기본적으로 한 신경망의 작업은 가짜 이미지를 만드는 것이고 다른 신경망의 작업은 이러한 가짜 이미지를 감지하는 것입니다. 가짜를 만드는 네트워크를 제너레이터라고 하고 가짜를 감지하는 네트워크를 판별자라고 합니다.

Pixelmator의 Super-Resolution 도구의 경우, 컨벌루션 신경망이 생성되었습니다. 또한 29개의 컨벌루션 레이어가 이미지를 스캔한 후 이미지를 확대하는 "확대" 블록을 구현했습니다. 확대된 이미지 배열은 후처리되어 해상도가 향상된 기존 이미지로 다시 변환됩니다. 네트워크에는 이미지의 노이즈를 제거하고 압축 아티팩트를 처리하는 기능도 포함되어 있어 이미지의 이러한 측면이 업스케일링되지 않습니다. Pixelmator의 알고리즘은 Pixelmator Pro 앱에 포함되어 다양한 장치에서 실행될 수 있도록 연구 설정에 사용되는 알고리즘보다 훨씬 작습니다. 교육 데이터 세트는 유사한 애플리케이션에 사용되는 다른 데이터 세트와 비교할 때 상당히 작습니다. 단 15000개의 샘플이 알고리즘 교육에 사용되었습니다.

The Verge에 따르면 소비자가 사용할 수 있는 다른 초고해상도 도구가 있습니다. 예를 들어 Adobe는 Adobe Camera 제품군에 자체 초고해상도 도구도 있지만 Pixelmator의 도구는 가장 일관된 고품질 이미지를 생성하는 것 같습니다.