O Pixelmator traz a Super Resolução impulsionada por IA para seus usuários

O Pixelmator recentemente habilitou os proprietários do Pixelmator Pro, um aplicativo de manipulação de fotos, a usar uma ferramenta de super-resolução impulsionada por IA.

A super-resolução permite que fotos borradas e de baixa resolução sejam aprimoradas e a resolução da imagem seja melhorada. A tecnologia de super-resolução é capaz de aprimorar as imagens de forma impressionante, muitas vezes evocando o tropo de “aprimoramento” que é frequentemente visto em programas de crime. O Pixelmator recentemente anunciou a inclusão de sua ferramenta “ML Super Resolução” na versão Pro de seu software de edição de fotos. A demonstração do Pixelmator de alguns dos resultados pode ser vista aqui.

Testes iniciais da ferramenta mostram que ela é capaz de reduzir o borrão em vários tipos de imagens, incluindo texto, fotografias e ilustrações. Como relatado pelo The Verge, os resultados criados pelo programa também parecem ser melhores do que outras ferramentas de escalonamento de imagens, que muitas vezes utilizam algoritmos como Nearest Neighbors e Bilinear.

A pesquisa sobre super-resolução tem sido impulsionada por várias empresas de tecnologia, como Google (GOOGL ), Microsoft (MSFT ) e Nvidia. Múltiplas empresas projetaram seus próprios algoritmos de super-resolução, mas o método usado para treinar os dispositivos de super-resolução usa os mesmos princípios básicos.

A ML Super Resolução e outras ferramentas de super-resolução são treinadas usando pares de imagens de baixa resolução e alta resolução. As imagens de baixa resolução são tipicamente apenas versões reduzidas das imagens de alta resolução regulares. Comparações são feitas entre as imagens de baixa resolução e alta resolução, e os algoritmos de aprendizado de máquina aprendem como as regiões de pixels nas imagens de alta resolução são diferentes das imagens de baixa resolução. O objetivo é que as redes neurais aprendam a distinguir padrões de pixels que levarão a uma imagem de maior resolução. Ela pode então usar esses padrões de diferença para prever onde adicionar pixels a uma imagem para melhorar a resolução quando é apresentada com uma imagem não vista.

As aplicações de super-resolução podem ser criadas com vários métodos. Por exemplo, um método de super-resolução é o uso de Redes Adversárias Generativas (GANs). As GANs são basicamente duas redes neurais competindo umas contra as outras, emprestando conceitos da Teoria dos Jogos, como o jogo de soma zero e o modelo ator-crítico. Basicamente, o trabalho de uma rede neural é criar imagens falsas, enquanto o trabalho da outra rede é detectar essas imagens falsas. A rede que cria as falsas é chamada de geradora, enquanto a rede que as detecta é chamada de discriminadora.

No caso da ferramenta de Super-Resolução do Pixelmator, uma rede neural convolucional foi criada que também implementou um bloco “ampliar” que amplia a imagem após as 29 camadas convolucionais escanearem a imagem. A matriz de imagem ampliada é então pós-processada e transformada de volta em uma imagem tradicional com resolução aprimorada. A rede também contém funções que reduzem o ruído da imagem e lidam com artefatos de compressão, para que esses aspectos da imagem não sejam ampliados. Os algoritmos do Pixelmator são muito menores do que os algoritmos usados em ambientes de pesquisa, para que possam ser incluídos no aplicativo Pixelmator Pro e executados em uma variedade de dispositivos. O conjunto de dados de treinamento é bastante pequeno em comparação com outros conjuntos de dados usados para aplicações semelhantes, apenas 15.000 amostras foram usadas para treinar os algoritmos.

De acordo com o The Verge, existem outras ferramentas de super-resolução disponíveis para uso dos consumidores. Por exemplo, a Adobe (ADBE ) também tem sua própria ferramenta de super-resolução em sua suíte Adobe Camera, mas a ferramenta do Pixelmator parece produzir as imagens de maior qualidade de forma mais consistente.