Pixelmator Intègre La Super-Résolution Propulsée Par L’IA Pour Ses Utilisateurs

Pixelmator a récemment activé pour les propriétaires de Pixelmator Pro, une application de manipulation de photos, l’utilisation d’un outil de super-résolution propulsé par l’IA.

La super-résolution permet d’améliorer les photos floues et à basse résolution, en améliorant la résolution de l’image. La technologie de super-résolution peut aiguiser les images de manière impressionnante, évoquant souvent le trope de « l’amélioration » souvent vu dans les émissions de télévision policières. Pixelmator a récemment annoncé l’inclusion de son outil « ML Super Resolution » dans la version Pro de son logiciel de retouche photo. La démonstration de Pixelmator de certains des résultats peut être vue ici.

Les tests préliminaires de l’outil montrent qu’il est capable de réduire le flou dans plusieurs types d’images, notamment le texte, les photographies et les illustrations. Comme le rapporte The Verge, les résultats créés par le programme semblent également être meilleurs que les autres outils de mise à l’échelle d’images, qui utilisent souvent des algorithmes tels que les algorithmes de plus proches voisins et bilinéaires.

La recherche sur la super-résolution a été menée par une variété de sociétés de technologie telles que Google (GOOGL ), Microsoft (MSFT ) et Nvidia. Plusieurs sociétés ont conçu leurs propres algorithmes de super-résolution, mais la méthode utilisée pour former les différents appareils de super-résolution utilise les mêmes principes de base.

ML Super Resolution, et d’autres outils de super-résolution, sont formés à l’aide de paires d’images à basse résolution et à haute résolution. Les images à basse résolution sont généralement des versions réduites des images à haute résolution régulières. Des comparaisons sont effectuées entre les images à basse résolution et à haute résolution, et les algorithmes d’apprentissage automatique apprennent comment les régions de pixels dans les images à haute résolution diffèrent des images à basse résolution. L’objectif est que les réseaux de neurones apprennent à distinguer les modèles de pixels qui conduiront à une image à plus haute résolution. Il peut ensuite utiliser ces modèles de différence pour prédire où ajouter des pixels à une image pour améliorer la résolution lorsqu’il est présenté avec une image non vue.

Les applications de super-résolution peuvent être créées avec diverses méthodes. Par exemple, une méthode de super-résolution est l’utilisation de Réseaux Adverses Génératifs (GANs). Les GANs sont en réalité deux réseaux de neurones opposés, empruntant des concepts à la théorie des jeux comme le jeu à somme nulle et le modèle acteur-critique. Essentiellement, le travail d’un réseau de neurones est de créer de fausses images, tandis que le travail de l’autre réseau est de détecter ces fausses images. Le réseau qui crée les faux est appelé le générateur, tandis que le réseau qui les détecte est le discriminateur.

Dans le cas de l’outil de super-résolution de Pixelmator, un réseau de neurones convolutif a été créé qui a également mis en œuvre un bloc « agrandir » qui met à l’échelle l’image après que les 29 couches de convolution aient scanné l’image. Le tableau d’images agrandi est ensuite post-traité et transformé en une image traditionnelle à résolution améliorée. Le réseau contient également des fonctions qui débruitent l’image et traitent les artefacts de compression, de sorte que ces aspects de l’image ne soient pas mis à l’échelle. Les algorithmes de Pixelmator sont beaucoup plus petits que les algorithmes utilisés dans les environnements de recherche, afin qu’ils puissent être inclus dans l’application Pixelmator Pro et exécutés sur une variété d’appareils. L’ensemble de données de formation est relativement petit par rapport aux autres ensembles de données utilisés pour des applications similaires, ns, juste 15000 échantillons ont été utilisés pour former les algorithmes. Selon The Verge, il existe d’autres outils de super-résolution disponibles pour les consommateurs. Par exemple, Adobe (ADBE ) dispose également de son propre outil de super-résolution dans sa suite Adobe Camera, mais l’outil de Pixelmator semble produire les images de haute qualité de manière plus cohérente.