Pixelmator bringt AI-getriebene Super-Auflösung für seine Benutzer

Pixelmator hat kürzlich den Besitzern von Pixelmator Pro, einer Foto-Manipulations-App, die Möglichkeit gegeben, ein Super-Auflösungswerkzeug zu nutzen, das von künstlicher Intelligenz (KI) angetrieben wird.

Super-Auflösung ermöglicht es, unscharfe, niedrig auflösende Fotos zu verbessern und die Auflösung des Bildes zu erhöhen. Super-Auflösungstechnologie kann Bilder zu beeindruckenden Effekten schärfen, oft mit dem “Verbesserung”-Tropus, der oft in Krimiserien zu sehen ist. Pixelmator hat kürzlich die Einführung seines “ML Super Resolution”-Werkzeugs in der Pro-Version seiner Foto-Bearbeitungs-Software angekündigt. Pixelmators Demonstration einiger der Ergebnisse kann hier gesehen werden.

Frühe Tests des Werkzeugs zeigen, dass es in der Lage ist, Unschärfen in verschiedenen Arten von Bildern zu reduzieren, einschließlich Text, Fotografien und Illustrationen. Wie von The Verge berichtet, scheinen die von dem Programm erstellten Ergebnisse auch besser zu sein als andere Bild-Vergrößerungswerkzeuge, die oft Algorithmen wie Nearest Neighbors und Bilinear-Algorithmen verwenden.

Die Forschung zu Super-Auflösung wurde von verschiedenen Technologie-Unternehmen wie Google (GOOGL ), Microsoft (MSFT ) und Nvidia (NVDA ) vorangetrieben. Mehrere Unternehmen haben ihre eigenen Super-Auflösungs-Algorithmen entwickelt, aber die Methode, die zum Trainieren der verschiedenen Super-Auflösungs-Geräte verwendet wird, basiert auf den gleichen grundlegenden Prinzipien.

ML Super Resolution und andere Super-Auflösungswerkzeuge werden mit Paaren von niedrig auflösenden und hoch auflösenden Bildern trainiert. Die niedrig auflösenden Bilder sind in der Regel nur verkleinerte Versionen der regulären, hoch auflösenden Bilder. Vergleiche werden zwischen den niedrig auflösenden und hoch auflösenden Bildern angestellt, und die maschinellen Lernalgorithmen lernen, wie die Regionen von Pixeln in den hoch auflösenden Bildern sich von den niedrig auflösenden Bildern unterscheiden. Das Ziel ist, dass die neuronalen Netze Muster von Pixeln lernen, die zu einem Bild mit höherer Auflösung führen. Sie können dann diese Muster von Unterschieden verwenden, um vorherzusagen, wo Pixel hinzugefügt werden müssen, um die Auflösung eines Bildes zu verbessern, wenn es mit einem unbekannten Bild konfrontiert wird.

Super-Auflösungs-Anwendungen können mit verschiedenen Methoden erstellt werden. Zum Beispiel ist eine Methode der Super-Auflösung die Verwendung von Generative Adversarial Networks (GANs). GANs sind eigentlich zwei neuronale Netze, die gegeneinander antreten, und konkurrieren miteinander, indem sie Konzepte aus der Spieltheorie wie das Nullsummenspiel und das Actor-Critic-Modell verwenden. Im Wesentlichen ist die Aufgabe eines neuronalen Netzes, gefälschte Bilder zu erstellen, während die Aufgabe des anderen Netzes darin besteht, diese gefälschten Bilder zu erkennen. Das Netz, das die Fälschungen erstellt, wird als Generator bezeichnet, während das Netz, das sie erkennt, als Diskriminator bezeichnet wird.

Im Falle von Pixelmators Super-Auflösungswerkzeug wurde ein konvolutionales neuronales Netz erstellt, das auch einen “Vergrößerungs”-Block implementierte, der das Bild nach den 29 konvolutionellen Schichten vergrößert. Das vergrößerte Bildarray wird dann nachbearbeitet und in ein traditionelles Bild mit verbesserter Auflösung umgewandelt. Das Netz enthält auch Funktionen, die das Bild entstören und mit Komprimierungsartefakten umgehen, so dass diese Aspekte des Bildes nicht vergrößert werden. Pixelmators Algorithmen sind viel kleiner als die Algorithmen, die in Forschungsumgebungen verwendet werden, damit sie in die Pixelmator Pro-App integriert und auf verschiedenen Geräten ausgeführt werden können. Das Trainings-Datenset ist ziemlich klein im Vergleich zu anderen Datensätzen, die für ähnliche Anwendungen verwendet werden, nur 15.000 Samples wurden verwendet, um die Algorithmen zu trainieren.

Laut The Verge gibt es andere Super-Auflösungswerkzeuge, die für den Einsatz durch Verbraucher verfügbar sind. Zum Beispiel hat Adobe (ADBE ) auch ein eigenes Super-Auflösungswerkzeug in seinem Adobe Camera-Set, aber Pixelmators Werkzeug scheint die meisten konsistenten hochwertigen Bilder zu produzieren.