Pixelmator Brengt AI-Gestuurde Super-Resolutie Naar Zijn Gebruikers

Pixelmator heeft onlangs eigenaren van Pixelmator Pro, een fotobewerkingsapp, de mogelijkheid gegeven om gebruik te maken van een super-resolutie-tool die door AI wordt aangedreven.

Super-resolutie maakt het mogelijk om vage, lage-resolutiefoto’s te verbeteren en de resolutie van het beeld te verbeteren. Super-resolutietechnologie kan beelden scherp maken met indrukwekkende resultaten, vaak door het “verbeteren”-trope dat vaak in misdaadseries wordt gezien. Pixelmator heeft onlangs de toevoeging van zijn “ML Super Resolution”-tool in de Pro-versie van zijn fotobewerkingssoftware aangekondigd. Een demonstratie van enkele van de resultaten van Pixelmator kan hier worden gezien.

Vroege tests van het instrument laten zien dat het in staat is om blur in meerdere soorten afbeeldingen te verminderen, waaronder tekst, foto’s en illustraties. Zoals gerapporteerd door The Verge, lijken de resultaten die door het programma worden gegenereerd ook beter te zijn dan andere image-upscaling-tools, die vaak algoritmes zoals Nearest Neighbors en Bilinear-algoritmes gebruiken.

Onderzoek naar super-resolutie is gestimuleerd door een aantal technologiebedrijven zoals Google (GOOGL ), Microsoft (MSFT ) en Nvidia. Meerdere bedrijven hebben hun eigen super-resolutie-algoritmes ontwikkeld, maar de methode die wordt gebruikt om de verschillende super-resolutie-apparaten te trainen, gebruikt dezelfde basisprincipes.

ML Super Resolutie, en andere super-resolutie-tools, worden getraind met behulp van paren van lage-resolutie- en hoge-resolutie-afbeeldingen. De lage-resolutie-afbeeldingen zijn meestal alleen maar geschaalde versies van de normale, hoge-resolutie-afbeeldingen. Vergelijkingen worden gemaakt tussen de lage-resolutie- en hoge-resolutie-afbeeldingen, en de machine learning-algoritmes leren hoe de regio’s van pixels in de hoge-resolutie-afbeeldingen verschillen van de lage-resolutie-afbeeldingen. Het doel is dat de neurale netwerken patronen van pixels leren die leiden tot een hogere resolutie-afbeelding. Het kan deze patronen van verschil dan gebruiken om te voorspellen waar pixels moeten worden toegevoegd aan een afbeelding om de resolutie te verbeteren wanneer het wordt gepresenteerd met een ongezien beeld.

Super-resolutie-toepassingen kunnen worden gemaakt met verschillende methoden. Zo is één methode van super-resolutie het gebruik van Generative Adversarial Networks (GANs). GANs zijn eigenlijk twee neurale netwerken die tegen elkaar worden uitgespeeld, waarbij concepten uit de speltheorie zoals het nulsomspel en het actor-critic-model worden gebruikt. In wezen is de taak van het ene neurale netwerk om nep-afbeeldingen te creëren, terwijl de taak van het andere netwerk is om deze nep-afbeeldingen te detecteren. Het netwerk dat de nep-afbeeldingen creëert, wordt de generator genoemd, terwijl het netwerk dat ze detecteert de discriminator wordt genoemd.

In het geval van Pixelmators Super-Resolutie-tool is een convolutioneel neurale netwerk gemaakt dat ook een “vergroot”-blok implementeert dat het beeld opschalt nadat de 29 convolutionele lagen het beeld hebben gescand. Het vergrote beeldarray wordt vervolgens nabewerkt en getransformeerd terug naar een traditioneel beeld met verbeterde resolutie. Het netwerk bevat ook functies die het beeld ontstoren en omgaan met compressie-artefacten, zodat deze aspecten van het beeld niet worden opgeschaald. Pixelmators algoritmes zijn veel kleiner dan de algoritmes die in onderzoeksomgevingen worden gebruikt, zodat ze kunnen worden opgenomen in de Pixelmator Pro-app en op een verscheidenheid aan apparaten kunnen worden uitgevoerd. De trainingsdataset is vrij klein in vergelijking met andere datasets die voor soortgelijke toepassingen worden gebruikt, ns, werden slechts 15000 samples gebruikt om de algoritmes te trainen.

Volgens The Verge zijn er andere super-resolutie-tools beschikbaar voor gebruik door consumenten. Zo heeft Adobe (ADBE ) bijvoorbeeld ook zijn eigen super-resolutie-tool in zijn Adobe Camera-suite, maar Pixelmators tool lijkt de meest consistent hoge-kwaliteit afbeeldingen te produceren.