Pixelmator brengt AI-gestuurde superresolutie naar zijn gebruikers

Pixelmator heeft eigenaren van Pixelmator Pro, een app voor fotomanipulatie, onlangs in staat gesteld om gebruik te maken van een superresolutie-tool aangedreven door AI.

Dankzij superresolutie kunnen wazige foto's met een lage resolutie worden verbeterd en de resolutie van de afbeelding worden verbeterd. Superresolutietechnologie is in staat om beelden met een indrukwekkend effect te verscherpen, wat vaak de "verbeterende" trope oproept die vaak te zien is in misdaadshows. Pixelmator heeft onlangs de opname aangekondigd van zijn "ML Super Resolution" -tool in de Pro-versie van zijn fotobewerkingssoftware. Pixelmator's demonstratie van enkele van de resultaten is te zien hier.

Vroege tests van de tool laten zien dat het onscherpte in meerdere soorten afbeeldingen kan verminderen, waaronder tekst, foto's en illustraties. Als gerapporteerd door The Verge, lijken de resultaten van het programma ook beter te zijn dan andere tools voor het opschalen van afbeeldingen, die vaak gebruikmaken van algoritmen zoals Nearest Neighbours en Bilinear-algoritmen.

Onderzoek naar superresolutie is uitgevoerd door verschillende technologiebedrijven zoals Google, Microsoft en Nvidia. Meerdere bedrijven hebben hun eigen superresolutie-algoritmen ontworpen, maar de methode die wordt gebruikt om de verschillende superresolutie-apparaten te trainen, gebruikt dezelfde basisprincipes.

ML Super Resolution en andere superresolutietools worden getraind met behulp van paren afbeeldingen met lage en hoge resolutie. De afbeeldingen met een lage resolutie zijn doorgaans slechts verkleinde versies van de gewone afbeeldingen met een hoge resolutie. Er worden vergelijkingen gemaakt tussen de afbeeldingen met lage en hoge resolutie, en de machine learning-algoritmen leren hoe de pixelgebieden in de afbeeldingen met hoge resolutie verschillen van de afbeeldingen met lage resolutie. Het doel is dat de neurale netwerken patronen van pixels leren onderscheiden, wat zal leiden tot een beeld met een hogere resolutie. Vervolgens kan het deze verschilpatronen gebruiken om te voorspellen waar pixels aan een afbeelding moeten worden toegevoegd om de resolutie te verbeteren wanneer deze wordt gepresenteerd met een onzichtbare afbeelding.

Toepassingen met superresolutie kunnen op verschillende manieren worden gemaakt. Bijvoorbeeld, één methode van superresolutie is het gebruik van Generatieve tegengestelde netwerken (GAN's). GAN's zijn in feite twee neurale netwerken die tegenover elkaar staan ​​en concepten uit de speltheorie lenen, zoals het nulsomspel en het acteur-criticusmodel. In wezen is het de taak van het ene neurale netwerk om nepbeelden te maken, terwijl het de taak van het andere netwerk is om deze nepbeelden te detecteren. Het netwerk dat de vervalsingen maakt, wordt de generator genoemd, terwijl het netwerk dat ze detecteert de discriminator is.

In het geval van de Super-Resolution-tool van Pixelmator, een convolutioneel neuraal netwerk is gemaakt dat ook een "vergroot" -blok implementeerde dat het beeld opschaalt nadat de 29 convolutionele lagen het beeld hebben gescand. De vergrote beeldreeks wordt vervolgens nabewerkt en weer omgezet in een traditioneel beeld met verbeterde resolutie. Het netwerk bevat ook functies die het beeld denoise en omgaan met compressie-artefacten, zodat deze aspecten van het beeld niet worden opgeschaald. De algoritmen van Pixelmator zijn veel kleiner dan de algoritmen die in onderzoeksinstellingen worden gebruikt, zodat ze kunnen worden opgenomen in de Pixelmator Pro-app en op verschillende apparaten kunnen worden uitgevoerd. De trainingsdataset is vrij klein in vergelijking met andere datasets die voor vergelijkbare toepassingen worden gebruikt, er zijn slechts 15000 voorbeelden gebruikt om de algoritmen te trainen.

Volgens The Verge zijn er andere superresolutie-tools beschikbaar voor gebruik door consumenten. Adobe heeft bijvoorbeeld ook zijn eigen superresolutie-tool in zijn Adobe Camera-suite, maar de tool van Pixelmator lijkt de meest consistente afbeeldingen van hoge kwaliteit te produceren.