Pixelmator porta la super-risoluzione guidata da AI ai suoi utenti

Pixelmator ha recentemente abilitato i proprietari di Pixelmator Pro, un’app di manipolazione delle foto, a utilizzare uno strumento di super-risoluzione alimentato da AI.

La super-risoluzione consente di migliorare le foto sfocate e a bassa risoluzione, migliorando la risoluzione dell’immagine. La tecnologia di super-risoluzione è in grado di nitidare le immagini con effetti impressionanti, spesso evocando il tropo dell'”ampliamento” che si vede spesso nelle serie televisive di crimine. Pixelmator ha recentemente annunciato l’inclusione del suo strumento “ML Super Resolution” nella versione Pro del suo software di editing foto. La dimostrazione di Pixelmator di alcuni dei risultati può essere vista qui.

I test preliminari dello strumento mostrano che è in grado di ridurre la sfocatura in diversi tipi di immagini, tra cui testo, fotografie e illustrazioni. Come riportato da The Verge, i risultati creati dal programma sembrano anche migliori rispetto ad altri strumenti di upscaling delle immagini, che spesso utilizzano algoritmi come Nearest Neighbors e Bilinear.

La ricerca condotta sulla super-risoluzione è stata guidata da diverse aziende tecnologiche come Google, Microsoft e Nvidia. Molte aziende hanno progettato i propri algoritmi di super-risoluzione, ma il metodo utilizzato per addestrare i dispositivi di super-risoluzione utilizza gli stessi principi di base.

ML Super Resolution e altri strumenti di super-risoluzione sono addestrati utilizzando coppie di immagini a bassa e alta risoluzione. Le immagini a bassa risoluzione sono tipicamente solo versioni ridotte delle immagini a alta risoluzione regolari. Vengono effettuate confronti tra le immagini a bassa e alta risoluzione e gli algoritmi di apprendimento automatico imparano come le aree di pixel nelle immagini a alta risoluzione sono diverse dalle immagini a bassa risoluzione. L’obiettivo è che le reti neurali imparino a distinguere modelli di pixel che porteranno a un’immagine a risoluzione più alta. Ciò può quindi utilizzare questi modelli di differenza per prevedere dove aggiungere pixel a un’immagine per migliorare la risoluzione quando viene presentata con un’immagine non vista.

Le applicazioni di super-risoluzione possono essere create con una varietà di metodi. Ad esempio, un metodo di super-risoluzione è l’utilizzo di Generative Adversarial Networks (GANs). Le GAN sono in realtà due reti neurali opposte, che utilizzano concetti della teoria dei giochi come il gioco a somma zero e il modello attore-critico. In sostanza, il lavoro di una rete neurale è quello di creare immagini false, mentre il lavoro dell’altra rete è quello di rilevare queste immagini false. La rete che crea le immagini false è chiamata generatore, mentre la rete che le rileva è il discriminatore.

Nel caso dello strumento di super-risoluzione di Pixelmator, è stata creata una rete neurale convoluzionale che ha anche implementato un blocco “ingrandisci” che scala l’immagine dopo che le 29 layer convoluzionali hanno scansionato l’immagine. La matrice di immagine ingrandita viene quindi post-elaborata e trasformata nuovamente in un’immagine tradizionale con risoluzione migliorata. La rete contiene anche funzioni che riducono il rumore dell’immagine e trattano gli artifact di compressione, in modo che questi aspetti dell’immagine non vengano ingranditi. Gli algoritmi di Pixelmator sono molto più piccoli degli algoritmi utilizzati in ambienti di ricerca, in modo che possano essere inclusi nell’app Pixelmator Pro e funzionare su una varietà di dispositivi. Il set di dati di addestramento è abbastanza piccolo rispetto ad altri set di dati utilizzati per applicazioni simili, solo 15.000 campioni sono stati utilizzati per addestrare gli algoritmi.

Secondo The Verge, ci sono altri strumenti di super-risoluzione disponibili per l’uso dei consumatori. Ad esempio, Adobe ha anche il proprio strumento di super-risoluzione nella sua suite Adobe Camera, ma lo strumento di Pixelmator sembra produrre le immagini di alta qualità più costanti.