Migliore Prestazione di Machine Learning Attraverso il Ridimensionamento di Immagini Basato su CNN

I ricercatori di Google hanno proposto un nuovo metodo per migliorare l’efficienza e l’accuratezza dei flussi di lavoro di addestramento della visione artificiale basata su immagini, migliorando il modo in cui le immagini in un set di dati vengono ridotte durante la fase di pre-elaborazione.

Nel documento Learning to Resize Images for Computer Vision Tasks, i ricercatori Hossein Talebi e Peyman Milanfar utilizzano una CNN per creare una nuova architettura di ridimensionamento ibrida che produce un notevole miglioramento dei risultati di riconoscimento ottenuti su quattro popolari set di dati di visione artificiale.

The proposed joint framework for recognition and resizing. Source: https://arxiv.org/pdf/2103.09950.pdf

Il documento osserva che i metodi di ridimensionamento attualmente utilizzati nelle pipeline di apprendimento automatico sono datati di decenni e utilizzano spesso solo metodi di base di interpolazione bilineare, bicubica e del vicino più prossimo – metodi che trattano tutti i pixel in modo indiscrimitato.

Al contrario, il metodo proposto aumenta i dati dell’immagine attraverso una CNN e incorpora quell’input nelle immagini ridimensionate che passeranno attraverso l’architettura del modello.

Limiti delle Immagini nell’Addestramento AI

Per addestrare un modello che gestisce immagini, un framework di apprendimento automatico includerà una fase di pre-elaborazione, in cui una varietà di immagini di diverse dimensioni, spazi di colore e risoluzioni (che contribuiranno al set di dati di addestramento) vengono sistematicamente ritagliate e ridimensionate in dimensioni coerenti e in un formato stabile e unico.

In generale, ciò coinvolgerà un compromesso basato sul formato PNG, in cui verrà stabilito un equilibrio tra tempo di elaborazione/risorse, dimensioni del file e qualità dell’immagine.

La maggior parte delle volte, le dimensioni finali dell’immagine elaborata sono molto piccole. Di seguito vediamo un esempio della risoluzione 80×80 con cui sono stati generati alcuni dei primi set di dati di deepfake :

Poiché i volti (e altri soggetti possibili) raramente si adattano al rapporto di forma quadrata richiesto, potrebbero essere necessarie barre nere (o spazio sprecato) per omogeneizzare le immagini, riducendo ulteriormente i dati dell’immagine effettivamente utilizzabili:

Here the face has been extracted from a larger image area until it is cropped as economically as it can be in order to include the entire face area. However, as seen on the right, a great deal of the remaining area will not be used during training, adding greater weight to the importance of the image quality of the resized data.

Man mano che le capacità delle GPU sono migliorate negli ultimi anni, con la nuova generazione di schede NVIDIA dotate di quantità crescenti di memoria video (VRAM), le dimensioni medie delle immagini che contribuiscono sono iniziate ad aumentare, anche se 224×224 pixel è ancora abbastanza standard (ad esempio, è la dimensione del dataset ResNet-50).

An unresized 224×244 pixels image.

Adattare i Lotti alla VRAM

Il motivo per cui le immagini devono tutte essere della stessa dimensione è che la discesa del gradiente, il metodo con cui il modello migliora nel tempo, richiede dati di addestramento uniformi.

Il motivo per cui le immagini devono essere così piccole è che devono essere caricate (completamente decompressate) nella VRAM durante l’addestramento in lotti piccoli, di solito tra 6-24 immagini per lotto. Troppo poche immagini per lotto e non ci sarà abbastanza materiale di gruppo per generalizzare bene, in aggiunta all’estensione del tempo di addestramento; troppo tante e il modello potrebbe non riuscire a ottenere le caratteristiche e i dettagli necessari (vedi sotto).

Questa sezione ‘live loading’ dell’architettura di addestramento è chiamata spazio latente. Questo è dove le caratteristiche vengono estratte ripetutamente dagli stessi dati (ad esempio le stesse immagini) fino a quando il modello non raggiunge uno stato in cui ha tutta la conoscenza generalizzata necessaria per eseguire trasformazioni su dati successivi, non visti, di tipo simile.

Questo processo richiede generalmente giorni, anche se può richiedere un mese o più di costante e incessante elaborazione ad alto volume 24/7 per raggiungere una generalizzazione utile. Gli aumenti della dimensione della VRAM sono utili solo fino a un certo punto, poiché anche incrementi minori nella risoluzione dell’immagine possono avere un effetto di ordine di grandezza sulla capacità di elaborazione e sugli effetti sull’accuratezza che potrebbero non essere sempre favorevoli.

Utilizzare una maggiore capacità di VRAM per ospitare dimensioni di lotti più grandi è anche una benedizione mista, poiché le maggiori velocità di addestramento ottenute con questo metodo sono probabilmente compensate da risultati meno precisi.

Pertanto, poiché l’architettura di addestramento è così vincolata, qualsiasi cosa che possa effettuare un miglioramento all’interno dei limiti esistenti della pipeline è un risultato notevole.

Come il Ridimensionamento Superiore Aiuta

La qualità finale di un’immagine che verrà inclusa in un set di dati di addestramento si è rivelata avere un effetto migliorativo sul risultato dell’addestramento, in particolare nei compiti di riconoscimento di oggetti. Nel 2018, i ricercatori dell’Istituto Max Planck per i Sistemi Intelligenti hanno sostenuto che la scelta del metodo di campionamento ha un impatto notevole sulle prestazioni di addestramento e sui risultati.

Inoltre, lavori precedenti di Google (co-scritti dagli autori del nuovo documento) hanno scoperto che l’accuratezza della classificazione può essere migliorata mantenendo il controllo sugli artefatti di compressione nelle immagini del set di dati.

The CNN architecture for the Google Research proposed downsampling algorithm.

Il modello CNN costruito nel nuovo campionatore combina il ridimensionamento bilineare con una funzione di connessione saltatoria che può incorporare l’output della rete addestrata nell’immagine ridimensionata.

A differenza di una tipica architettura encoder/decoder, la nuova proposta può agire non solo come un collo di bottiglia feed-forward, ma anche come un collo di bottiglia inverso per il ri-scaling a qualsiasi dimensione di destinazione e/o rapporto di aspetto. Inoltre, il metodo di campionamento ‘standard’ può essere sostituito con qualsiasi altro metodo tradizionale adatto, come Lanczos.

Dettagli ad Alta Frequenza

Il nuovo metodo produce immagini che sembrano ‘cuocere’ direttamente nelle immagini di origine le caratteristiche chiave (che verranno alla fine riconosciute dal processo di addestramento). In termini estetici, i risultati sono non convenzionali:

The new method applied across four networks – Inception V2; DenseNet-121; ResNet-50; and MobileNet-V2. The results of the Google Research image downsampling/resizing method produces images with obvious pixel aggregation, anticipating the key features that will be discerned during the training process.

I ricercatori notano che questi esperimenti iniziali sono esclusivamente ottimizzati per compiti di riconoscimento di immagini e che nei test il loro ‘learned resizer’ basato su CNN è stato in grado di raggiungere tassi di errore migliorati in tali compiti. I ricercatori intendono in futuro applicare il metodo ad altri tipi di applicazioni di visione artificiale basate su immagini.