Utilizzo della compressione JPEG per migliorare l’addestramento delle reti neurali

Un nuovo articolo di ricerca del Canada ha proposto un framework che introduce intenzionalmente la compressione JPEG nello schema di addestramento di una rete neurale, ottenendo risultati migliori e una maggiore resistenza agli attacchi adversariali.

Questa è un’idea abbastanza radicale, poiché la saggezza generale attuale è che gli artifact JPEG, ottimizzati per la visione umana e non per l’apprendimento automatico, hanno generalmente un effetto deleterio sulle reti neurali addestrate con dati JPEG.

Un esempio della differenza di chiarezza tra immagini JPEG compresse a diversi valori di perdita (una perdita più alta consente una dimensione del file più piccola, a spese della delineazione e della banda across color gradients, tra gli altri tipi di artefatti). Source: https://forums.jetphotos.com/forum/aviation-photography-videography-forums/digital-photo-processing-forum/1131923-how-to-fix-jpg-compression-artefacts?p=1131937#post1131937

Un rapporto del 2022 dell’Università del Maryland e Facebook AI ha affermato che la compressione JPEG “incorre in una penalità di prestazioni significativa” nell’addestramento delle reti neurali, nonostante lavori precedenti che sostengono che le reti neurali sono relativamente resilienti agli artefatti di compressione delle immagini.

Un anno prima, un nuovo filone di pensiero era emerso nella letteratura: che la compressione JPEG potrebbe essere sfruttata per ottenere risultati migliori nell’addestramento del modello.

Tuttavia, sebbene gli autori di quel lavoro siano riusciti a ottenere risultati migliori nell’addestramento di immagini JPEG di qualità variabile, il modello che hanno proposto era così complesso e oneroso che non era praticabile. Inoltre, l’utilizzo del sistema di impostazioni di default di ottimizzazione JPEG (quantizzazione) si è rivelato un ostacolo all’efficacia dell’addestramento.

Un progetto successivo (2023’s JPEG Compliant Compression for DNN Vision) ha sperimentato un sistema che ha ottenuto risultati leggermente migliori dalle immagini di addestramento compresse JPEG con l’utilizzo di un modello di rete neurale profonda (DNN) congelato. Tuttavia, congelare parti di un modello durante l’addestramento tende a ridurre la versatilità del modello, nonché la sua resistenza più ampia ai dati nuovi.

JPEG-DL

Invece, il nuovo lavoro, intitolato JPEG Inspired Deep Learning, offre un’architettura molto più semplice, che può essere anche imposta su modelli esistenti.

I ricercatori, dell’Università di Waterloo, affermano:

‘I risultati mostrano che JPEG-DL migliora costantemente e significativamente il modello standard DL su diverse architetture di reti neurali, con un aumento trascurabile della complessità del modello.

In particolare, JPEG-DL migliora l’accuratezza di classificazione fino al 20,9% su alcuni dataset di classificazione fine-grained, aggiungendo solo 128 parametri allenabili alla pipeline DL. Inoltre, la superiorità di JPEG-DL sul modello standard DL è ulteriormente dimostrata dalla robustezza adversariale migliorata dei modelli appresi e dalle dimensioni dei file delle immagini di input ridotte.’

Gli autori sostengono che un livello di qualità di compressione JPEG ottimale può aiutare una rete neurale a distinguere il soggetto centrale di un’immagine. Nell’esempio seguente, vediamo i risultati di base (a sinistra) che confondono l’uccello con lo sfondo quando le caratteristiche sono ottenute dalla rete neurale. Al contrario, JPEG-DL (a destra) riesce a distinguere e delineare il soggetto della foto.

Test contro metodi di base per JPEG-DL. Source: https://arxiv.org/pdf/2410.07081

‘Questo fenomeno,’ spiegano, ‘chiamato “compressione aiuta” nel paper del 2021, è giustificato dal fatto che la compressione può rimuovere il rumore e le caratteristiche di sfondo disturbanti, mettendo in evidenza l’oggetto principale in un’immagine, il che aiuta le reti neurali a fare previsioni migliori.’

Metodo

JPEG-DL introduce un quantificatore soft differenziabile, che sostituisce l’operazione di quantizzazione non differenziabile in una routine di ottimizzazione JPEG standard.

Questo consente l’ottimizzazione basata su gradienti delle immagini. Ciò non è possibile nella codifica JPEG convenzionale, che utilizza un quantificatore uniforme con un’operazione di arrotondamento che approssima il coefficiente più vicino.

La differenziabilità dello schema di JPEG-DL consente l’ottimizzazione congiunta dei parametri del modello di addestramento e della quantizzazione JPEG (livello di compressione). L’ottimizzazione congiunta significa che sia il modello che i dati di addestramento sono adattati l’uno all’altro nel processo end-to-end, e non è necessario congelare gli strati.

In sostanza, il sistema personalizza la compressione JPEG di un set di dati (grezzo) per adattarlo alla logica del processo di generalizzazione.

Schema concettuale per JPEG-DL.

Si potrebbe pensare che i dati grezzi siano l’alimento ideale per l’addestramento; dopo tutto, le immagini sono completamente decompressate in uno spazio di colore di lunghezza piena quando vengono eseguite in batch; quindi, quale differenza fa il formato originale?

Bene, poiché la compressione JPEG è ottimizzata per la visione umana, getta via aree di dettaglio o colore in un modo concordante con questo obiettivo. Date un’immagine di un lago sotto un cielo azzurro, livelli di compressione più elevati saranno applicati al cielo, poiché non contiene “dettagli essenziali”.

D’altra parte, una rete neurale manca dei filtri eccentrici che ci permettono di concentrarci sugli oggetti centrali. Invece, è probabile che consideri qualsiasi artefatto di banda nel cielo come dati validi da assimilare nel suo spazio latente.

Sebbene un essere umano possa ignorare la banda nel cielo, in un’immagine compressa pesantemente (a sinistra), una rete neurale non ha idea che questo contenuto debba essere scartato, e avrà bisogno di un’immagine di qualità superiore (a destra). Source: https://lensvid.com/post-processing/fix-jpeg-artifacts-in-photoshop/

Pertanto, un livello di compressione JPEG è improbabile che si adatti a tutto il contenuto di un set di dati di addestramento, a meno che non rappresenti un dominio molto specifico. Le immagini di folle richiederanno una compressione molto minore rispetto a un’immagine a fuoco stretto di un uccello, ad esempio.

Gli autori osservano che coloro che non sono familiari con le sfide della quantizzazione, ma che sono familiari con le basi dell’architettura transformer, possono considerare questi processi come un’ ‘operazione di attenzione’, in generale.

Dati e test

JPEG-DL è stato valutato contro architetture basate su reti neurali convoluzionali (CNN) e trasformatori. Le architetture utilizzate sono state EfficientFormer-L1; ResNet; VGG; MobileNet; e ShuffleNet.

Le versioni di ResNet utilizzate sono state specifiche per il set di dati CIFAR: ResNet32, ResNet56 e ResNet110. VGG8 e VGG13 sono stati scelti per i test basati su VGG.

Per la CNN, la metodologia di addestramento è stata derivata dal lavoro del 2020 Contrastive Representation Distillation (CRD). Per EfficientFormer-L1 (basato su trasformatori), il metodo di addestramento dal lavoro del 2023 Initializing Models with Larger Ones è stato utilizzato.

Per i compiti di classificazione fine-grained presenti nei test, quattro set di dati sono stati utilizzati: Stanford Dogs; il set di dati Flowers dell’Università di Oxford; CUB-200-2011 (CalTech Birds); e Pets (‘Gatti e cani’, una collaborazione tra l’Università di Oxford e Hyderabad in India).

Per i compiti di classificazione fine-grained su CNN, gli autori hanno utilizzato PreAct ResNet-18 e DenseNet-BC. Per EfficientFormer-L1, la metodologia descritta nel sopracitato Initializing Models With Larger Ones è stata utilizzata.

Attraverso i set di dati CIFAR-100 e i compiti di classificazione fine-grained, la varietà di magnitudo di frequenze della trasformata cosinusale discreta (DCT) nella compressione JPEG è stata gestita con l’ottimizzatore Adam, al fine di adattare il tasso di apprendimento per lo strato JPEG attraverso i modelli testati.

Nei test su ImageNet-1K, in tutti gli esperimenti, gli autori hanno utilizzato PyTorch, con SqueezeNet, ResNet-18 e ResNet-34 come modelli di base.

Per la valutazione dell’ottimizzazione dello strato JPEG, i ricercatori hanno utilizzato il metodo di discesa del gradiente stocastico (SGD) invece di Adam, per una prestazione più stabile. Tuttavia, per i test su ImageNet-1K, il metodo dal paper del 2019 Learned Step Size Quantization è stato impiegato.

Sopra l’accuratezza di convalida top-1 per il modello di base rispetto a JPEG-DL su CIFAR-100, con deviazioni standard e medie calcolate su tre esecuzioni. Sotto, l’accuratezza di convalida top-1 su diversi compiti di classificazione di immagini fine-grained, attraverso diverse architetture di modelli, sempre calcolate su tre esecuzioni.

Commentando il primo round di risultati illustrati sopra, gli autori affermano:

‘Attraverso tutti e sette i modelli testati per CIFAR-100, JPEG-DL fornisce miglioramenti costanti, con guadagni fino al 1,53% nell’accuratezza top-1. Nei compiti di classificazione fine-grained, JPEG-DL offre un aumento significativo delle prestazioni, con miglioramenti fino al 20,90% in tutti i set di dati utilizzando due diversi modelli.’

I risultati per i test su ImageNet-1K sono mostrati di seguito:

Risultati di accuratezza di convalida top-1 su ImageNet attraverso diverse piattaforme.

Qui il paper afferma:

‘Con un aumento trascurabile di complessità (aggiungendo 128 parametri), JPEG-DL raggiunge un guadagno dell’1,31% nell’accuratezza top-1 per SqueezeNetV1.1 rispetto al modello di base utilizzando un’unica operazione di quantizzazione.

‘Aumentando il numero di operazioni di quantizzazione a cinque, osserviamo un ulteriore miglioramento dell’1,20%, portando a un guadagno totale dell’1,51% rispetto al modello di base.’

I ricercatori hanno anche testato il sistema utilizzando dati compromessi dagli approcci di attacco adversarial Fast Gradient Signed Method (FGSM) e Projected Gradient Descent (PGD).

Gli attacchi sono stati condotti su CIFAR-100 su due dei modelli:

Risultati di testing per JPEG-DL, contro due framework di attacco adversarial standard.

Gli autori affermano:

‘I modelli JPEG-DL migliorano significativamente la robustezza adversariale rispetto ai modelli DNN standard, con miglioramenti fino al 15% per FGSM e del 6% per PGD.’

Inoltre, come illustrato in precedenza nell’articolo, gli autori hanno condotto un confronto delle mappe di caratteristiche estratte utilizzando GradCAM++ – un framework che può evidenziare le caratteristiche estratte in modo visivo.

Un’illustrazione GradCAM++ per la classificazione di immagini di base e JPEG-DL, con caratteristiche estratte evidenziate.

Il paper nota che JPEG-DL produce un risultato migliorato e che in un’istanza è stato in grado di classificare un’immagine che il modello di base non è riuscito a identificare. Riguardo all’immagine precedente che mostra gli uccelli, gli autori affermano:

‘È evidente che le mappe di caratteristiche del modello JPEG-DL mostrano un contrasto molto migliore tra le informazioni del primo piano (l’uccello) e lo sfondo rispetto alle mappe di caratteristiche generate dal modello di base.

‘In particolare, l’oggetto del primo piano nelle mappe di caratteristiche di JPEG-DL è racchiuso all’interno di un contorno ben definito, rendendolo distinguibile dallo sfondo.

‘Al contrario, le mappe di caratteristiche del modello di base mostrano una struttura più sfumata, dove il primo piano contiene energia più alta in bassa frequenza, facendolo fondere più facilmente con lo sfondo.’

Conclusione

JPEG-DL è destinato all’uso in situazioni in cui i dati grezzi sono disponibili – ma sarebbe molto interessante vedere se alcuni dei principi presentati in questo progetto potrebbero essere applicati all’addestramento di set di dati convenzionali, in cui il contenuto può essere di qualità inferiore (come spesso accade con set di dati hyperscale raccolti da internet).

Allo stato attuale, ciò rimane in gran parte un problema di annotazione, sebbene sia stato affrontato nel riconoscimento di immagini basato sul traffico e altrove.

Pubblicato per la prima volta giovedì, 10 ottobre 2024