Ridimensionamento di immagini ad alta risoluzione con apprendimento automatico

Una nuova ricerca condotta nel Regno Unito ha proposto un metodo di apprendimento automatico migliorato per ridimensionare le immagini, basato sul valore percepito delle diverse parti del contenuto dell’immagine, anziché ridurre indiscriminatamente le dimensioni (e quindi la qualità e le caratteristiche estraibili) per tutti i pixel dell’immagine.

Questo approccio fa parte di un interesse crescente per i sistemi di compressione guidati dall’intelligenza artificiale, ed è un metodo che potrebbe eventualmente informare nuovi codec per la compressione delle immagini in generale, sebbene il lavoro sia motivato dall’imaging sanitario, dove la riduzione arbitraria di immagini mediche ad alta risoluzione potrebbe portare alla perdita di informazioni vitali.

Architettura rappresentativa del nuovo sistema. Il modulo di deformazione interstiziale produce una mappa di deformazione che corrisponde alle aree di interesse nell’immagine. La densità e la direzione dei punti rossi indicano queste aree. La mappa viene utilizzata non solo per ridimensionare, ma anche per ricostruire le aree di interesse principale quando il contenuto dell’immagine viene ri-escalato in modo non uniforme dall’altra parte del processo di formazione.  Fonte: https://arxiv.org/pdf/2109.11071.pdf

Il sistema applica la segmentazione semantica alle immagini – ampi blocchi, rappresentati come blocchi di colore nell’immagine sopra, che comprendono entità riconosciute all’interno dell’immagine, come ‘strada’, ‘bicicletta’, ‘lesione’, ecc. La disposizione delle mappe di segmentazione semantica viene utilizzata per calcolare quali parti della foto non dovrebbero essere eccessivamente ridotte.

Intitolato Apprendimento per ridimensionare per la segmentazione di immagini ad ultra-alta risoluzione, il nuovo articolo è una collaborazione tra ricercatori del Centre for Medical Image Computing dell’University College London e ricercatori del dipartimento Healthcare Intelligence di Microsoft Cambridge.

Il mondo (piuttosto) a bassa risoluzione dell’addestramento della visione artificiale

L’addestramento dei sistemi di visione artificiale è significativamente limitato dalla capacità delle GPU. I dataset possono contenere molte migliaia di immagini da cui estrarre caratteristiche, ma anche le GPU di portata industriale tendono a raggiungere un picco di 24gb di VRAM, con carenze in corso che influiscono sulla disponibilità e sul costo.

Ciò significa che i dati devono essere alimentati attraverso i limitati core tensoriali della GPU in lotti gestibili, con 8-16 immagini tipiche di molti flussi di lavoro di addestramento della visione artificiale.

Non ci sono molte soluzioni ovvie: anche se la VRAM fosse illimitata e le architetture CPU potessero gestire quel tipo di throughput dalla GPU senza creare un collo di bottiglia architettonico, le dimensioni del batch molto elevate tenderanno a derivare caratteristiche di alto livello a scapito delle trasformazioni più dettagliate che possono essere critiche per l’utilità dell’algoritmo finale.

Aumentare la risoluzione delle immagini di input significherebbe dover utilizzare dimensioni del batch più piccole per adattare i dati nello “spazio latente” della GPU di addestramento. Ciò, a sua volta, è probabile che produca un modello che è “eccentrico” e sovradimensionato.

Né l’aggiunta di ulteriori GPU aiuta, almeno nelle architetture più comuni: mentre le configurazioni multi-GPU possono accelerare i tempi di addestramento, possono anche compromettere l’integrità dei risultati di addestramento, come due fabbriche adiacenti che lavorano sullo stesso prodotto, con solo una linea telefonica per coordinare i loro sforzi.

Immagini ridimensionate in modo intelligente

Ciò che rimane è che le sezioni più rilevanti di un’immagine tipica per un dataset di visione artificiale potrebbero, con il nuovo metodo, essere preservate intatte nel ridimensionamento automatico che si verifica quando le immagini ad alta risoluzione devono essere ridotte per adattarsi a una pipeline di apprendimento automatico.

Questo è un challenge separato rispetto al problema degli artefatti di perdita in dataset di visione artificiale, dove la qualità viene persa nelle pipeline di ridimensionamento automatico perché il codec di compressione scarta troppa informazione (di solito irreversibile).

Piuttosto, in questo caso, anche salvare in un formato di immagine lossless (come PNG con compressione LZW) non può recuperare le informazioni che vengono scartate quando si ridimensiona (ad esempio) una scansione di risonanza magnetica (MRI) da dimensioni spesso record-breaking a una risoluzione più credibile di 256×256 o 512×512 pixel.

Per peggiorare le cose, a seconda dei requisiti del framework, i bordi neri vengono spesso aggiunti alle immagini rettangolari di origine come una routine di elaborazione dei dati, al fine di produrre un formato di input veramente quadrato per l’elaborazione della rete neurale, riducendo ulteriormente lo spazio disponibile per dati potenzialmente cruciali.

I ricercatori di UCL e Microsoft propongono invece di rendere il processo di ridimensionamento più intelligente, utilizzando efficacemente ciò che è sempre stato uno stadio generico nella pipeline per evidenziare le aree di interesse, scaricando parte del carico interpretativo dal sistema di apprendimento automatico attraverso cui le immagini passeranno alla fine.

Il metodo, secondo i ricercatori, migliora un’offerta del 2019 (immagine sotto) che ha cercato guadagni simili concentrandosi sulla qualità dell’attenzione ai confini degli oggetti.

Da ‘Efficient Segmentation: Learning Downsampling Near Semantic Boundaries’, Marin et al., 2019. Fonte: https://arxiv.org/pdf/1907.07156.pdf

Come nota il nuovo lavoro, questo approccio presume che le aree di interesse si raccolgano ai confini, mentre esempi di imaging medico, come regioni di cancro annotate, dipendono da un contesto di alto livello e possono apparire come dettagli facilmente scartati all’interno di aree più ampie in un’immagine, piuttosto che ai bordi.

Campionatore apprendibile

La nuova ricerca propone un campionatore apprendibile chiamato modulo di deformazione, che viene addestrato congiuntamente con un modulo di segmentazione parallelo e può quindi essere informato sulle aree di interesse identificate dalla segmentazione semantica, e priorizzare queste durante il processo di ridimensionamento.

Gli autori hanno testato il sistema su diversi dataset popolari, tra cui Cityscapes, DeepGlobe e un dataset locale di istologia del cancro alla prostata, ‘PCa-Histo’.

Tre approcci: a sinistra, il campionamento ‘uniforme’ esistente; al centro, l’approccio ‘ottimale’ del bordo dal 2019; a destra, l’architettura dietro il nuovo sistema, informato dal riconoscimento di entità in un livello di segmentazione semantica.

Un approccio simile è stato provato per un classificatore proposto nel 2019, ma gli autori dell’articolo attuale sostengono che questo metodo non regolarizza adeguatamente le aree di enfasi, potenzialmente perdendo aree vitali in un contesto di imaging medico.

Risultati

Il modulo di deformazione nel nuovo sistema è una piccola rete neurale convoluzionale (CNN), mentre il livello di segmentazione è una profonda architettura CNN che utilizza HRNetV2-W48. La rete di parsing della scena Pyramid (PSP-net) è stata utilizzata come livello di controllo per i test CityScapes.

I dataset sopracitati sono stati testati con il nuovo framework, utilizzando il campionamento uniforme (il metodo consueto), il metodo ottimale del bordo del 2019 e il nuovo approccio che sfrutta la segmentazione semantica.

Gli autori riportano che il nuovo metodo mostra ‘un chiaro vantaggio nell’identificare e distinguere le classi più clinicamente importanti’, con un aumento di accuratezza del 15-20%. Sostengono inoltre che la distanza tra queste classi è spesso definita come ‘la soglia da sana a cancerosa’.

Analisi dell’intersezione su classi (IoU) tra i tre metodi: a sinistra, campionamento standard; al centro, bordo ottimale; e a destra, il nuovo approccio. CityScapes è stato ridotto a soli 64 x 128, con PCaHisto ridotto a 80 x 800 e DeepGlobe ridotto a 300 pixel quadrati.

Il rapporto afferma che il loro metodo ‘può apprendere una strategia di ridimensionamento, preservare meglio le informazioni e consentire un miglior compromesso.’, concludendo che il nuovo framework ‘può apprendere efficientemente dove “investire” il budget limitato di pixel durante il ridimensionamento per ottenere il massimo rendimento complessivo in termini di accuratezza di segmentazione’.

L’immagine principale per questo articolo è stata presa da thispersondoesnotexist.com. Aggiornato alle 15:35 GMT+2 per errore di testo.