Het verkleinen van hoge resolutiebeelden met machine learning

Nieuw onderzoek uit het VK heeft een verbeterde machine learning-methode voorgesteld om beelden te verkleinen, gebaseerd op de waargenomen waarde van de verschillende delen van de beeldinhoud, in plaats van ondiscrimineer de dimensie (en dus de kwaliteit en extracteerbare kenmerken) voor alle pixels in het beeld te verkleinen.

Als onderdeel van een groeiende interesse in AI-gedreven compressiesystemen, is dit een aanpak die uiteindelijk nieuwe codecs voor algemene beeldcompressie kan informeren, hoewel het werk gemotiveerd is door medische beeldvorming, waar willekeurige downsampling van hoge resolutie medische beelden tot het verlies van levensreddende informatie kan leiden.

Representatieve architectuur van het nieuwe systeem. De interstitiële deformatiemodule produceert een deformatiekaart die overeenkomt met gebieden van interesse in het beeld. De dichtheid en richting van de rode stippen geven deze gebieden aan. De kaart wordt niet alleen gebruikt om te downsamplen, maar ook om de primaire-interessegebieden te reconstrueren wanneer de beeldinhoud niet-uniform wordt opgeschaald aan de andere kant van het trainingsproces.  Bron: https://arxiv.org/pdf/2109.11071.pdf

Het systeem past semantische segmentatie toe op de beelden – brede blokken, weergegeven als kleurblokken in het bovenstaande beeld, die herkende entiteiten in de afbeelding omvatten, zoals ‘weg’, ‘fiets’, ‘laesie’, enz. De dispositie van de semantische segmentatiekaarten wordt vervolgens gebruikt om te berekenen welke delen van de foto niet excessief moeten worden gedownsameld.

Genoemd Learning to Downsample for Segmentation of Ultra-High Resolution Images, is de nieuwe paper een samenwerking tussen onderzoekers van het Centre for Medical Image Computing aan de University College London en onderzoekers van de Healthcare Intelligence-afdeling bij Microsoft Cambridge.

De (redelijk) lage resolutie-wereld van computer vision-training

De training van computer vision-systemen wordt aanzienlijk beperkt door de capaciteit van GPUs. Datasets kunnen veel duizenden beelden bevatten waaruit kenmerken moeten worden geëxtraheerd, maar zelfs industriële GPUs hebben een maximum van 24 GB VRAM, met gaande tekorten die de beschikbaarheid en kosten beïnvloeden.

Dit betekent dat gegevens in beheersbare batches door de beperkte Tensor-cores van de GPU moeten worden gevoerd, met 8-16 beelden typerend voor veel computer vision-trainingsworkflows.

Er zijn niet veel voor de hand liggende oplossingen: zelfs als VRAM onbeperkt zou zijn en CPU-architecturen dat soort doorvoer van de GPU zonder vorming van een architectuur-bottleneck zouden kunnen accommoderen, zullen zeer hoge batchgroottes de neiging hebben om hoge-niveau-kenmerken ten koste van de meer gedetailleerde transformaties te produceren die kritisch kunnen zijn voor de bruikbaarheid van het eindalgoritme.

Het verhogen van de resolutie van de invoerbeelden zal betekenen dat u kleinere batchgroottes moet gebruiken om gegevens in de ‘latent space’ van de GPU-training te passen. Dit zal, omgekeerd, waarschijnlijk een model produceren dat ‘excentriek’ en overfit is.

Het toevoegen van extra GPUs helpt ook niet, tenminste in de meest voorkomende architectuur: terwijl meerdere-GPU-opstellingen de trainings­tijd kunnen versnellen, kunnen ze ook de integriteit van de trainingsresultaten compromitteren, zoals twee aangrenzende fabrieken die aan hetzelfde product werken, met alleen een telefoonlijn om hun inspanningen te coördineren.

Intelligent verkleinde beelden

Wat overblijft, is dat de meest relevante secties van een typisch beeld voor een computer vision-dataset met de nieuwe methode intact kunnen worden bewaard in de automatische verkleining die optreedt wanneer zeer hoge resolutiebeelden moeten worden verkleind om in een ML-pijplijn te passen.

Dit is een aparte uitdaging voor het probleem van verliesachtige artefacten in machine learning-datasets, waar kwaliteit verloren gaat in geautomatiseerde verkleiningspijplijnen omdat de compressiecodec te veel (meestal onherstelbare) informatie weggooit.

Anders, in dit geval, kan zelfs opslaan in een verliesloze beeldformaat (zoals PNG met LZW-compressie) de informatie die generiek wordt weggegooid bij het verkleinen (bijvoorbeeld) van een Magnetic Resonance Imaging (MRI)-scan van vaak recordbrekende dimensies naar een meer geloofwaardige typische resolutie van 256×256 of 512×512 pixels.

Om het nog erger te maken, worden zwarte randen vaak toegevoegd aan rechthoekige bronbeelden als een routineuze gegevensverwerkings­taak, om een echt vierkant invoerformaat voor neurale netwerkverwerking te produceren, waardoor de beschikbare ruimte voor potentieel cruciale gegevens nog verder wordt verkleind.

De onderzoekers van UCL en Microsoft stellen voor om het verkleiningsproces intelligent te maken, door effectief te gebruiken wat altijd een generieke fase in de pijplijn is geweest om gebieden van interesse te benadrukken, en enkele van de interpretatieve lasten van het machine learning-systeem waarlangs de beelden uiteindelijk zullen passeren, af te wentelen.

De methode, zo beweren de onderzoekers, verbetert een aanbod uit 2019 (hieronder) dat soortgelijke voordelen zocht door kwaliteitsaandacht te richten op de grenzen van objecten.

Uit ‘Efficient Segmentation: Learning Downsampling Near Semantic Boundaries’, Marin et al., 2019. Bron: https://arxiv.org/pdf/1907.07156.pdf

Zoals het nieuwe werk opmerkt, gaat deze aanpak ervan uit dat gebieden van interesse zich verzamelen bij grenzen, terwijl voorbeelden uit medische beeldvorming, zoals geannoteerde kankerregio’s, afhankelijk zijn van hogere-niveau-context en kunnen verschijnen als gemakkelijk weg te gooien details binnen bredere gebieden in een beeld, in plaats van aan randen.

Learnable Downsampler

Het nieuwe onderzoek stelt een learnable downsampler voor, genaamd een deformatiemodule, die samen met een parallelle segmentatiemodule wordt getraind en dus geïnformeerd kan worden over gebieden van interesse die door semantische segmentatie worden geïdentificeerd, en deze kan prioriteren tijdens het downsamplen-proces.

De auteurs testten het systeem op verschillende populaire datasets, waaronder Cityscapes, DeepGlobe en een lokale Prostaatkankerhistologie-dataset, ‘PCa-Histo’.

Drie benaderingen: links, bestaande ‘uniforme’ downsampling; in het midden, de ‘optimale rand’ benadering uit het paper van 2019; rechts, de architectuur achter het nieuwe systeem, geïnformeerd door entiteitherkenning in een semantische segmentatielaag.

Een soortgelijke benadering is eerder geprobeerd voor een classifier die in 2019 werd voorgesteld, maar de auteurs van het huidige paper beweren dat deze methode de gebieden van nadruk niet voldoende regulariseert, waardoor vitale gebieden in een medische beeldvormingscontext kunnen worden gemist.

Resultaten

De deformatiemodule in het nieuwe systeem is een kleine Convolutional Neural Network (CNN), terwijl de segmentatielaag een diepe CNN-architectuur is die HRNetV2-W48 gebruikt. Pyramid Scene Parsing Network (PSP-net) werd gebruikt als een sanity-checklaag voor de CityScapes-tests.

De bovengenoemde datasets werden getest met het nieuwe kader, met uniform resampling (de gebruikelijke methode), de optimale randmethode uit 2019 en de nieuwe aanpak die semantische segmentatie benut.

De auteurs melden dat de nieuwe methode een ‘duidelijk voordeel heeft bij het identificeren en onderscheiden van de meest klinisch belangrijke klassen’, met een nauwkeurigheidsverbetering van 15-20%. Zij merken verder op dat de afstand tussen deze klassen vaak wordt gedefinieerd als ‘de drempel van gezond naar kanker’.

Klasse-wijze intersectie-over-unie (IoU) analyse over de drie methoden: links, standaard resampling; midden, optimale rand; en rechts, de nieuwe aanpak. CityScapes werd verkleind tot een kleine 64 x 128, met PCaHisto verkleind tot 80 x 800, en DeepGlobe verkleind tot 300 pixels vierkant.

Het rapport stelt dat hun methode ‘een downsampling-strategie kan leren, informatie beter kan behouden en een betere afweging kan maken.’, en concludeert dat het nieuwe kader ‘efficiënt kan leren waar het beperkte budget van pixels moet worden ‘geïnvesteerd’ bij downsampling om de hoogste totale retour in segmentatie-nauwkeurigheid te behalen’.

Het hoofdbeeld voor dit artikel is afkomstig van thispersondoesnotexist.com. Bijgewerkt 15:35 GMT+2 voor tekstfout.