Nedskalering af højopløselige billeder med maskinlæring

Nyt forskning fra Storbritannien har foreslået en forbedret maskinlæringsmetode til at ændre billeders størrelse, baseret på den opfattede værdi af de forskellige dele af billedindholdet, i stedet for at reducerer dimensionen (og dermed kvaliteten og de udvindelige funktioner) for alle billedets pixel.

Som en del af en voksende interesse for AI-drevne kompressionsystemer, er det en tilgang, der kan informere nye codec til almindelig billedkompression, selvom arbejdet er motiveret af sundhedsbilleder, hvor vilkårlig nedskalering af højopløselige medicinske billeder kan føre til tab af livreddende information.

Repræsentationsarkitektur af det nye system. Den interstitielle deformationmodul producerer en deformationskort, der svarer til områder af interesse i billedet. Denne kort svarer ikke kun til at nedskalere, men også til at genskabe primærinteresseområderne, når billedindholdet ikke-jævnt er genskaleret på den anden side af træningsprocessen.  Kilde: https://arxiv.org/pdf/2109.11071.pdf

Systemet anvender semantisk segmentering til billederne – brede blokke, repræsenteret som farveblokke i billedet ovenfor, der omfatter genkendte enheder inde i billedet, såsom ‘vej’, ‘cykel’, ‘læsion’, osv. Dispositionen af de semantiske segmenteringskort bruges til at beregne, hvilke dele af billedet ikke skal nedskaleres for meget.

Titlen på Lær at nedskalere for segmentering af ultra-højopløselige billeder, er det nye papir, som er et samarbejde mellem forskere fra Centre for Medical Image Computing ved University College London og forskere fra Healthcare Intelligence-afdelingen ved Microsoft Cambridge.

Den (rimeligt) lavopløselige verden af computer vision-træning

Træningen af computer vision-systemer er betydeligt begrænset af GPU’ens kapacitet. Datasæt kan indeholde mange tusinde billeder, fra hvilke funktioner skal udvindes, men selv industrielle GPU’er tenderer til at have en maksimal kapacitet på 24 GB VRAM, med fortsatte mangel påvirker tilgængelighed og omkostninger.

Dette betyder, at data skal føres gennem GPU’ens begrænsede tensor-kerner i håndterbare batcher, med 8-16 billeder typisk for mange computer vision-træningsarbejdsprocesser.

Der er ikke mange åbenlyse løsninger: selv hvis VRAM var ubegrænset, og CPU-arkitekturer kunne håndtere den slags gennemstrømning fra GPU uden at danne en arkitektonisk flaskehals, vil meget høje batch-størrelser tendere til at udlevere højniveaufunktioner på bekostning af de mere detaljerede transformationer, der kan være kritiske for algoritmens brugbarhed.

At øge opløsningen af input-billederne vil betyde, at man skal bruge mindre batch-størrelser for at få data til at passe i GPU’ens træningslatente rum. Dette vil omvendt sandsynligvis producere en model, der er ‘excentrisk’ og overfit.

Ikke engang tilføje ekstra GPU’er hjælper, i hvert fald i de mest almindelige arkitekturer: mens multi-GPU-sæt kan accelerere træningstider, kan de også kompromittere integriteten af træningsresultaterne, ligesom to nærliggende fabrikker, der arbejder på samme produkt, med kun en telefonlinje til at koordinere deres indsats.

Intelligent reskaleret billeder

Hvad der er tilbage, er, at de mest relevante dele af et typisk billede til et computer vision-datasæt kunne, med den nye metode, bevares intakt i den automatiske reskaleringsprocessen, der sker, når meget højopløselige billeder skal nedskaleres til at passe en ML-pipeline.

Dette er en separat udfordring i forhold til problemet med tab af kvalitet i maskinlæringsdatasæt, hvor kvalitet går tabt i automatiske reskaleringspipelines, fordi kompressionskoden kasserer for meget (som regel irreparabelt) information.

Snarere, i dette tilfælde, kan selv gemme til en tabsfri billedformat (såsom PNG med LZW-kompression) ikke gendanne den information, der generisk kasseres, når man reskalerer (for eksempel) en magnetresonansbillede (MRI-skanning) ned fra ofte rekordbrydende dimensioner til en mere troværdig typisk 256×256 eller 512×512 pixels opløsning.

For at gøre tingene værre, vil sorte kanter ofte blive tilføjet til rektangulære kildebilleder som en rutine dataforarbejdningsopgave, for at producere en ægte kvadratisk inputformat for neural netværksprocessering, yderligere reducerer det tilgængelige rum for potentiel kritisk data.

Forskere fra UCL og Microsoft foreslår i stedet at gøre reskaleringsprocessen mere intelligent, effektivt brugende, hvad der altid har været en generisk fase i pipeline til at fremhæve områder af interesse, aflaste nogle af den fortolkende byrde fra maskinlæringsystemet, som billederne ultimate vil passere gennem.

Metoden, som forskerne hævder, forbedrer en tilbud fra 2019 (billedet nedenfor), som søger lignende gevinster ved at fokusere kvalitetsopmærksomhed på grænserne af objekter.

Fra ‘Efficient Segmentation: Learning Downsampling Near Semantic Boundaries’, Marin et al., 2019. Kilde: https://arxiv.org/pdf/1907.07156.pdf

Som det nye arbejde bemærker, antager denne tilgang, at områder af interesse samles ved grænser, hvorimod eksempler fra medicinsk billedbehandling, såsom annoterede kræftområder, afhænger af højere niveau kontekst, og kan optræde som let-kasserede detaljer inden for bredere områder i et billede, snarere end ved kanter.

Lærbar downsampler

Det nye forskning foreslår en <i*lærbar downsampler kaldet en deformationmodul, der er trænet sammen med en parallel segmenteringsmodul, og kan derfor informeres om områder af interesse identificeret af semantisk segmentering, og prioritere disse under nedskaleringsprocessen.

Forfatterne testede systemet på flere populære datasæt, herunder Cityscapes, DeepGlobe og et lokalt Prostatakræft-Histologi-datasæt, ‘PCa-Histo’.

Tre tilgange: til venstre, eksisterende ‘uniform’ nedskalering; i midten, den ‘optimale kant’-tilgang fra 2019-papiret; til højre, arkitekturen bag det nye system, informeret af enheds-genkendelse i en semantisk segmenteringslag.

En lignende tilgang er prøvet for en klassifikator forslagt i 2019, men forfatterne til det nuværende papir hævder, at denne metode ikke tilstrækkeligt regulariserer områderne af fokus, potentiel mangler vital områder i en medicinsk billedkontekst.

Resultater

Deformationmodulen i det nye system er et lille Convolutional Neural Network (CNN), mens segmenteringslaget er et dybt CNN-arkitektur, der anvender HRNetV2-W48. Pyramid Scene Parsing Network (PSP-net) blev brugt som en sanity check-lag for CityScapes-testerne.

De ovennævnte datasæt blev testet med det nye framework, ved at bruge uniform reskaleringsmetode (den sædvanlige metode), den optimale kant-metode fra 2019 og den nye tilgangs udnyttelse af semantisk segmentering.

Forfatterne rapporterer, at den nye metode viser ‘en klar fordel på at identificere og skelne de mest klinisk vigtige klasser’, med en nøjagtighedsforbedring på 15-20%. De observerer yderligere, at afstanden mellem disse klasser ofte defineres som ‘grænsen fra sund til kræft’.

Klasse-vis intersection over union (IoU) analyse over de tre metoder: venstre, standard reskaleringsmetode; midten, optimal kant; og højre, den nye tilgang. CityScapes blev nedskaleret til kun 64 x 128, med PCaHisto ned til 80 x 800, og DeepGlobe ned til 300 pixels kvadrat.

Rapporten fastslår, at deres metode ‘kan lære en nedskaleringsstrategi, bedre bevare information og muliggøre en bedre trade-off.’, og konkluderer, at det nye framework ‘kan effektivt lære, hvor man skal “investere” den begrænsede budget af pixel ved nedskalering for at opnå den højeste samlede afkast i segmenteringsnøjagtighed’.

Hovedbilledet til denne artikels artikel blev hentet fra thispersondoesnotexist.com. Opdateret kl. 15:35 GMT+2 på grund af tekstfejl.