Neddimensjonering av høyoppløselige bilder med maskinlæring

Ny forskning fra Storbritannia har foreslått en forbedret maskinlæringsmetode for å endre størrelse på bilder, basert på den oppfattede verdien av de ulike delene av bildeinnholdet, i stedet for å redusere dimensjonen (og dermed kvaliteten og uttrekkbare funksjoner) for alle pikslene i bildet.

Som en del av en økende interesse for AI-drevne kompresjonssystemer, er dette en tilnærming som kan komme til å informere nye kodeker for generell bildekomprimering, selv om arbeidet er motivert av helsebilder, hvor arbitrær nedskalering av høyoppløselige medisinske bilder kan føre til tap av livreddende informasjon.

Representativ arkitektur for det nye systemet. Den interstitielle deformasjonsmodulen produserer en deformasjonskart som korresponderer med områder av interesse i bildet. Tettheten og retningen av de røde punktene indikerer disse områdene. Kartet brukes ikke bare til nedskalering, men også til å rekonstruere primær-interesseområdene når bildeinnholdet ikke-uniformt økes i størrelse på den andre siden av treningsprosessen. Kilde: https://arxiv.org/pdf/2109.11071.pdf

Systemet anvender semantisk segmentering på bildene – brede blokker, representert som fargeblokker i bildet ovenfor, som omfatter gjenkjente enheter inne i bildet, som ‘vei’, ‘sykkel’, ‘læsion’, osv. Disposisjonen av de semantiske segmenteringskartene brukes til å beregne hvilke deler av fotot som ikke bør nedskaleres for mye.

Tittelen Læring til nedskalering for segmentering av ultra-høyoppløselige bilder, den nye artikkelen er et samarbeid mellom forskere fra Centre for Medical Image Computing ved University College London og forskere fra Healthcare Intelligence-avdelingen ved Microsoft Cambridge.

Den (ganske) lavoppløste verden av datavisjons-trening

Treningsprosessen for datavisjons-systemer er betydelig begrenset av kapasiteten til GPU-ene. Datasettene kan inneholde mange tusen bilder fra hvilke funksjoner må trekkes ut, men selv industrielle GPU-er tenderer å toppes på 24 GB VRAM, med pågående mangler som påvirker tilgjengelighet og kostnad.

Dette betyr at data må mates gjennom de begrensede tensor-kjernene i GPU-en i håndterbare batcher, med 8-16 bilder typisk for mange datavisjons-treningsprosesser.

Det finnes ikke mange åpenbare løsninger: selv om VRAM var ubegrenset og CPU-arkitekturer kunne håndtere slik gjennomstrømming fra GPU-en uten å danne en arkitektonisk flaskehals, vil svært høye batch-størrelser tendere til å trekke ut høynivå-funksjoner på bekostning av de mer detaljerte transformasjonene som kan være kritiske for nyttigheten av den endelige algoritmen.

Økning av oppløsningen til inndata-bildene vil bety at du må bruke mindre batch-størrelser for å få plass i ‘latent rommet’ i GPU-treningsprosessen. Dette, omvendt, er sannsynlig å produsere en modell som er ‘eksentrisk’ og overfit.

Hverken hjelper det å legge til ekstra GPU-er, i alle fall i de mest vanlige arkitekturer: mens multi-GPU-oppsæt kan akselerere treningsprosesser, kan de også kompromittere integriteten av treningsresultatene, som to nabofabrikker som arbeider på samme produkt, med bare en telefonlinje til å koordinere deres innsats.

Intelligently størrelsesendrede bilder

Hva som er igjen er at de mest relevante delene av et typisk bilde for et datavisjons-dataset kunne, med den nye metoden, bli bevart intakt i den automatiske størrelsesendringen som skjer når svært høyoppløselige bilder må nedskaleres for å passe en ML-pipeline.

Dette er en separat utfordring til problemet med tap av kvalitet i maskinlæringsdatasett, hvor kvalitet går tapt i automatiske størrelsesendrings-pipelines fordi kompresjonskoden kaster bort for mye (vanligvis ugjenkallelig) informasjon.

I stedet, i dette tilfelle, kan ikke sogar lagring til en tap-fri bildeformat (slik som PNG med LZW-komprimering) gjenopprette informasjonen som generisk kastes bort når størrelsesendring (for eksempel) en magnetresonansavbildning (MRI) ned fra ofte rekord-store dimensjoner til en mer troverdig typisk 256×256 eller 512×512 piksler oppløsning.

For å gjøre saken verre, avhengig av kravene til rammeverket, vil svarte kanter ofte bli lagt til rektangulære kildebilder som en rutinemessig dataprosessering, for å produsere en virkelig kvadratisk inndataformat for neurale nettverksprosesser, og redusere tilgjengelig plass for potensielt kritisk data.

Forskerne fra UCL og Microsoft foreslår i stedet å gjøre størrelsesendringsprosessen mer intelligent, effektivt å bruke hva som alltid har vært en generisk fase i pipeline til å høydepunkte områder av interesse, og overføre noe av den tolkende byrden fra maskinlærings-systemet som bildene ultimate vil gå gjennom.

Metoden, forskerne hevder, forbedrer på en 2019-tilnærming (bildet under) som søkte lignende gevinster ved å fokusere kvalitets-oppmerksomhet på grensene av objekter.

Fra ‘Efficient Segmentation: Learning Downsampling Near Semantic Boundaries’, Marin et al., 2019. Kilde: https://arxiv.org/pdf/1907.07156.pdf

Som den nye artikkelen påpeker, antar denne tilnærmingen at områder av interesse samles på grensene, mens eksempler fra medisinske bilder, som annoterte kreftområder, avhenger av høyere-nivå kontekst, og kan dukke opp som lett-kastelige detaljer innenfor bredere områder i et bilde, i stedet for på kanter.

Lærbar nedskalerer

Den nye forskningen foreslår en lærbar nedskalerer kalt en deformasjonsmodul, som er felles trent med en parallell segmenteringsmodul, og kan derfor bli informert om områder av interesse identifisert av semantisk segmentering, og prioritere disse under nedskaleringprosessen.

Forfatterne testet systemet på flere populære datasett, inkludert Cityscapes, DeepGlobe og et lokalt Prostatakreft-histologi-datasett, ‘PCa-Histo’.

Tre tilnærminger: til venstre, eksisterende ‘uniform’ nedskalering; i midten, den ‘optimale kant’-tilnærmingen fra 2019-papiret; til høyre, arkitekturen bak det nye systemet, informert av enhets-gjenkjenning i en semantisk segmenteringslag.

En lignende tilnærming har vært prøvd for en klassifiserer forslagt i 2019, men forfatterne av den nåværende artikkelen hevder at denne metoden ikke tilstrekkelig regulariserer områdene av fokus, og kan potensielt gå glipp av livsviktige områder i en medisinsk bildekontekst.

Resultater

Deformasjonsmodulen i det nye systemet er et lite konvolusjonsnevralt nettverk (CNN), mens segmenteringslaget er et dypt CNN-arkitektur som anvender HRNetV2-W48. Pyramid Scene Parsing Network (PSP-net) ble brukt som en sanity-check-lag for CityScapes-testene.

De ovennevnte datasettene ble testet med det nye rammeverket, ved å bruke uniform resampling (den vanlige metoden), den optimale kant-metoden fra 2019, og den nye tilnærmingens utnyttelse av semantisk segmentering.

Forfatterne rapporterer at den nye metoden viser ‘klar fordeler på å identifisere og skille de mest klinisk viktige klassene’, med en nøyaktighetsøkning på 15-20%. De observerer videre at avstanden mellom disse klassene ofte defineres som ‘grensen fra sunn til kreft’.

Klassevis intersection over union (IoU)-analyse over de tre metodene: venstre, standard resampling; midten, optimal kant; og høyre, den nye tilnærmingen. CityScapes ble nedskalert til en ren 64 x 128, med PCaHisto ned til 80 x 800, og DeepGlobe ned til 300 piksler kvadrat.

Rapporten slår fast at deres metode ‘kan lære en nedskaleringstrategi, bedre bevare informasjon og muliggjøre en bedre avveining.’, og konkluderer med at den nye rammeverket ‘kan effektivt lære hvor å “investere” den begrensede budsjettet av piksler ved nedskalering for å oppnå høyest sammenlagt avkastning i segmenteringsnøyaktighet’.

Hovedbildet for denne artikkelen ble hentet fra thispersondoesnotexist.com. Oppdatert 15:35 GMT+2 for tekstfeil.