Förminskning av högupplösta bilder med maskinlärande

Ny forskning från Storbritannien har föreslagit en förbättrad maskinlärandemetod för att ändra storlek på bilder, baserat på den upplevda värdet av de olika delarna av bildinnehållet, snarare än att slumpmässigt minska dimensionen (och därmed kvaliteten och de utvinnbara funktionerna) för alla pixlar i bilden.

Som en del av ett växande intresse för AI-drivna kompressionsystem är detta ett tillvägagångssätt som kan komma att informera om nya kodekar för allmän bildkompression, även om arbetet är motiverat av hälsobilder, där godtycklig nedsmältning av högupplösta medicinska bilder kan leda till förlust av livsviktig information.

Representativ arkitektur för det nya systemet. Den interstitiella deformationsmodulen producerar en deformationskarta som motsvarar områden av intresse i bilden. Den tätheten och riktningen på de röda prickarna indikerar dessa områden. Kartan används inte bara för att minska storleken, utan också för att rekonstruera primära intresseområden när bildinnehållet är ojämnt återuppzoomat på andra sidan av träningsprocessen. Källa: https://arxiv.org/pdf/2109.11071.pdf

Systemet tillämpar semantisk segmentering på bilderna – breda block, representerade som färgblock i bilden ovan, som omfattar erkända entiteter inom bilden, såsom ‘väg’, ‘cykel’, ‘lesion’, etc. Dispositionen av de semantiska segmenteringskartorna används sedan för att beräkna vilka delar av fotot som inte bör minska storleken för mycket.

Med titeln Lärande för att minska storlek för segmentering av ultra-högupplösta bilder, är den nya artikeln ett samarbete mellan forskare från Centre for Medical Image Computing vid University College London och forskare från Healthcare Intelligence-avdelningen vid Microsoft Cambridge.

Den (ganska) lågupplösta världen av datorseendeutbildning

Utbildningen av datorseendesystem är betydligt begränsad av GPU:ns kapacitet. Datamängder kan innehålla många tusentals bilder från vilka funktioner måste extraheras, men även industriella GPU:er tenderar att nå sin topp på 24 GB VRAM, med pågående brist som påverkar tillgänglighet och kostnad.

Detta innebär att data måste matas genom GPU:ns begränsade tensor-kärnor i hanterbara batchar, med 8-16 bilder typiska för många datorseendeutbildningsflöden.

Det finns inte många uppenbara lösningar: även om VRAM vore obegränsat och CPU-arkitekturer kunde hantera den typen av genomströmning från GPU utan att bilda en arkitektonisk flaskhals, kommer mycket stora batchstorlekar att tendera att ge högnivåfunktioner på bekostnad av de mer detaljerade transformationer som kan vara avgörande för algoritmens användbarhet.

Att öka upplösningen på inmatningsbilderna kommer att innebära att man måste använda mindre batchstorlekar för att få plats med data i GPU:ns “latenta utrymme”. Detta, i sin tur, kommer sannolikt att producera en modell som är “excentrisk” och överanpassad.

Att lägga till extra GPU:er hjälper inte heller, åtminstone i de vanligaste arkitekturerna: medan flera GPU:er kan påskynda utbildningstider, kan de också kompromissa med utbildningsresultatens integritet, som två intilliggande fabriker som arbetar med samma produkt, med endast en telefonlinje för att samordna sina ansträngningar.

Intelligently återstorlekta bilder

Vad som är kvar är att de mest relevanta delarna av en typisk bild för ett datorseende-dataset kunde, med den nya metoden, bevaras intakta i den automatiska omstorleken som sker när mycket högupplösta bilder måste minskas för att passa en ML-pipeline.

Detta är en separat utmaning jämfört med problemet med förlorade artefakter i maskinlärandedatasets, där kvaliteten förloras i automatiserade omstorleksprocesser eftersom kompressionskoden kastar bort för mycket (vanligtvis oåtervinnelig) information.

Istället, i detta fall, kan inte ens sparande till en förlustfri bildformat (såsom PNG med LZW-komprimering) återställa den information som generiskt kastas bort när man minskar storleken (t.ex.) en magnetisk resonansavbildning (MRI) ner från ofta rekordbrytande dimensioner till en mer trovärdig typisk 256×256 eller 512×512 pixlar upplösning.

För att göra saker värre, kommer svarta kanter ofta att läggas till i rektangulära källbilder som en rutinmässig dataprocessteknik, för att producera en äkta kvadratisk inmatningsformat för neurala nätverksprocesser, vilket ytterligare minskar det tillgängliga utrymmet för potentiellt kritisk data.

Forskarna från UCL och Microsoft föreslår istället att göra omstorleksprocessen mer intelligent, effektivt använder vad som alltid varit en generisk fas i pipelinen för att belysa områden av intresse, avlasta en del av den tolkande bördan från maskinlärandesystemet genom vilket bilderna slutligen kommer att passera.

Metoden, som forskarna hävdar, förbättrar en 2019-erbjudande (bild nedan) som sökte liknande vinster genom att fokusera kvalitetsuppmärksamhet vid gränserna för objekt.

Från ‘Efficient Segmentation: Learning Downsampling Near Semantic Boundaries’, Marin et al., 2019. Källa: https://arxiv.org/pdf/1907.07156.pdf

Som den nya studien noterar, antar detta tillvägagångssätt att områden av intresse samlas vid gränser, medan exempel från medicinsk avbildning, såsom annoterade cancerområden, beror på högre nivåsammanhang och kan visas som lätt kastade detaljer inom bredare områden i en bild, snarare än vid kanter.

Lärande minskare

Den nya forskningen föreslår en lärande minskare som kallas en deformationsmodul, som tränas tillsammans med en parallell segmenteringsmodul, och kan därför informeras om områden av intresse som identifierats av semantisk segmentering, och prioritera dessa under minskningsprocessen.

Författarna testade systemet på flera populära datamängder, inklusive Cityscapes, DeepGlobe och en lokal prostatacancerhistologidatamängd, ‘PCa-Histo’.

Tre tillvägagångssätt: till vänster, befintlig ‘uniform’ minskning; i mitten, ‘optimal kant’-tillvägagångssättet från 2019-papperet; till höger, arkitekturen bakom det nya systemet, informerat av entitetsigenkänning i en semantisk segmenteringslager.

Ett liknande tillvägagångssätt har prövats för en klassificerare föreslagen 2019, men författarna till den aktuella artikeln hävdar att denna metod inte tillräckligt reglerar områdena av betoning, och kan potentiellt missa viktiga områden i ett medicinskt avbildningssammanhang.

Resultat

Deformationsmodulen i det nya systemet är ett litet konvolutionsneuralt nätverk (CNN), medan segmenteringslagret är ett djupt CNN-arkitektur som använder HRNetV2-W48. Pyramid Scene Parsing Network (PSP-net) användes som en sanity check-lager för CityScapes-testerna.

De ovannämnda datamängderna testades med det nya ramverket, med användning av enhetlig omstorlek (det vanliga tillvägagångssättet), det optimala kanttillvägagångssättet från 2019 och det nya tillvägagångssättets utnyttjande av semantisk segmentering.

Författarna rapporterar att den nya metoden visar ‘tydlig fördel på att identifiera och skilja de mest kliniskt viktiga klasserna’, med en noggrannhetsförbättring på 15-20%. De observerar vidare att avståndet mellan dessa klasser ofta definieras som ‘tröskeln från frisk till cancer’.

Klassvis intersection över union (IoU) analys över de tre metoderna: vänster, standard omstorlek; mitten, optimal kant; och höger, det nya tillvägagångssättet. CityScapes minskades till enbart 64 x 128, med PCaHisto ner till 80 x 800, och DeepGlobe ner till 300 pixlar kvadrat.

Rapporten anger att deras metod ‘kan lära sig en minskningsstrategi, bättre bevara information och möjliggöra en bättre avvägning.’, och drar slutsatsen att det nya ramverket ‘kan effektivt lära sig var att “investera” den begränsade budgeten av pixlar vid minskning för att uppnå den högsta totala avkastningen i segmenteringsnoggrannhet’.

Huvudbilden för den här artikeln hämtades från thispersondoesnotexist.com. Uppdaterad 15:35 GMT+2 för textfel.