Bedre maskinlæringsytelse gjennom CNN-basert bildeomstørrelse

Google Research har foreslått en ny metode for å forbedre effektiviteten og nøyaktigheten av bildebasert datamaskinsyn i treningsarbeidsflyter ved å forbedre måten bildene i en datamengde blir minifisert på forbehandlingsstadiet.

I artikkelen Lær å endre størrelse på bilder for datamaskinsyntaksoppgaver, bruker forskerne Hossein Talebi og Peyman Milanfar en CNN for å lage en ny hybrid bildeomstørrelsearkitektur som produserer en merkbar forbedring av gjenkjennelsesresultater over fire populære datamaskinsyntaksdatasett.

Den foreslåtte fellesrammen for gjenkjennelse og omstørrelse. Kilde: https://arxiv.org/pdf/2103.09950.pdf

Artikkelen observerer at omstørrelses-/minifiseringsmetodene som brukes i automatiserte maskinlæringsrørledninger er tiår gamle og ofte bare bruker grunnleggende bilineær, bikubisk og nærmeste nabo omstørrelse – metoder som behandler alle piksler uten å skille mellom dem.

Til sammenligning øker den foreslåtte metoden bilde-dataene via en CNN og inkorporerer denne innmatningen i de minifiserte bildene som til slutt vil gå gjennom modellens arkitektur.

Bildebegrensninger i AI-trening

For å trene en modell som håndterer bilder, vil en maskinlæringsramme inkludere en forbehandlingsstadium, hvor en mangfoldig variasjon av bilder av forskjellige størrelser, fargespasium og oppløsninger (som vil bidra til treningsdatasettet) systematisk beskjæres og minifiseres til konsistente dimensjoner og en stabil, enkelt format.

Vanligvis vil dette innebære en kompromiss rundt PNG-formatet, hvor en avveiing mellom prosesseringstid/ressurser, filstørrelse og bildekvalitet vil bli etablert.

I de fleste tilfeller er de endelige dimensjonene av det prosesserte bildet svært små. Under ser vi et eksempel på 80×80-oppløsningen som noen av de tidligste deepfakes-datasettene ble generert:

Siden ansikter (og andre mulige emner) sjelden passer inn i den nødvendige kvadratforholdet, kan svarte linjer måtte legges til (eller bortkastet plass tillates) for å homogenisere bildene, og redusere den faktiske brukbare bildedata:

Her er ansiktet blitt trukket ut fra en større bildeområde til det er beskåret så økonomisk som mulig for å inkludere hele ansiktsområdet. Imidlertid, som vist til høyre, vil en stor del av den gjenværende området ikke bli brukt under trening, og legger større vekt på viktigheten av bildekvaliteten på de minifiserte data.

Siden GPU-egenskapene har forbedret seg i løpet av de siste årene, med den nye generasjonen av NVIDIA-kort utstyrt med økende mengder av video-RAM (VRAM), er gjennomsnittlige bidragende bildestørrelser begynt å øke, selv om 224×224 piksler fortsatt er ganske standard (for eksempel er det størrelsen på ResNet-50-datasettet).

Et ubeskåret 224×244 piksler bilde.

Passer batcher inn i VRAM

Grunnen til at bildene må være like store er at gradient-descent, metoden som modellen forbedrer seg over tid, krever ensartet treningsdata.

Grunnen til at bildene må være så små er at de må lastes (fullstendig dekomprimert) inn i VRAM under trening i små batcher, vanligvis mellom 6-24 bilder per batch. For få bilder per batch, og det er ikke nok gruppe-materiale til å generalisere godt, i tillegg til å forlenge treningstiden; for mange, og modellen kan feile å oppnå nødvendige egenskaper og detaljer (se under).

Dette ‘live laste’ delen av treningsarkitekturen kalles latent rom. Dette er hvor egenskaper blir gjentatte ganger trukket ut fra samme data (dvs. samme bilder) til modellen har konvergert til en tilstand hvor den har all den generaliserte kunnskapen den trenger for å utføre transformasjoner på senere, usette data av en lignende type.

Dette prosessen tar vanligvis dager, selv om det kan ta en måned eller mer av konstant og uavbrutt høy volum 24/7 kognition for å oppnå nyttig generalisering. Økninger i VRAM-størrelse er bare nyttige opp til et punkt, siden selv små økninger i bildeoppløsning kan ha en orden-av-magnitude effekt på prosesseringskapasitet, og relaterte effekter på nøyaktighet som ikke alltid er gunstige.

Å bruke større VRAM-kapasitet for å akkommodere høyere batch-størrelser er også en blandet velsignelse, siden de større treningshastighetene som oppnås av dette er sannsynligvis å offsette av mindre presise resultater.

Derfor, siden treningsarkitekturen er så begrenset, er noe som kan effektuere en forbedring innenfor de eksisterende begrensningene av røret en merkelig bedrift.

Hvordan overlegen minifisering hjelper

Den ultimate kvaliteten på et bilde som vil bli inkludert i et treningsdatasett har blitt bevist å ha en forbedrende effekt på utfallet av trening, spesielt i objektgjenkjenningsoppgaver. I 2018 hevdet forskere fra Max Planck-instituttet for intelligente systemer at valget av omprøvingsmetode merkbar påvirkte treningens ytelse og resultater.

I tillegg har tidligere arbeid fra Google (skrevet av de nye artikkelforfatterne) funnet at klassifiseringsnøyaktigheten kan forbedres ved å opprettholde kontroll over kompresjonsarter i datasett-bilder.

CNN-arkitekturen for den foreslåtte Google Research-minifiseringsalgoritmen.

CNN-modellen bygget inn i den nye minifiseringsalgoritmen kombinerer bilineær minifisering med en ‘hoppeforbindelse’-funksjon som kan inkorporere utgang fra det trente nettverket inn i det minifiserte bildet.

I motsetning til en typisk encoder/decoder-arkitektur, kan den nye forslaget fungere ikke bare som en feed-forward flaskehals, men også som en invers flaskehals for oppskalering til enhver mål-størrelse og/eller aspektforhold. I tillegg kan den ‘standard’ omprøvingsmetoden byttes ut med noen annen egnet tradisjonell metode, som Lanczos.

Høyfrekvente detaljer

Den nye metoden produserer bilder som i virkeligheten ser ut til å ‘bake’ nøkkel-egenskaper (som til slutt vil bli gjenkjent av treningsprosessen) direkte inn i kildebildet. I estetiske termer er resultater uvanlige:

Den nye metoden brukt over fire nettverk – Inception V2; DenseNet-121; ResNet-50; og MobileNet-V2. Resultatene av den nye Google Research-bilde-minifiserings-/omstørrelsemetoden produserer bilder med åpenbar pikselaggregasjon, som forutser de nøkkel-egenskapene som vil bli gjenkjent under treningsprosessen.

Forskerne merker at disse initielle eksperimentene er eksklusivt optimert for bildegjenkjenningsoppgaver, og at i tester deres CNN-drevne ‘lærte omstørrelse’ var i stand til å oppnå forbedrede feilrater i slike oppgaver. Forskerne har til hensikt å anvende metoden til andre typer bildebaserte datamaskinsyntaksapplikasjoner i fremtiden.