SEER: En gjennombrudd i selv-overvåket datavisjonsmodeller?

I det siste tiåret har kunstig intelligens (AI) og maskinlæring (ML) sett en enorm fremgang. I dag er de mer nøyaktige, effektive og kapable enn noensinne. Moderne AI- og ML-modeller kan lett og nøyaktig gjenkjenne objekter i bilder eller videofiler. I tillegg kan de generere tekst og tale som ligner menneskelig intelligens.

AI- og ML-modellene i dag er sterkt avhengige av trening på merket datasett som lærer dem å tolke en blokk med tekst, identifisere objekter i et bilde eller en videoramme, og flere andre oppgaver. 

Til tross for deres evner, er AI- og ML-modellene ikke perfekte, og forskerne arbeider med å bygge modeller som kan lære fra informasjonen de får, og ikke nødvendigvis avhengige av merket eller annotert data. Dette kalles selv-overvåket læring, og det er en av de mest effektive måtene å bygge ML- og AI-modeller som har “sunne menneskelige instinkter” eller bakgrunnskunnskap til å løse problemer som er utenfor evnene til AI-modellene i dag. 

Selv-overvåket læring har allerede vist sine resultater i naturlig språkbehandling, da det har tillatt utviklere å trene store modeller som kan arbeide med en enorm mengde data, og har ført til flere gjennombrudd i feltene naturkelig språkinferens, maskinoversettelse og spørsmålssvar. 

SEER-modellen fra Facebook (META ) AI har som mål å maksimere evnene til selv-overvåket læring i datavisjon. SEER eller SElf-overvåket er en selv-overvåket datavisjonslæringmodell som har over en milliard parametre, og den kan finne mønster eller lære selv fra en tilfeldig gruppe bilder funnet på internett uten ordentlige annotasjoner eller merking. 

Behovet for selv-overvåket læring i datavisjon

Data-merking eller data-annotering er en for-prosessering fase i utviklingen av maskinlæring- og kunstig intelligens-modeller. Data-annoteringsprosessen identifiserer rådata som bilder eller videorammer, og legger deretter til merking på dataene for å spesifisere konteksten for dataene til modellen. Disse merkingene tillater modellen å gjøre nøyaktige forutsigelser på dataene. 

En av de største hindringene og utfordringene utviklere møter når de arbeider med datavisjonsmodeller, er å finne høykvalitets annotert data. Datavisjon-modellene i dag avhenger av disse merket eller annotert datasett for å lære mønstrene som tillater dem å gjenkjenne objekter i bildet. 

Data-annotering og dens bruk i datavisjonsmodellen stiller følgende utfordringer:

Behandling av konsistent datasett kvalitet

Det største hindringen for utviklere er å få tilgang til høykvalitets datasett jevnt, fordi høykvalitets datasett med ordentlige merking og klare bilder resulterer i bedre læring og mer nøyaktige modeller. Imidlertid har tilgang til høykvalitets datasett jevnt sine egne utfordringer. 

Arbeidsstyrkeledelse

Data-merking kommer ofte med arbeidsstyrkeledelsesproblemer, hovedsakelig fordi en stor mengde arbeidere er nødvendig for å prosessere og merke store mengder ustrukturert og umerket data, samtidig som kvaliteten sikres. Derfor er det essensielt for utviklerne å finne en balanse mellom kvalitet og kvantitet når det gjelder data-merking. 

Økonomiske begrensninger

Det største hindringen er de økonomiske begrensningene som følger med data-merking, og ofte er data-merkingskostnaden en betydelig prosent av den totale prosjektkostnaden. 

Som du kan se, er data-annotering en stor hindring i utviklingen av avanserte datavisjonsmodeller, spesielt når det gjelder å utvikle komplekse modeller som håndterer store mengder treningdata. Det er grunnen til at datavisjonsindustrien trenger selv-overvåket læring for å utvikle komplekse og avanserte datavisjonsmodeller som kan håndtere oppgaver som er utenfor evnene til dagens modeller. 

Med det sagt, finnes det allerede mange selv-overvåkede læringmodeller som har fungert godt i en kontrollert miljø, og primært på ImageNet-datasett. Selv om disse modellene kanskje fungerer bra, oppfyller de ikke den primære betingelsen for selv-overvåket læring i datavisjon: å lære fra et ubegrenset dataset eller tilfeldig bilde, og ikke bare fra et veldefinert dataset. Når det implementeres ideelt, kan selv-overvåket læring hjelpe med å utvikle mer nøyaktige og mer kapable datavisjonsmodeller som er kostnadseffektive og gjennomførbare. 

SEER eller SElf-overvåket modell: En introduksjon

De siste trendene i AI- og ML-industrien har indikert at modell-forhånds-treningstilnærminger som semi-overvåket, svakt-overvåket og selv-overvåket læring kan betydelig forbedre ytelsen for de fleste dype læringmodeller for nedstrømsoppgaver. 

Det er to nøkelfaktorer som har bidratt betydelig til forbedringen av ytelsen til disse dype læringmodellene.

Forhånds-trening på store datasett

Forhånds-trening på store datasett resulterer vanligvis i bedre nøyaktighet og ytelse, fordi det eksponerer modellen for en stor variasjon av data. Et stort datasett tillater modellene å forstå mønstrene i dataene bedre, og til slutt resulterer det i at modellen fungerer bedre i sanntids-scenarier. 

Noen av de beste fungerende modellene, som GPT-3-modellen og Wav2vec 2.0-modellen, er trent på store datasett. GPT-3-språkmodellen bruker en forhånds-treningdatasett med over 300 milliarder ord, mens Wav2vec 2.0-modellen for talegjenkjenning bruker en datasett med over 53 000 timer med lyddata. 

Modeller med stor kapasitet

Modeller med høyere antall parametre gir ofte mer nøyaktige resultater, fordi et større antall parametre tillater modellen å fokusere på de objekter i dataene som er nødvendige, og ikke på støy eller interferens i dataene. 

Utviklere har tidligere forsøkt å trene selv-overvåkede læringmodeller på ikke-merkede eller ukurerte datasett, men med mindre datasett som bare inneholdt noen millioner bilder. Kan selv-overvåkede læringmodeller gi høy nøyaktighet når de er trent på en stor mengde umerkede og ukurerte data? Det er nettopp spørsmålet som SEER-modellen forsøker å besvare. 

SEER-modellen er en dyp læring-ramme som har som mål å registrere bilder tilgjengelige på internett uavhengig av kurerte eller merket datasett. SEER-rammen tillater utviklere å trene store og komplekse ML-modeller på tilfeldig data uten overvåking, dvs. modellen analyserer dataene og lærer mønstrene eller informasjonen på egen hånd uten noen tilføyde manuelle innputt. 

Det ultimate målet for SEER-modellen er å hjelpe med å utvikle strategier for forhånds-trening som bruker ukurert data for å levere topp-kvalitet og stat-of-the-art-ytelse i overføringslæring. Videre har SEER-modellen som mål å skape systemer som kan lære kontinuerlig fra en uendelig strøm av data på en selv-overvåket måte. 

SEER-rammen trener høykapasitetsmodeller på milliarder av tilfeldige og ustrukturerte bilder hentet fra internett. Modellene som er trent på disse bildene avhenger ikke av bilde-metadata eller annotasjoner for å trene modellen, eller filtere dataene. Nylig har selv-overvåket læring vist stor potensial som trening av modeller på ukurert data har gitt bedre resultater sammenlignet med forhånds-trente modeller for nedstrømsoppgaver. 

SEER-ramme og RegNet: Hva er forbindelsen?

For å analysere SEER-modellen, fokuserer den på RegNet-arkitekturen med over 700 millioner parametre som stemmer overens med SEERs mål om selv-overvåket læring på ukurert data for to primære årsaker:

1. De tilbyr en perfekt balanse mellom ytelse og effektivitet. 
2. De er svært fleksible og kan brukes til å skalerer for et antall parametre. 

SEER-ramme: Tidligere arbeid fra ulike områder

SEER-rammen har som mål å utforske grensene for å trene store modellarkitekturer i ukurerte eller umerkede datasett med selv-overvåket læring, og modellen søker inspirasjon fra tidligere arbeid i feltet. 

Uovervåket forhånds-trening av visuelle egenskaper

Selv-overvåket læring har vært implementert i datavisjon for en stund nå med metoder som bruker autoencodere, instans-nivå-diskriminering eller klastering. Nylig har metoder som bruker kontrastiv læring indikert at forhånds-trening av modeller med uovervåket læring for nedstrømsoppgaver kan fungere bedre enn en overvåket læringstilnærming. 

Hovedpoenget fra uovervåket læring av visuelle egenskaper er at så lenge du trener på filtrert data, er overvåkede merkinger ikke nødvendige. SEER-modellen forsøker å utforske om modellen kan lære nøyaktige representasjoner når store modellarkitekturer er trent på en stor mengde ukurert, umerket og tilfeldig bilder. 

Læring av visuelle egenskaper i stor skala

Tidligere modeller har hatt nytte av forhånds-trening av modellene på store merket datasett med svakt overvåket læring, overvåket læring og semi-overvåket læring på millioner av filtrerte bilder. Videre har modellanalysen også indikert at forhånds-trening av modellen på milliarder av bilder ofte gir bedre nøyaktighet sammenlignet med å trene modellen fra scratch. 

Videre avhenger trening av modellen på stor skala vanligvis av data-filtreringssteg for å gjøre bildene til å stemme overens med målkonseptene. Disse filtreringsstegene enten bruker forutsagn fra en forhånds-trent klassifikator, eller de bruker hashtagger som ofte er sysner av ImageNet-klassene. SEER-modellen fungerer annerledes, da den forsøker å lære egenskaper i ethvert tilfeldig bilde, og derfor er treningdataene for SEER-modellen ikke kurert for å stemme overens med en forhåndsdefinert sett av egenskaper eller konsepter. 

Skalering av arkitekturer for bildegjenkjenning

Modeller har vanligvis nytte av å trene store arkitekturer på bedre kvalitet resulterende visuelle egenskaper. Det er essensielt å trene store arkitekturer når forhånds-trening på et stort datasett er viktig, fordi en modell med begrenset kapasitet ofte under-fitter. Det har enda mer betydning når forhånds-trening utføres sammen med kontrastiv læring, fordi i slike tilfeller må modellen lære å diskriminere mellom datasett-eksempler for å lære bedre visuelle representasjoner. 

Imidlertid, for bildegjenkjenning, innebærer skaleringsarkitekturen mye mer enn bare å endre dybden og bredden til modellen, og å bygge en skalerings-effektiv modell med høyere kapasitet, krever mye litteratur. SEER-modellen viser fordelen med å bruke RegNets-familien av modeller for å deployere selv-overvåket læring på stor skala. 

SEER: Metoder og komponenter som brukes

SEER-rammen bruker en rekke metoder og komponenter for å forhånds-treine modellen for å lære visuelle representasjoner. Noen av de viktigste metodene og komponentene som brukes av SEER-rammen, er: RegNet og SwAV. La oss diskutere metodene og komponentene som brukes i SEER-rammen kort. 

Selv-overvåket forhånds-trening med SwAV

SEER-rammen er forhånds-trent med SwAV, en online selv-overvåket læringstilnærming. SwAV er en online-klasteringsmetode som brukes til å trene convnets-ramme uten annotasjoner. SwAV-rammen fungerer ved å trene en innbedding som produserer klaster-tildelinger konsekvent mellom ulike visninger av samme bilde. Systemet lærer deretter semantiske representasjoner ved å grave klaster som er uavhengige av data-forstørrelser. 

I praksis sammenligner SwAV-rammen egenskapene til ulike visninger av et bilde ved å bruke deres uavhengige klaster-tildelinger. Hvis disse tildelingene fanger samme eller lignende egenskaper, er det mulig å forutsi tildelingen av ett bilde ved å bruke egenskapsrepresentasjonen til et annet syn. 

SEER-modellen betrakter en mengde K klaster, og hver av disse klastrene er assosiert med en lærbart d-dimensjonal vektor vk. For en batch av B bilder, hver bilde i er transformert til to ulike visninger: xi1 , og xi2. Visningene er deretter featurisert med hjelp av en convnet, og det resulterer i to sett av egenskaper: (f11, …, fB2), og (f12, … , fB2). Hver egenskapssett er deretter tildelt uavhengig til klaster-prototyper med hjelp av en Optimal Transport-løser. 

Optimal Transport-løseren sikrer at egenskapene deles jevnt over klastrene, og det hjelper med å unngå trivielle løsninger hvor alle representasjonene er kartlagt til en enkelt prototype. Den resulterende tildelingen er deretter byttet mellom to sett: klaster-tildelingen yi1 av visningen xi1 må være forutsagt ved å bruke egenskapsrepresentasjonen fi2 av visningen xi2, og vice versa. 

Prototype-vektene og convnet er deretter trent for å minimere tapet for alle eksempler. Klaster-forutsigelses-tapet l er essensielt den kryss-entropien mellom en softmax av dot-produktet av f og klaster-tildeling. 

RegNetY: Skalerings-effektiv modellfamilie

Skalering av modellkapasitet og data krever arkitekturer som er effektive ikke bare i forhold til minne, men også i forhold til kjøretid og RegNets-rammen er en familie av modeller designet spesielt for dette formålet. 

RegNet-familien av arkitekturer er definert av et design-rom med convnets med 4 stadier hvor hvert stade inneholder en rekke identiske blokker mens de sikrer at strukturen til deres blokk forblir fiksert, hovedsakelig den residerende bottleneck-blokken. 

SEER-rammen fokuserer på RegNetY-arkitekturen og legger til en Squeeze-and-Excitation til den standard RegNets-arkitekturen i et forsøk på å forbedre deres ytelse. Videre har RegNetY-modellen 5 parametre som hjelper i søket etter gode instanser med et fast antall FLOPs som forbruker rimelige ressurser. SEER-modellen forsøker å forbedre sine resultater ved å implementere RegNetY-arkitekturen direkte på sin selv-overvåkede forhånds-trening. 

RegNetY 256GF-arkitekturen: SEER-modellen fokuserer hovedsakelig på RegNetY 256GF-arkitekturen i RegNetY-familien, og dens parametre bruker skaleringsregelen til RegNets-arkitekturen. Parametrene er beskrevet som følger. 

RegNetY 256GF-arkitekturen har 4 stadier med stade-bredde (528, 1056, 2904, 7392), og stade-dybde (2,7,17,1) som adderer opp til over 696 millioner parametre. Når modellen er trent på 512 V100 32GB NVIDIA -GPUer, tar hver iterasjon omtrent 6125ms for en batch-størrelse på 8 704 bilder. Trening av modellen på et datasett med over en milliard bilder, med en batch-størrelse på 8 704 bilder på over 512 GPUer, krever 114 890 iterasjoner, og treningen varer i omtrent 8 dager. 

Optimisering og trening på stor skala

SEER-modellen foreslår flere tilpasninger for å trene selv-overvåkede metoder for å anvende og tilpasse disse metodene til en stor skala. Disse metodene er: 

1. Læringshastighets-skjema. 
2. Redusere minne-forbruk per GPU. 
3. Optimisere treningshastighet. 
4. Forhånds-trening av data på stor skala. 

La oss diskutere dem kort. 

Læringshastighets-skjema

SEER-modellen utforsker muligheten for å bruke to læringshastighets-skjema: kosin-bølge-læringshastighets-skjema og det faste læringshastighets-skjema. 

Kosin-bølge-læringshastighets-skjemaet brukes for å sammenligne ulike modeller rettferdig, da det tilpasser seg antall oppdateringer. Imidlertid tilpasser kosin-bølge-læringshastighets-skjemaet seg ikke til stor-skala-trening, hovedsakelig fordi det vekter bildene ulikt basert på når de sees under trening, og det bruker også komplette oppdateringer for skjemaet. 

Det faste læringshastighets-skjemaet holder læringshastigheten fast til tapet ikke er ikke-avtagende, og deretter er læringshastigheten delt på 2. Analyse viser at det faste læringshastighets-skjemaet fungerer bedre, da det har rom for å gjøre treningen mer fleksibel. Imidlertid, fordi modellen bare trener på 1 milliard bilder, bruker den kosin-bølge-læringshastigheten for å trene sin største modell, RegNet 256GF. 

Redusere minne-forbruk per GPU

Modellen forsøker også å redusere mengden GPU som trengs under trening ved å bruke blandet presisjon og gradvis sjekkpunkt. Modellen bruker NVIDIA Apex Librarys O1-Optimeringsnivå for å utføre operasjoner som konvolusjoner og GEMMs i 16-bits flytende punkt-presisjon. Modellen bruker også PyTorchs gradient-sjekkpunkt-implementering som handler datamaskin for minne. 

Videre kaster modellen bort alle mellomliggende aktiveringer som gjøres under fremover-pass, og under bakover-pass, gjenskaper den disse aktiveringene. 

Optimisere treningshastighet

Bruken av blandet presisjon for å optimisere minne-bruk har også fordeler som akseleratorer som tar fordel av den reduserte størrelsen på FP16 sammenlignet med FP32. Det hjelper med å øke treningshastigheten ved å forbedre minne-båndbredden. 

SEER-modellen synkroniserer også BatchNorm-laget over GPUer for å skape prosess-grupper i stedet for å bruke global sync som vanligvis tar mer tid. Til slutt pre-fetcher data-lasteren brukt i SEER-modellen flere trening-batch som fører til en høyere mengde data som går gjennom sammenlignet med PyTorchs data-laster. 

Stor-skala forhånds-trening av data

SEER-modellen bruker over en milliard bilder under forhånds-trening, og den betrakter en data-laster som sampler tilfeldige bilder direkte fra internett og Instagram. Fordi SEER-modellen trener disse bildene i vill og online, gjør den ikke noen forhånds-behandling på disse bildene eller kuraterer dem ved hjelp av prosesser som de-duplisering eller hashtag-filtrering. 

Det er verdt å merke seg at datasett er ikke statisk, og bildene i datasett oppdateres hver tredje måned. Imidlertid påvirker oppdateringen av datasett ikke modellens ytelse. 

SEER-modell implementasjon

SEER-modellen forhånds-trener en RegNetY 256GF med SwAV ved hjelp av seks avlinger per bilde, med hver bilde som har en oppløsning på 2×224 + 4×96. Under forhånds-trening fasen, bruker modellen en 3-lagd MLP eller multi-lag-perceptron med prosjeksjons-hoder med dimensjoner 10444×8192, 8192×8192 og 8192×256. 

I stedet for å bruke BatchNorm-lag i hodet, bruker SEER-modellen 16 000 prototyper med temperaturen t sett til 0,1. Sinkhorn-regulariseringsparameteren er satt til 0,05, og den utfører 10 iterasjoner av algoritmen. Modellen synkroniserer deretter BatchNorm-statistikk over GPUene og skaper flere prosess-grupper med størrelse 64 for synkronisering. 

Videre bruker modellen en LARS eller Lag-vise Adaptive Rate Scaling-optimizer, en vekt-forfall på 10-5, aktiverings-sjekkpunkt og O1-blandet-presisjons-optimisering. Modellen er deretter trent med stokastisk gradient-descent ved hjelp av en batch-størrelse med 8192 tilfeldige bilder distribuert over 512 NVIDIA-GPUer, noe som resulterer i 16 bilder per GPU. 

Læringshastigheten er lineært økt fra 0,15 til 9,6 for de første 8 000 trening-oppdateringene. Etter oppvarming, følger modellen en kosin-læringshastighets-skjema som avtar til en sluttverdi på 0,0096. Totalt sett trener SEER-modellen over en milliard bilder over 122 000 iterasjoner. 

SEER-ramme: Resultater

Kvaliteten på egenskaper generert av den selv-overvåkede forhånds-treningstilnærmingen er studert og analysert på en rekke benchmark og nedstrømsoppgaver. Modellen betrakter også en lav-skudd-innstillings som gir begrenset tilgang til bildene og deres merking for nedstrømsoppgaver. 

Fine-tuning av store forhånds-trent modeller

Det måler kvaliteten på modeller som er forhånds-trent på tilfeldig data ved å overføre dem til ImageNet-benchmarket for objekt-klassifisering. Resultatene på fine-tuning av store forhånds-trent modeller er bestemt av følgende parametre. 

Ekperimentelle innstillinger

Modellen forhånds-trener 6 RegNet-arkitekturer med ulike kapasiteter, nemlig RegNetY- {8,16,32,64,128,256}GF, på over 1 milliard tilfeldige og offentlige Instagram-bilder med SwAV. Modellene er deretter fin-trent for bild-klassifisering på ImageNet som bruker over 1,28 millioner standard trening-bilder med korrekte merking og har et standard-valideringssett med over 50 000 bilder for evaluering. 

Modellen bruker deretter samme data-forstørrelsesteknikker som i SwAV og fin-trener i 35 epoker med SGD-optimizer eller Stokastisk Gradient-Descent med en batch-størrelse på 256 og en læringshastighet på 0,0125 som reduseres med en faktor på 10 etter 30 epoker, momentum på 0,9 og vekt-forfall på 10-4. Modellen rapporterer top-1-nøyaktighet på validerings-datasett ved hjelp av sentrum-utklipping av 224×224. 

Sammenligning med andre selv-overvåkede forhånds-treningstilnærminger

I følgende tabell sammenlignes den største forhånds-trent modellen i RegNetY-256GF med eksisterende forhånds-trent modeller som bruker selv-overvåket læringstilnærming. 

Som du kan se, returnerer SEER-modellen en top-1-nøyaktighet på 84,2% på ImageNet og overgår SimCLRv2, den beste eksisterende forhånds-trent modell, med 1%. 

Videre sammenligner følgende figur SEER-rammen med modeller av ulike kapasiteter. Som du kan se, uavhengig av modellkapasiteten, kombinere RegNet-rammen med SwAV resulterer i nøyaktige resultater under forhånds-trening. 

SEER-modellen er forhånds-trent på ukurert og tilfeldig bilder, og den har RegNet-arkitekturen med SwAV selv-overvåket læringstilnærming. SEER-modellen sammenlignes mot SimCLRv2 og ViT-modellene med ulike nettverks-arkitekturer. Til slutt er modellen fin-trent på ImageNet-datasett, og top-1-nøyaktigheten rapporteres. 

Impakt av modellkapasiteten

Modellkapasiteten har en betydelig impakt på modellens ytelse under forhånds-trening, og følgende figur sammenligner det med impakten når modellen er trent fra scratch. 

Det kan tydelig sees at top-1-nøyaktighetsscoren til forhånds-trent modell er høyere enn modeller som er trenet fra scratch, og forskjellen blir større når antall parametre øker. Det er også tydelig at selv om modellkapasiteten har en positiv impakt på begge forhånds-trent og trenet fra scratch-modeller, er impakten større på forhånds-trent modeller når det gjelder et stort antall parametre. 

En mulig årsak til at trening av en modell fra scratch kan over-fitte når den er trent på ImageNet-datasett, er på grunn av den lille datasett-størrelsen.

Lav-skudd-læring

Lav-skudd-læring refererer til evaluering av SEER-modellens ytelse i en lav-skudd-innstilling, dvs. ved å bruke bare en brøkdel av den totale data under nedstrømsoppgaver. 

Ekperimentelle innstillinger

SEER-rammen bruker to datasett for lav-skudd-læring, nemlig Places205 og ImageNet. Videre antar modellen at den har begrenset tilgang til datasett under overføringslæring både i forhold til bilder og deres merking. Denne begrensede tilgangs-innstillingen er forskjellig fra standard-innstillingene som brukes for selv-overvåket læring, hvor modellen har tilgang til hele datasett, og bare tilgangen til bilde-merking er begrenset. 

• Resultater på Place205-datasett

Følgende figur viser impakten av å forhånds-treine modellen på ulike deler av Place205-datasett. 

Tilnærmingen brukes sammenlignet med å forhånds-treine modellen på ImageNet-datasett under overvåking med samme RegNetY-128 GF-arkitektur. Resultatene fra sammenligningen er overraskende, da det kan observeres at det er en stabil gevinst på omtrent 2,5% i top-1-nøyaktighet uavhengig av hvilken del av trening-data som er tilgjengelig for fin-trening på Place205-datasett. 

Forskjellen observerert mellom overvåket og selv-overvåket forhånds-trening kan forklares gitt forskjellen i naturen til trening-data, da egenskaper lært av modellen fra tilfeldige bilder i vill kan være bedre egnet til å klassifisere scenen. Videre kan en ikke-uniform fordeling av underliggende konsept kan vise seg å være en fordel for forhånds-trening på et ubalansert datasett som Place205. 

Resultater på ImageNet

Følgende tabell sammenligner tilnærmingen til SEER-modellen med selv-overvåkede forhånds-treningstilnærminger og semi-overvåkede tilnærminger på lav-skudd-læring. Det er verdt å merke seg at alle disse metodene bruker alle 1,2 million bilder i ImageNet-datasett for forhånds-trening, og de bare begrenser tilgangen til merking. På den andre siden, tillater tilnærmingen brukt i SEER-modellen den å se bare 1 til 10% av bildene i datasett. 

Som du kan se, selv om SEER-modellen bare ser 1 til 10% av ImageNet-datasett, er den fortsatt i stand til å oppnå en top-1-nøyaktighet på omtrent 80%, som bare faller kort av nøyaktigheten til tilnærminger diskutert i tabellen over. 

Impakt av modellkapasiteten

Følgende figur diskuterer impakten av modellkapasiteten på lav-skudd-læring: på 1%, 10% og 100% av ImageNet-datasett. 

Det kan observeres at å øke modellkapasiteten kan forbedre nøyaktigheten til modellen, da den reduserer tilgangen til både bilder og merking i datasett. 

Overføring til andre benchmark

For å evaluere SEER-modellen videre og analysere dens ytelse, overføres de forhånds-trent egenskapene til andre nedstrømsoppgaver. 

Lineær evaluering av bilde-klassifisering

Følgende tabell sammenligner egenskaper fra SEERs forhånds-trent RegNetY-256GF og RegNetY128-GF forhånds-trent på ImageNet-datasett med samme arkitektur med og uten overvåking. For å analysere kvaliteten på egenskapene, fryser modellen vektene og bruker en lineær klassifikator på toppen av egenskapene ved hjelp av treningsettet for nedstrømsoppgavene. Følgende benchmarkene brukes i prosessen: Open-Images(OpIm), iNaturalist(iNat), Places205(Places) og Pascal VOC(VOC). 

Deteksjon og segmentering

Følgende figur sammenligner de forhånds-trent egenskapene på deteksjon og segmentering og evaluerer dem. 

SEER-rammen trener en Mask-RCNN-modell på COCO-benchmarket med forhånds-trent RegNetY-64GF og RegNetY-128GF som byggestenene. For både arkitektur og nedstrømsoppgaver, overgår SEERs selv-overvåkede forhånds-treningstilnærming overvåket trening med 1,5 til 2 AP-poeng. 

Sammenligning med svakt overvåket forhånds-trening

De fleste bildene som er tilgjengelige på internett har vanligvis en meta-beskrivelse eller en alt-tekst, eller beskrivelser, eller geolokasjoner som kan gi en fordel under forhånds-trening. Tidligere arbeid har indikert at å forutsi en kurert eller merket sett av hashtagger kan forbedre kvaliteten på de resulterende visuelle egenskapene. Imidlertid trenger denne tilnærmingen å filtere bilder, og den fungerer bare når en tekst-merking er til stede. 

Følgende figur sammenligner forhånds-trening av en ResNetXt101-32dx8d-arkitektur trent på tilfeldige bilder med samme arkitektur trent på merket bilder med hashtag og metadata, og rapporterer top-1-nøyaktighet for begge. 

Det kan sees at selv om SEER-rammen ikke bruker metadata under forhånds-trening, er dens nøyaktighet sammenlignbar med modellene som bruker metadata for forhånds-trening. 

Ablasjon-studier

Ablasjon-studie utføres for å analysere impakten av en bestemt komponent på den totale ytelsen til modellen. En ablasjon-studie gjøres ved å fjerne komponenten fra modellen helt, og forstå hvordan modellen fungerer. Det gir utviklere en kort oversikt over impakten av den bestemte komponenten på modellens ytelse. 

Impakt av modell-arkitekturen

Modell-arkitekturen har en betydelig impakt på ytelsen til modellen, spesielt når modellen er skalert eller spesifikasjonene til forhånds-trening-dataene er modifisert. 

Følgende figur diskuterer impakten av å endre arkitekturen på kvaliteten på de forhånds-trent egenskapene ved å evaluere ImageNet-datasett lineært. De forhånds-trent egenskapene kan være direkte i denne sammenhengen, fordi evalueringen ikke favoriserer modellen som returnerer høy nøyaktighet når den er trent fra scratch på ImageNet-datasett. 

Det kan observeres at for ResNeXts og ResNet-arkitektur, fungerer egenskapene fra den penultimate-laget bedre med de nåværende innstillingene. På den andre siden, overgår RegNet-arkitekturen de andre arkitekturene. 

Totalt sett kan det konkluderes at å øke modellkapasiteten har en positiv impakt på kvaliteten på egenskapene, og det er en logaritmisk gevinst i modellens ytelse. 

Skalering av forhånds-trening-data

Det er to primære årsaker til at trening av en modell på et større datasett kan forbedre den totale kvaliteten på de visuelle egenskapene modellen lærer: flere unike bilder og flere parametre. La oss se på hvordan disse årsakene påvirker modellens ytelse. 

Økning av antall unike bilder

Følgende figur sammenligner to ulike arkitekturer, RegNet8 og RegNet16, som har samme antall parametre, men er trent på ulike antall unike bilder. SEER-rammen trener modellene for oppdateringer som tilsvarer 1 epoke for en milliard bilder, eller 32 epoker for 32 unike bilder, og med en enkelt-halv bølge kosin-læringshastighets-skjema. 

Det kan observeres at for at en modell skal fungere bra, bør antall unike bilder som matet til modellen være høyere. I dette tilfellet fungerer modellen bra når den mates med unike bilder større enn bildene i ImageNet-datasett. 

Flere parametre

Følgende figur indikerer en modells ytelse når den er trent over en milliard bilder ved hjelp av RegNet-128GF-arkitekturen. Det kan observeres at ytelsen til modellen øker jevnt når antall parametre øker. 

Selv-overvåket datavisjon i sanntid

Inntil nå, har vi diskutert hvordan selv-overvåket læring og SEER-modellen for datavisjon fungerer i teori. Nå, la oss se på hvordan selv-overvåket datavisjon fungerer i sanntids-scenarier, og hvorfor SEER er fremtiden for selv-overvåket datavisjon. 

SEER-modellen rivaliserer arbeidet gjort i naturlig språkbehandling-industrien hvor høykvalitets, stat-of-the-art-modeller bruker trillions av datasett og parametre kombinert med trillions av ord av tekst under forhånds-trening av modellen. Ytelse på nedstrømsoppgaver øker vanligvis med en økning i antall inndata for å trene modellen, og det samme er sant for datavisjonsoppgaver også. 

Men å bruke selv-overvåket læringsteknikker for naturlig språkbehandling er forskjellig fra å bruke selv-overvåket læring for datavisjon. Det er fordi når det gjelder tekst, er semantiske konsepter vanligvis brutt ned i diskrete ord, men når det gjelder bilder, må modellen bestemme hvilke piksler som tilhører hvilket konsept. 

Videre har ulike bilder ulike visninger, og selv om flere bilder kan ha samme objekt, kan konseptet variere betydelig. For eksempel, betrakt et datasett med bilder av en katt. Selv om hoved-objektet, katten, er felles for alle bildene, kan konseptet variere betydelig, da katten kan stå stille i ett bilde, mens den kan leke med en ball i det neste, og så videre. Fordi bildene ofte har varierende konsept, er det essensielt for modellen å se på en betydelig mengde bilder for å forstå forskjellene rundt samme konsept. 

Skalering av en modell suksessfullt så den fungerer effektivt med høy-dimensjonale og komplekse bilde-data krever to komponenter: 

1. En konvolusjons-neural nettverk eller CNN som er stor nok til å fange og lære visuelle konsepter fra et meget stort bilde-datasett.
2. En algoritme som kan lære mønstre fra en stor mengde bilder uten merking, annotasjoner eller metadata. 

SEER-modellen forsøker å anvende disse komponentene til feltet datavisjon. SEER-modellen forsøker å utnytte fremskrittene gjort av SwAV, en selv-overvåket læring-ramme som bruker online-klaster til å gruppere eller parre bilder med parallelle visuelle konsepter, og utnytte disse likhetene til å identifisere mønstre bedre. 

Med SwAV-arkitekturen, er SEER-modellen i stand til å gjøre bruk av selv-overvåket læring i datavisjon mye mer effektiv, og redusere treningstiden med opptil 6 ganger. 

Videre, trening av modeller på stor skala, i denne skalaen, over en milliard bilder, krever en modell-arkitektur som er effektiv ikke bare i forhold til minne, men også i forhold til kjøretid og RegNets-modellene er ConvNets-modeller som kan skalerer trillions av parametre og kan optimaliseres etter behov for å være i overensstemmelse med minne-begrensninger og kjøretids-reguleringer. 

Konklusjon: En selv-overvåket fremtid

Selv-overvåket læring har vært et hovedtema i AI- og ML-industrien for en stund nå, fordi det tillater AI-modeller å lære informasjon direkte fra en stor mengde data som er tilgjengelig tilfeldig på internett, i stedet for å avhenge av omsorgsfullt kurerte og merket datasett som har det eneste formålet å trene AI-modeller. 

Selv-overvåket læring er et viktig konsept for fremtiden til AI og ML, fordi det har potensialet til å tillate utviklere å skape AI-modeller som tilpasser seg sanntids-scenarier, og har mange bruksområder i stedet for å ha et bestemt formål, og SEER er en milepæl i implementeringen av selv-overvåket læring i datavisjons-industrien. 

SEER-modellen tar det første skrittet i transformasjonen av datavisjons-industrien, og reduserer vår avhengighet av merket datasett. SEER-modellen forsøker å eliminere behovet for å annotere datasett, noe som vil tillate utviklere å arbeide med en divers og stor mengde data. Implementeringen av SEER er spesielt nyttig for utviklere som arbeider på modeller som håndterer områder som har begrenset bilder eller metadata, som medisinske industrien. 

Videre, å eliminere menneskelig annotasjoner, vil tillate utviklere å utvikle og deployere modellen raskere, noe som vil tillate dem å respondere på raskt utviklende situasjoner raskere og med mer nøyaktighet.