SEER: En Gennembrud i Selv-Supervised Computer Vision Modeller?

I det seneste årti har kunstig intelligens (AI) og maskinlæring (ML) oplevet en enorm fremgang. I dag er de mere nøjagtige, effektive og kapable end nogensinde før. Moderne AI- og ML-modeller kan uden besvær og nøjagtigt genkende objekter i billeder eller videofiler. Desuden kan de generere tekst og tale, der ligner menneskelig intelligens.

AI- og ML-modellerne i dag er stærkt afhængige af træning på labelede datasæt, der lærer dem, hvordan de skal fortolke en blok af tekst, identificere objekter i et billede eller en videosekvens og mange andre opgaver. 

Trods deres evner er AI- og ML-modellerne ikke perfekte, og forskere arbejder på at udvikle modeller, der kan lære af den information, de får, og ikke nødvendigvis afhænge af labelede eller annoterede data. Denne tilgang kaldes selv-supervised læring, og det er en af de mest effektive metoder til at opbygge ML- og AI-modeller, der har “fælles fornuft” eller baggrundsviden til at løse problemer, der er ud over kapaciteten af AI-modeller i dag. 

Selv-supervised læring har allerede vist sine resultater i naturlig sprogbehandling, da det har tilladt udviklerne at træne store modeller, der kan arbejde med en enorm mængde data, og har ført til flere gennembrud i områder som naturlig sprogindføring, maskinoversættelse og spørgsmålssvar. 

SEER-modellen fra Facebook (META ) AI sigter mod at maksimere selv-supervised læringens kapaciteter i computer vision-området. SEER eller SElf SupERvised er en selv-supervised computer vision-læringsmodel, der har over en milliard parametre, og den kan finde mønstre eller lære, selv fra en tilfældig gruppe af billeder fundet på internettet uden ordentlige annoteringer eller mærkater. 

Behovet for Selv-Supervised Læring i Computer Vision

Data-annotering eller data-mærkning er en forarbejdningsfase i udviklingen af maskinlæring- og kunstig intelligens-modeller. Data-annoteringsprocessen identificerer rådata som billeder eller videosekvenser og tilføjer derefter mærkater til data for at specificere konteksten af data for modellen. Disse mærkater tillader modellen at foretage nøjagtige forudsigelser på data. 

En af de største udfordringer, udviklere står over for, når de arbejder med computer vision-modeller, er at finde højkvalitets-annoterede data. Computer Vision-modeller i dag afhænger af disse mærkede eller annoterede datasæt for at lære mønstrene, der tillader dem at genkende objekter i billedet. 

Data-annotering og dens brug i computer vision-modellen stiller følgende udfordringer:

Styring af Konsistent Datasæt-Kvalitet

Det er sandsynligvis den største udfordring for udviklerne at få adgang til højkvalitetsdatasæt konsekvent, da højkvalitetsdatasæt med ordentlige mærkater og klare billeder resulterer i bedre læring og mere nøjagtige modeller. Imidlertid har adgang til højkvalitetsdatasæt konsekvent sine egne udfordringer. 

Arbejdskraftsadministration

Data-mærkning kommer ofte med arbejdskraftsadministrationsproblemer, primært fordi en stor mængde arbejdere kræves for at behandle og mærke store mængder uredigeret og umærket data, samtidig med at man sikrer kvalitet. Derfor er det essentiel for udviklerne at finde en balance mellem kvalitet og kvantitet, når det kommer til data-mærkning. 

Finansielle Begrænsninger

Det er sandsynligvis den største udfordring, de finansielle begrænsninger, der følger med data-mærkningsprocessen, og ofte er data-mærkningsomkostningerne en betydelig procentdel af den samlede projektomkostning. 

Som du kan se, er data-annotering en stor udfordring i udviklingen af avancerede computer vision-modeller, især når det kommer til udvikling af komplekse modeller, der behandler store mængder træningsdata. Det er grunden til, at computer vision-industrien har brug for selv-supervised læring for at udvikle komplekse og avancerede computer vision-modeller, der kan tackle opgaver, der er ud over kapaciteten af nuværende modeller. 

Med det sagt er der allerede mange selv-supervised læringmodeller, der har fungere godt i en kontrolleret omgang, og primært på ImageNet-datasættet. Selvom disse modeller måske fungerer godt, tilfredsstiller de ikke den primære betingelse for selv-supervised læring i computer vision: at lære fra enhver ubegrænset datasæt eller tilfældigt billede, og ikke kun fra et veldefineret datasæt. Når det implementeres ideelt, kan selv-supervised læring hjælpe med at udvikle mere nøjagtige og kapable computer vision-modeller, der er omkostningseffektive og gennemførlige. 

SEER eller SElf-supERvised Model: En Introduktion

De seneste tendenser i AI- og ML-industrien har indikeret, at model-præ-træningsmetoder som semi-supervised, weakly-supervised og selv-supervised læring kan betydeligt forbedre præstationen for de fleste dybe læringmodeller til downstream-opgaver. 

Der er to nøglefaktorer, der har bidraget væsentligt til forbedringen af disse dybe læringmodellers præstation.

Præ-træning på Store Datasæt

Præ-træning på store datasæt resulterer generelt i bedre nøjagtighed og præstation, da det udsætter modellen for en stor variation af data. Store datasæt tillader modellerne at forstå mønstrene i data bedre, og det resulterer i, at modellen fungerer bedre i virkelige scenarier. 

Nogle af de bedst fungerende modeller, som GPT-3-modellen og Wav2vec 2.0-modellen, er trænet på store datasæt. GPT-3-sprogmodellen bruger et præ-træningsdatasæt med over 300 milliarder ord, hvorimod Wav2vec 2.0-modellen for talegenkendelse bruger et datasæt med over 53.000 timers lyddata. 

Modeller med Stor Kapacitet

Modeller med højere antal parametre giver ofte nøjagtige resultater, da et større antal parametre tillader modellen at fokusere på de objekter i data, der er nødvendige, og ikke på støj eller forstyrrelser i data. 

Udviklere har tidligere forsøgt at træne selv-supervised læringmodeller på ikke-mærkede eller ukuraterede datasæt, men med mindre datasæt, der kun indeholdt få millioner billeder. Kan selv-supervised læringmodeller give høj nøjagtighed, når de trænes på en stor mængde umærket og ukurateret data? Det er præcis det spørgsmål, SEER-modellen søger at besvare. 

SEER-modellen er en dyb læringramme, der sigter mod at registrere billeder på internettet uafhængigt af kuraterede eller mærkede datasæt. SEER-rammen tillader udviklere at træne store og komplekse ML-modeller på tilfældig data uden tilsyn, dvs. modellen analyserer data og lærer mønstre eller informationer på egen hånd uden nogen tilføjet manuel indput. 

SEER-modellens ultimative mål er at hjælpe med at udvikle strategier for præ-træningsprocessen, der bruger ukurateret data til at levere top-nøjagtighed og stat-of-the-art-præstation i overføring af læring. Desuden sigter SEER-modellen også mod at opbygge systemer, der kan lære kontinuerligt fra en uendelig strøm af data på en selv-supervised måde. 

SEER-rammen træner højkapacitetsmodeller på milliarder af tilfældige og ukuraterede billeder hentet fra internettet. Modellerne, der trænes på disse billeder, afhænger ikke af billedets metadata eller mærkning til at træne modellen eller filtrere data. I nyere tid har selv-supervised læring vist stor potentiale, da træning af modeller på ukurateret data har givet bedre resultater sammenlignet med supervised fortræning for downstream-opgaver. 

SEER-Rammen og RegNet: Hvad er Forbindelsen?

For at analysere SEER-modellen fokuserer den på RegNet-arkitekturen med over 700 millioner parametre, der er i overensstemmelse med SEER’s mål om selv-supervised læring på ukurateret data af to primære årsager:

1. De tilbyder en perfekt balance mellem præstation og effektivitet. 
2. De er meget fleksible og kan skaleres for et antal parametre. 

SEER-Rammen: Tidligere Arbejde fra Forskellige Områder

SEER-rammen sigter mod at udforske grænserne for træning af store modelarkitekturer i ukuraterede eller umærkede datasæt ved selv-supervised læring, og modellen søger inspiration fra tidligere arbejde på området. 

U-supervised Præ-træning af Visuelle Funktioner

Selv-supervised læring er blevet implementeret i computer vision i en længere periode med metoder, der bruger autoencodere, instance-niveau diskrimination eller klustering. I nyere tid har metoder, der bruger kontrastiv læring, vist, at præ-træning af modeller ved unsupervised læring til downstream-opgaver kan fungere bedre end en supervised læringstilgang. 

Den vigtigste pointe fra unsupervised læring af visuelle funktioner er, at så længe du træner på filtreret data, er supervised mærkninger ikke nødvendige. SEER-modellen sigter mod at udforske, om modellen kan lære nøjagtige repræsentationer, når store modelarkitekturer trænes på en stor mængde ukurateret, umærket og tilfældigt billeder. 

Læring af Visuelle Funktioner i Størrelse

Tidligere modeller har haft fordel af præ-træning på store mærkede datasæt med svag supervised læring, supervised læring og semi-supervised læring på millioner af filtrerede billeder. Desuden har modelanalyse også vist, at præ-træning på milliarder af billeder ofte giver bedre nøjagtighed sammenlignet med at træne modellen fra scratch. 

Desuden afhænger træning på stor skala ofte af data-filtreringstrin for at få billederne til at afspejle de målkoncepter. Disse filtreringstrin bruger enten forudsigelser fra en præ-trænet klassifikator eller bruger hashtags, der ofte er sysnets af ImageNet-klasserne. SEER-modellen fungerer anderledes, da den sigter mod at lære funktioner i ethvert tilfældigt billede, og derfor er træningsdata for SEER-modellen ikke kurateret for at matche en foruddefineret sæt af funktioner eller koncepter. 

Skalering af Arkitekturer for Billedegenkendelse

Modellerne har normalt fordel af at træne store arkitekturer på bedre kvalitetsresultater, der resulterer i visuelle funktioner. Det er essentiel at træne store arkitekturer, når præ-træning på store datasæt er vigtig, da en model med begrænset kapacitet ofte undertræner. Det har endnu større betydning, når præ-træning udføres sammen med kontrastiv læring, da modellen i sådanne tilfælde skal lære at diskriminere mellem datasæt-eksempler, så den kan lære bedre visuelle repræsentationer. 

Imidlertid indebærer skalering af arkitekturer for billedegenkendelse meget mere end blot at ændre dybden og bredden af modellen, og for at opbygge en skalerings-effektiv model med højere kapacitet kræves en stor mængde litteratur. SEER-modellen viser fordelene ved at bruge RegNets-familien af modeller til at implementere selv-supervised læring på stor skala. 

SEER: Metoder og Komponenter

SEER-rammen bruger en række metoder og komponenter til at præ-træne modellen til at lære visuelle repræsentationer. Nogle af de vigtigste metoder og komponenter, der bruges af SEER-rammen, er: RegNet og SwAV. Lad os diskutere metoderne og komponenterne, der bruges i SEER-rammen kort. 

Selv-Supervised Præ-træning med SwAV

SEER-rammen er præ-trænet med SwAV, en online selv-supervised læringstilgang. SwAV er en online klusteringmetode, der bruges til at træne convnets-ramme uden mærkninger. SwAV-rammen fungerer ved at træne en indlejring, der producerer klasse-tilknytninger konsekvent mellem forskellige visninger af samme billede. Systemet lærer derefter semantiske repræsentationer ved at udgrave klasse, der er invariant over for data-forstærkninger. 

I praksis sammenligner SwAV-rammen funktionerne af de forskellige visninger af et billede ved at bruge deres uafhængige klasse-tilknytninger. Hvis disse tilknytninger fanger de samme eller lignende funktioner, kan det være muligt at forudsige tilknytningen af et billede ved at bruge funktionrepræsentationen af en anden visning. 

SEER-modellen overvejer et sæt af K klasse, og hver af disse klasser er forbundet med en lærbart d-dimensionel vektor vk. For en batch af B billeder, hver billede i er transformeret til to forskellige visninger: xi1 , og xi2. Visningerne er derefter featuriseret med hjælp af en convnet, og det resulterer i to sæt funktioner: (f11, …, fB2), og (f12, … , fB2). Hver funktionssæt er derefter tildelt uafhængigt til klasse-prototyper med hjælp af en Optimal Transport -løser. 

Optimal Transport-løseren sikrer, at funktionerne er fordelt jævnt over klasserne, og det hjælper med at undgå trivielle løsninger, hvor alle repræsentationer er kortlagt til en enkelt prototype. Den resulterende tilknytning er derefter byttet mellem to sæt: klasse-tilknytningen yi1 af visningen xi1 skal forudsiges ved at bruge funktionrepræsentationen fi2 af visningen xi2, og vice versa. 

Prototyp-vægtningerne og convnet er derefter trænet for at minimere tabet for alle eksempler. Klasse-prædiktionstab l er essentiel t cross-entropi mellem en softmax af dot-produktet af f og klasse-tilknytning. 

RegNetY: Skalerings-Effektiv Model-Familie

Skalering af modelkapacitet og data kræver arkitekturer, der er effektive ikke kun i forhold til hukommelse, men også i forhold til runtime og RegNets-rammen er en familie af modeller designet specifikt til dette formål. 

RegNet-familien af arkitekturer er defineret af et design-rum af convnets med 4 faser, hvor hver fase indeholder en række identiske blokke, mens strukturen af deres blok forbliver fast, primært den residuelle flaskehals. 

SEER-rammen fokuserer på RegNetY-arkitekturen og tilføjer en Squeeze-and-Excitation til den standard RegNets-arkitektur i et forsøg på at forbedre deres præstation. Desuden har RegNetY-modellen 5 parametre, der hjælper med at søge efter gode eksempler med et fast antal FLOPs, der forbruger rimelige ressourcer. SEER-modellen sigter mod at forbedre sine resultater ved at implementere RegNetY-arkitekturen direkte på sin selv-supervised præ-træningsopgave. 

RegNetY 256GF-Arkitekturen: SEER-modellen fokuserer primært på RegNetY 256GF-arkitekturen i RegNetY-familien, og dens parametre bruger skaleringsreglen for RegNets-arkitekturen. Parametrene er beskrevet som følger. 

RegNetY 256GF-arkitekturen har 4 faser med fase-bredder (528, 1056, 2904, 7392) og fase-dybder (2,7,17,1), der tilføjer over 696 millioner parametre. Når træning sker på 512 V100 32GB NVIDIA (NVDA ) -GPU’er, tager hver iteration omkring 6125 ms for en batch-størrelse på 8.704 billeder. Træning af modellen på et datasæt med over en milliard billeder, med en batch-størrelse på 8.704 billeder på over 512 GPU’er, kræver 114.890 iterationer, og træningen varer i omkring 8 dage. 

Optimering og Træning på Stor Skala

SEER-modellen foreslår flere justeringer for at træne selv-supervised metoder til at anvende og tilpasse disse metoder til en stor skala. Disse metoder er: 

1. Læringsrate-skema. 
2. Reduktion af hukommelsesforbrug per GPU. 
3. Optimering af træningshastighed. 
4. Præ-træning på stor skala. 

Lad os diskutere dem kort. 

Læringsrate-Skema

SEER-modellen udforsker muligheden for at bruge to læringsrate-skemaer: cosinus-bølge-læringsrate-skemaet og fast læringsrate-skema. 

Cosinus-bølge-læringsrate-skemaet bruges til at sammenligne forskellige modeller retfærdigt, da det tilpasser sig antallet af opdateringer. Imidlertid tilpasser cosinus-bølge-læringsrate-skemaet sig ikke til stor skala-træning, primært fordi det vægter billederne forskelligt på basis af, hvornår de ses under træning, og det bruger også komplette opdateringer til skemaet. 

Det faste læringsrate-skema holder læringsraten fast, indtil tabet ikke er faldende, og derefter divideres læringsraten med 2. Analyse viser, at det faste læringsrate-skema fungerer bedre, da det har plads til at gøre træningen mere fleksibel. Imidlertid, da modellen kun træner på 1 milliard billeder, bruger den cosinus-bølge-læringsrate til træning af sin største model, RegNet 256GF. 

Reduktion af Hukommelsesforbrug per GPU

Modellen sigter også mod at reducere mængden af GPU, der kræves under træningsperioden, ved at bruge blandet præcision og gradvis checkpointing. Modellen bruger NVIDIA Apex Library’s O1-Optimeringsniveau til at udføre operationer som konvolutioner og GEMMs i 16-bits flydende punkt-præcision. Modellen bruger også PyTorch’s gradient-checkpointing-implementation, der handler computer for hukommelse. 

Desuden modellen også kasserer enhver mellemliggende aktivering, der skabes under fremadgangen, og under baglæns-gangen, genskaber den disse aktiveringer. 

Optimering af Træningshastighed

Brug af blandet præcision til at optimere hukommelsesforbrug har yderligere fordele, da acceleratorer tager fordel af den reducerede størrelse af FP16 sammenlignet med FP32. Det hjælper med at accelerere træningsperioden ved at forbedre hukommelses-båndbredden. 

SEER-modellen synkroniserer også BatchNorm-laget på tværs af GPU’er for at skabe procesgrupper i stedet for at bruge global sync, der normalt tager mere tid. Endelig data-læseren, der bruges i SEER-modellen, forhåndshenter mere trænings-batches, hvilket resulterer i en højere mængde data, der er gennemført sammenlignet med PyTorch’s data-læser. 

Stor Skala Præ-træning Data

SEER-modellen bruger over en milliard billeder under præ-træning og overvejer en data-læser, der sampler tilfældige billeder direkte fra internettet og Instagram. Da SEER-modellen træner disse billeder i det vilde og online, anvender den ingen forarbejdning på disse billeder eller kuraterer dem ved processer som de-duplikation eller hashtag-filtrering. 

Det er værd at bemærke, at datasættet ikke er statisk, og billederne i datasættet opdateres hver tre måned. Imidlertid påvirker opdatering af datasættet ikke modellens præstation. 

SEER-Modellens Implementering

SEER-modellen præ-træner en RegNetY 256GF med SwAV ved at bruge seks afgrøder per billede, hvor hvert billede har en opløsning på 2×224 + 4×96. Under præ-træningsfasen bruger modellen en 3-lag MLP eller Multi-Layer Perceptron med projiceringer af dimensioner 10444×8192, 8192×8192 og 8192×256. 

I stedet for at bruge BatchNorm-lag i hovedet bruger SEER-modellen 16.000 prototyper med en temperatur t sat til 0,1. Sinkhorn -regulariseringsparametren er sat til 0,05, og den udfører 10 iterationer af algoritmen. Modellen synkroniserer derefter BatchNorm-stats på tværs af GPU’er og opretter flere procesgrupper med størrelse 64 til synkronisering. 

Desuden bruger modellen en LARS eller Layer-wise Adaptive Rate Scaling-optimizer, en vægt-forfald på 10-5, aktiverings-checkpointing og O1-blandet præcision-optimiering. Modellen trænes derefter med stokastisk gradient-descent ved at bruge en batch-størrelse på 8192 tilfældige billeder fordelt over 512 NVIDIA-GPU’er, hvilket resulterer i 16 billeder per GPU. 

Læringsraten er lineært øget fra 0,15 til 9,6 for de første 8.000 trænings-opdateringer. Efter varme-op-rampen følger modellen en cosinus-læringsrate-skema, der aftager til en slutværdi på 0,0096. I alt træner SEER-modellen over en milliard billeder over 122.000 iterationer. 

SEER-Rammens Resultater

Kvaliteten af funktioner, der er genereret af den selv-supervised præ-trænings-tilgang, er studeret og analyseret på en række benchmarks og downstream-opgaver. Modellen overvejer også en low-shot-indstilling, der giver begrænset adgang til billederne og deres mærkninger til downstream-opgaver. 

Fine-Tuning af Store For-Trænede Modeller

Det måler kvaliteten af modeller, der er præ-trænet på tilfældig data, ved at overføre dem til ImageNet-benchmarket for objekt-klassificering. Resultaterne på fine-tuning af store for-trænede modeller bestemmes på følgende parametre. 

Eksperimentelle Indstillinger

Modellen præ-træner 6 RegNet-arkitekturer med forskellige kapaciteter, navnlig RegNetY- {8,16,32,64,128,256}GF, på over en milliard tilfældige og offentlige Instagram-billeder med SwAV. Modellerne er derefter finetuned for billed-klassificering på ImageNet, der bruger over 1,28 millioner standard trænings-billeder med ordentlige mærkninger og har et standard-validerings-sæt med over 50.000 billeder til evaluering. 

Modellen anvender derefter de samme data-forstærknings-teknikker som i SwAV og finetuner for 35 epocher med SGD-optimizer eller Stokastisk Gradient-Descent med en batch-størrelse på 256 og en læringsrate på 0,0125, der reduceres med en faktor på 10 efter 30 epocher, momentum på 0,9 og vægt-forfald på 10-4. Modellen rapporterer top-1 nøjagtighed på validerings-datasættet ved at bruge center-crop på 224×224. 

Sammenligning med Andre Selv-Supervised Præ-trænings-Tilgange

I følgende tabel sammenlignes den største for-trænede model i RegNetY-256GF med eksisterende for-trænede modeller, der bruger selv-supervised læringstilgangen. 

Som du kan se, returnerer SEER-modellen en top-1 nøjagtighed på 84,2% på ImageNet og overgår SimCLRv2, den bedste eksisterende for-trænede model, med 1%. 

Desuden sammenligner følgende figur SEER-rammen med modeller af forskellige kapaciteter. Som du kan se, uanset modellens kapacitet, kombinerer RegNet-rammen med SwAV nøjagtige resultater under præ-træning. 

SEER-modellen er præ-trænet på ukurateret og tilfældigt billeder og har RegNet-arkitekturen med SwAV selv-supervised læringstilgang. SEER-modellen sammenlignes med SimCLRv2 og ViT-modeller med forskellige netværks-arkitekturer. Endelig er modellen finetuned på ImageNet-datasættet, og top-1 nøjagtigheden rapporteres. 

Indflydelse af Modellens Kapacitet

Modellens kapacitet har en betydelig indflydelse på modellens præstation under præ-træning, og følgende figur sammenligner det med indflydelsen, når modellen trænes fra scratch. 

Det kan tydeligt ses, at top-1 nøjagtighedsscoren for for-trænede modeller er højere end modeller, der er trænet fra scratch, og forskellen bliver større, når antallet af parametre øges. Det er også tydeligt, at selv om modellens kapacitet forbedrer både for-trænede og trænede fra scratch-modeller, er indflydelsen større på for-trænede modeller, når der er tale om en stor mængde parametre. 

En mulig årsag til, at træning af en model fra scratch kunne overtræne, når træning sker på ImageNet-datasættet, er på grund af datasættets lille størrelse.

Low-Shot Læring

Low-shot læring refererer til evaluering af SEER-modellens præstation i en low-shot-indstilling, dvs. ved at bruge kun en brøkdel af den samlede data, når downstream-opgaver udføres. 

Eksperimentelle Indstillinger

SEER-rammen bruger to datasæt til low-shot læring, navnlig Places205 og ImageNet. Desuden antager modellen, at den har begrænset adgang til datasættet under overføring af læring både i forhold til billeder og deres mærkninger. Denne begrænsede adgangs-indstilling er forskellig fra de standard-indstillinger, der bruges til selv-supervised læring, hvor modellen har adgang til det samlede datasæt, og kun adgangen til billed-mærkninger er begrænset. 

• Resultater på Place205 Datasættet

Følgende figur viser indflydelsen af at præ-træne modellen på forskellige dele af Place205-datasættet. 

Tilgangen sammenlignes med præ-træning af modellen på ImageNet-datasættet under supervision med samme RegNetY-128 GF-arkitektur. Resultaterne fra sammenligningen er overraskende, da det kan ses, at der er en stabil gevinst på omkring 2,5% i top-1 nøjagtighed uanset, hvilken del af træningsdata, der er tilgængelig for finetuning på Place205-datasættet. 

Forskellen observeret mellem supervised og selv-supervised præ-træning kan forklares givet forskellen i datatypen, da funktioner, der er lært af modellen fra tilfældige billeder i det vilde, kan være mere egnede til at klassificere scenen. Desuden kan en ikke-uniform fordeling af underliggende koncept kan være en fordel for præ-træning på et ukurateret datasæt som Place205. 

Resultater på ImageNet

Ovenstående tabel sammenligner SEER-modellens tilgang med selv-supervised præ-trænings-tilgange og semi-supervised tilgange på low-shot læring. Det er værd at bemærke, at alle disse metoder bruger alle 1,2 million billeder i ImageNet-datasættet til præ-træning og kun begrænser adgangen til mærkninger. På den anden side tillader SEER-modellens tilgang, at den kun ser 1 til 10% af billederne i datasættet. 

Som du kan se, har netværkene set flere billeder fra samme distribution under præ-træning, hvilket er en stor fordel for disse tilgange. Men hvad der er imponerende er, at selv om SEER-modellen kun ser 1 til 10% af ImageNet-datasættet, kan den stadig opnå en top-1 nøjagtighed på omkring 80%, der kun ligger lidt kort af nøjagtigheden for tilgangene diskuteret i tabellen ovenfor. 

Indflydelse af Modellens Kapacitet

Følgende figur diskuterer indflydelsen af modellens kapacitet på low-shot læring: på 1%, 10% og 100% af ImageNet-datasættet. 

Det kan ses, at øgning af modellens kapacitet kan forbedre nøjagtigheden, når adgangen til både billeder og mærkninger i datasættet reduceres. 

Overføring til Andre Benchmark

For at evaluere SEER-modellen yderligere og analysere dens præstation, overføres de for-trænede funktioner til andre downstream-opgaver. 

Lineær Evaluering af Billede-Klassificering

Ovenstående tabel sammenligner funktionerne fra SEER’s for-trænede RegNetY-256GF og RegNetY128-GF, der er præ-trænet på ImageNet-datasættet med samme arkitektur med og uden supervision. For at analysere kvaliteten af funktionerne, fryser modellen vægtningerne og bruger en lineær klassifikator på toppen af funktionerne ved at bruge trænings-sættet for downstream-opgaverne. Følgende benchmarks overvejes for processen: Open-Images(OpIm), iNaturalist(iNat), Places205(Places) og Pascal VOC(VOC). 

Detektion og Segmentering

Følgende figur sammenligner de for-trænede funktioner på detektion og segmentering og evaluerer dem. 

SEER-rammen træner en Mask-RCNN-model på COCO-benchmarket med for-trænede RegNetY-64GF og RegNetY-128GF som byggesten. For både arkitektur og downstream-opgaver overgår SEER’s selv-supervised præ-trænings-tilgang supervised træning med 1,5 til 2 AP-punkter. 

Sammenligning med Svag-Supervised Præ-træning

De fleste billeder, der er tilgængelige på internettet, har normalt en meta-beskrivelse eller en alt-tekst, eller beskrivelser, eller geolokationer, der kan give en fordel under præ-træning. Tidligere arbejde har vist, at forudsiger en kurateret eller mærket sæt af hashtags kan forbedre kvaliteten af de resulterende visuelle funktioner. Imidlertid kræver denne tilgang at filtrere billeder, og den fungerer bedst kun, når en tekst-metadat er til stede. 

Følgende figur sammenligner præ-træning af en ResNetXt101-32dx8d-arkitektur trænet på tilfældige billeder med samme arkitektur trænet på mærkede billeder med hashtags og metadata og rapporterer top-1 nøjagtighed for begge. 

Det kan ses, at selv om SEER-rammen ikke bruger metadata under præ-træning, er dens nøjagtighed sammenlignelig med modeller, der bruger metadata til præ-træning. 

Ablations-Studier

En ablations-studie udføres for at analysere indflydelsen af en bestemt komponent på modellens samlede præstation. En ablations-studie udføres ved at fjerne komponenten fra modellen og forstå, hvordan modellen fungerer. Det giver udviklerne en kort oversigt over indflydelsen af denne bestemte komponent på modellens præstation. 

Indflydelse af Model-Arkitekturen

Model-arkitekturen har en betydelig indflydelse på modellens præstation, især når modellen skaleres eller specifikationerne af præ-træningsdataene ændres. 

Følgende figur diskuterer indflydelsen af, hvordan ændring af arkitekturen påvirker kvaliteten af de for-trænede funktioner ved at evaluere ImageNet-datasættet lineært. De for-trænede funktioner kan undersøges direkte i dette tilfælde, da evalueringen ikke favoriserer modellen, der returnerer høj nøjagtighed, når trænet fra scratch på ImageNet-datasættet. 

Det kan ses, at for ResNeXts og ResNet-arkitekturerne fungerer funktionerne, der er erhvervet fra den penultimære lag, bedre med de nuværende indstillinger. På den anden side overgår RegNet-arkitekturen de andre arkitekturer. 

I alt kan det konkluderes, at øgning af modellens kapacitet har en positiv indflydelse på kvaliteten af funktionerne, og der er en logarithmisk gevinst i modellens præstation. 

Skalering af Præ-trænings-Data

Der er to primære årsager til, at træning af en model på et større datasæt kan forbedre den overordnede kvalitet af de visuelle funktioner, som modellen lærer: flere unikke billeder og flere parametre. Lad os kaste et kort blik på, hvordan disse årsager påvirker modellens præstation. 

Øgning af Antallet af Unikke Billeder

Ovenstående figur sammenligner to forskellige arkitekturer, RegNet8 og RegNet16, der har samme antal parametre, men er trænet på forskellige antal unikke billeder. SEER-rammen træner modellerne for opdateringer, der svarer til 1 epoch for en milliard billeder eller 32 epocher for 32 unikke billeder, og med en enkelt-halv bølge cosinus-læringsrate. 

Det kan ses, at for at en model skal fungere godt, skal antallet af unikke billeder, der føres til modellen, ideelt være højere. I dette tilfælde fungerer modellen godt, når den føres unikke billeder, der er større end billederne i ImageNet-datasættet. 

Flere Parametre

Følgende figur indikerer en modells præstation, når den trænes over en milliard billeder ved at bruge RegNet-128GF-arkitekturen. Det kan ses, at modellens præstation øges stadigt, når antallet af parametre øges. 

Selv-Supervised Computer Vision i Den Virkelige Verden

Indtil nu har vi diskuteret, hvordan selv-supervised læring og SEER-modellen for computer vision fungerer i teori. Lad os nu se, hvordan selv-supervised computer vision fungerer i virkelige scenarier, og hvorfor SEER er fremtiden for selv-supervised computer vision. 

SEER-modellen rivaliserer med arbejdet i den naturlige sprogbehandling, hvor høj-endestats-of-the-art-modeller bruger trillioner af datasæt og parametre kombineret med trillioner af ord af tekst under præ-træning af modellen. Præstation på downstream-opgaver øges generelt med en øgning af antallet af input-data til træning af modellen, og det samme gælder for computer vision-opgaver. 

Men at bruge selv-supervised læringsteknikker til naturlig sprogbehandling er forskelligt fra at bruge selv-supervised læring til computer vision. Det er, fordi når man har at gøre med tekst, er semantiske koncepter normalt brudt ned i diskrete ord, men når man har at gøre med billeder, skal modellen afgøre, hvilket pixel tilhører hvilket koncept. 

Desuden har forskellige billeder forskellige visninger, og selv om flere billeder kan have samme objekt, kan konceptet variere betydeligt. For eksempel kan man overveje et datasæt med billeder af en kat. Selv om det primære objekt, katten, er fælles for alle billederne, kan konceptet variere betydeligt, da katten kan stå stille i et billede, mens den kan lege med en bold i det næste, og så videre. Fordi billederne ofte har varierende koncepter, er det essentiel for modellen at se en betydelig mængde billeder for at forstå forskellene omkring samme koncept. 

At skalerer en model succesfuldt, så den fungerer effektivt med høj-dimensionale og komplekse billed-data, kræver to komponenter: 

1. En convolutional neural network eller CNN, der er stor nok til at kapre og lære visuelle koncepter fra et meget stort billed-datasæt.
2. En algoritme, der kan lære mønstre fra en stor mængde billeder uden mærkninger, annoteringer eller metadata. 

SEER-modellen sigter mod at anvende disse komponenter til computer vision-området. SEER-modellen sigter mod at udnytte fremskridtene, der er gjort af SwAV, en selv-supervised læringstilgang, der bruger online-klustering til at gruppere eller parre billeder med parallelle visuelle koncepter, og udnytte disse ligheder til at identificere mønstre bedre. 

Med SwAV-arkitekturen kan SEER-modellen gøre brug af selv-supervised læring i computer vision meget mere effektiv og reducere træningstiden med op til 6 gange. 

Desuden kræver træning af modeller på stor skala, i denne skala, over en milliard billeder, en model-arkitektur, der er effektiv ikke kun i forhold til runtime og hukommelse, men også i forhold til nøjagtighed. Det er her, RegNets-modellerne kommer ind i billedet, da disse RegNets-modeller er ConvNets-modeller, der kan skalerer trillioner af parametre og kan optimeres efter behov for at overholde hukommelses-begrænsninger og runtime-reguleringer. 

Konklusion: En Selv-Supervised Fremtid

Selv-supervised læring har været et stort emne i AI- og ML-industrien i en længere periode, da det tillader AI-modeller at lære information direkte fra en stor mængde data, der er tilgængelig tilfældigt på internettet, i stedet for at afhænge af omhyggeligt kuraterede og mærkede datasæt, der har det eneste formål at træne AI-modeller. 

Selv-supervised læring er et vigtigt koncept for fremtiden for AI og ML, da det har potentialet til at tillade udviklere at opbygge AI-modeller, der tilpasser sig godt til virkelige scenarier, og har mange anvendelsesmuligheder i stedet for at have et specifikt formål, og SEER er en milepæl i implementeringen af selv-supervised læring i computer vision-industrien. 

SEER-modellen tager det første skridt i transformationen af computer vision-industrien og reducerer vores afhængighed af mærkede datasæt. SEER-modellen sigter mod at eliminere behovet for at annotere datasættet, hvilket vil tillade udviklere at arbejde med en divers og stor mængde data. Implementeringen af SEER er især nyttig for udviklere, der arbejder på modeller, der omhandler områder med begrænsede billeder eller metadata, som det medicinske område. 

Desuden vil eliminering af menneskelige mærkninger tillade udviklere at udvikle og implementere modellen hurtigere, hvilket vil tillade dem at reagere på hurtigt udviklende situationer hurtigere og med større nøjagtighed.