Træning af computer vision-modeller på tilfældigt støj i stedet for virkelige billeder

Forskere fra MIT Computer Science & Artificial Intelligence Laboratory (CSAIL) har eksperimenteret med at bruge tilfældigt støj-billeder i computer vision-datasæt til at træne computer vision-modeller, og har fundet, at i stedet for at producere affald, er metoden overraskende effektiv:

Generative modeller fra eksperimentet, sorteret efter præstation. Kilde: https://openreview.net/pdf?id=RQUl8gZnN7O

At fodre åbenbart ‘visuelt affald’ ind i populære computer vision-arkitekturer burde ikke resultere i denne type præstation. Længst til højre på billedet ovenfor repræsenterer sorte søjler nøjagtighedsscores (på Imagenet-100) for fire ‘virkelige’ datasæt. Mens ’tilfældigt støj’-datasættene forud (afbildet i forskellige farver, se indeks top-venstre) ikke kan matche det, er de næsten alle inden for respektabelle øvre og nedre grænser (rød stribet linje) for nøjagtighed.

I denne forstand betyder ‘nøjagtighed’ ikke, at et resultat nødvendigvis ligner et ansigt, en kirke, en pizza eller nogen anden bestemt domæne, som du måske er interesseret i at oprette en billeddannelses-system, såsom en Generative Adversarial Network eller en encoder/decoder-ramme.

Men det betyder, at CSAIL-modellerne har udledt bredt anvendelige centrale ‘sandheder’ fra billeddata, der åbenbart er så ustruktureret, at det ikke burde være i stand til at levere det.

Mangfoldighed Vs. Naturalisme

Disse resultater kan heller ikke tilskrives over-tilpasning: en livlig diskussion mellem forfatterne og anmelderne på Open Review afslører, at blanding af forskelligt indhold fra visuelt forskellige datasæt (såsom ‘døde blade’, ‘fraktaler’ og ‘procedural støj’ – se billedet nedenfor) i et træningsdatasæt forbedrer faktisk nøjagtigheden i disse eksperimenter.

Dette antyder (og det er en lidt revolutionerende tanke) en ny type ‘under-tilpasning’, hvor ‘mangfoldighed’ slår ‘naturalisme’.

Projektets side for initiativet giver dig mulighed for at interaktivt se de forskellige typer af tilfældigt billeddatasæt, der blev brugt i eksperimentet. Kilde: https://mbaradad.github.io/learning_with_noise/

Resultaterne, som forskerne har opnået, stiller spørgsmål ved den grundlæggende relation mellem billed-baserede neurale netværk og de ‘virkelige’ billeder, der kastes ind i dem i alarmende større mængder hvert år, og antyder, at behovet for at opnå, kuraterer og på anden vis håndterer hyperskala-billeddatasæt måske en dag bliver overflødigt. Forfatterne skriver:

‘Nuverende visionsystemer trænes på enorme datasæt, og disse datasæt kommer med omkostninger: kuratering er dyrt, de arver menneskelige fordomme, og der er bekymringer omkring privatliv og brugsrettigheder. For at modvirke disse omkostninger er interessen for at lære fra billigere datakilder, såsom ikke-mærkede billeder, eksploderet. ‘

‘I denne artikel går vi et skridt videre og spørger, om vi kan undvære virkelige billeddatasæt helt og hålet, ved at lære fra procedurale støjprocesser.’

Forskere foreslår, at den nuværende samling af maskinelæringsarkitekturer måske udleder noget langt mere grundlæggende (eller i hvert fald uventet) fra billeder end tidligere antaget, og at ‘vrøvl’-billeder potentielt kan give en stor del af denne viden langt billigere, selv med mulig brug af ad hoc syntetisk data via datasæts-genereringsarkitekturer, der genererer tilfældige billeder under træningstiden:

‘Vi identificerer to nøgleegenskaber, der gør god syntetisk data til træning af visionsystemer: 1) naturalisme, 2) mangfoldighed. Interessant nok er den mest naturalistiske data ikke altid den bedste, da naturalisme kan komme på bekostning af mangfoldighed.

‘Det faktum, at naturalistiske data hjælper, kan ikke være overraskende, og det antyder, at store skala virkelige data har værdi. Men vi finder, at det, der er afgørende, ikke er, at dataene er reelle, men at de er naturalistiske, dvs. de må fange visse strukturerede egenskaber af virkelige data.

‘Mange af disse egenskaber kan fanges i simple støjmodeller.’

Funktionelle visualiseringer, der resulterer fra en AlexNet-afledt encoder på nogle af de forskellige ’tilfældige billed’-datasæt, der blev brugt af forfatterne, dækker 3. og 5. (sidste) convolutionelle lag. Metoden brugt her følger den, der er fastlagt i Google AI-forskning fra 2017.

Artiklen, der blev præsenteret på den 35. konference om neurale informationsprocesseringssystemer (NeurIPS 2021) i Sydney, har titlen At lære at se ved at kigge på støj, og kommer fra seks forskere på CSAIL, med lige bidrag.

Arbejdet blev anbefalet ved konsensus til en spotlight-selektion på NeurIPS 2021, med peer-kommentarer, der karakteriserer artiklen som ‘en videnskabelig gennembrud’ og åbner op for ‘en stor studieområde’, selvom det rejser lige så mange spørgsmål, som det besvarer.

I artiklen konkluderer forfatterne:

‘Vi har vist, at når de er designede ved hjælp af resultater fra tidligere forskning i naturlige billedstatistik, kan disse datasæt med succes træne visuelle repræsentationer. Vi håber, at denne artikel vil motivere studiet af nye generative modeller, der kan producere struktureret støj og opnå endnu bedre præstation, når de bruges i en divers samling af visuelle opgaver.

‘Kunne det være muligt at matche præstationen, der blev opnået med ImageNet-prætræning? Måske, i fraværet af et stort træningsdatasæt specifikt for en bestemt opgave, kan den bedste prætræning ikke være brug af et standard-reelt datasæt, såsom ImageNet.’