Utbildning av datorseende-modeller med slumpmässig brus istället för riktiga bilder

Forskare från MIT Computer Science & Artificial Intelligence Laboratory (CSAIL) har experimenterat med att använda slumpmässiga brusbilder i datorseende-datasets för att träna datorseende-modeller, och har funnit att istället för att producera skräp, är metoden förvånansvärt effektiv:

Generativa modeller från experimentet, sorterade efter prestanda. Källa: https://openreview.net/pdf?id=RQUl8gZnN7O

Att mata in uppenbar “visuell skräp” i populära datorseende-arkitekturer borde inte resultera i den här typen av prestanda. Längst till höger på bilden ovan representerar de svarta stolparna noggrannhetspoäng (på Imagenet-100) för fyra “riktiga” datasets. Medan de “slumpmässiga brus”-datasets som föregår dem (avbildade i olika färger, se index högst upp till vänster) inte kan matcha det, ligger de nästan alla inom respektabla övre och undre gränser (röda streckade linjer) för noggrannhet.

I den här meningen betyder “noggrannhet” inte att ett resultat nödvändigtvis ser ut som ett ansikte, en kyrka, en pizza, eller något annat specifikt område som du kan vara intresserad av att skapa en bildsyntes-system, såsom en Generativ Adversarial Network, eller en encoder/decoder-ram.

Istället betyder det att CSAIL-modellerna har härlett breda tillämpliga “sanningar” från bilddata som är så uppenbart ostrukturerad att den inte borde kunna tillhandahålla det.

Mångfald kontra naturalism

Inte heller kan dessa resultat tillskrivas överanpassning: en livlig diskussion mellan författarna och granskarna på Open Review visar att blandning av olika innehåll från visuellt mångfaldiga datasets (såsom “döda blad”, “fraktaler” och “proceduralt brus” – se bild nedan) i en träningsdataset förbättrar noggrannhet i dessa experiment.

Detta tyder på (och det är en aning revolutionerande) en ny typ av “underanpassning”, där “mångfald” slår “naturalism”.

Projektets sidan för initiativet låter dig interaktivt visa de olika typerna av slumpmässiga bild-datasets som användes i experimentet. Källa: https://mbaradad.github.io/learning_with_noise/

Resultaten som erhållits av forskarna ifrågasätter den grundläggande relationen mellan bildbaserade neurala nätverk och de “riktiga” bilder som matas in i dem i allt större mängder varje år, och antyder att behovet av att erhålla, kurera och på annat sätt hantera hyperskala-bild-datasets kan bli redundant. Författarna skriver:

‘Nuvarande visionsystem tränas på stora datasets, och dessa datasets kommer med kostnader: kurering är dyrt, de ärver mänskliga fördomar, och det finns problem med sekretess och användningsrättigheter. För att motverka dessa kostnader har intresset för att lära från billigare datakällor, såsom omarkerade bilder, ökat.’

‘I den här artikeln går vi ett steg längre och frågar om vi kan göra oss av med riktiga bild-datasets helt, genom att lära från procedurella brusprocesser.’

Forskarna föreslår att den nuvarande skaran maskinlärningsarkitekturer kan härleda något mycket mer grundläggande (eller, åtminstone, oväntat) från bilder än vad som tidigare trott, och att “nonsens”-bilder potentiellt kan förmedla en stor del av denna kunskap mycket billigare, även med möjlig användning av ad hoc syntetiska data, via dataset-genereringsarkitekturer som genererar slumpmässiga bilder under träningsfasen:

‘Vi identifierar två nyckel egenskaper som gör bra syntetiska data för att träna visionsystem: 1) naturalism, 2) mångfald. Intressant nog är den mest naturalistiska datan inte alltid den bästa, eftersom naturalism kan komma på bekostnad av mångfald.

‘Det faktum att naturalistiska data hjälper kan inte vara förvånande, och det tyder på att storskaliga riktiga data har värde. Men vi finner att vad som är avgörande inte är att datan är riktig, utan att den är naturalistisk, d.v.s. den måste fånga vissa struktur egenskaper hos riktiga data.

‘Många av dessa egenskaper kan fångas i enkla brusmodeller.’

Funktionsvisualiseringar från en AlexNet-derivativ encoder på några av de olika ‘slumpmässiga bild’-datasets som användes av författarna, som täcker den 3:e och 5:e (sista) konvolutionslagret. Metoden som används här följer den som fastställts i Google AI-forskning från 2017.

Den artikeln, som presenterades vid den 35:e konferensen om neural information och bearbetning (NeurIPS 2021) i Sydney, har titeln Att lära sig se genom att titta på brus, och kommer från sex forskare vid CSAIL, med lika bidrag.

Arbetet rekommenderades enhälligt för en spotlight-val vid NeurIPS 2021, med peer-kommentarer som karakteriserar artikeln som ‘en vetenskaplig genombrott’ som öppnar upp en ‘stor studieområde’, även om den väcker lika många frågor som den besvarar.

I artikeln slutsatsar författarna:

‘Vi har visat att, när de utformas med hjälp av resultat från tidigare forskning om naturliga bildstatistik, kan dessa datasets framgångsrikt träna visuella representationer. Vi hoppas att den här artikeln kommer att motivera studiet av nya generativa modeller som kan producera strukturerat brus och uppnå ännu högre prestanda när de används i en mångfald av visuella uppgifter.

‘Skulle det vara möjligt att matcha prestandan som uppnåddes med ImageNet-förträning? Kanske, i avsaknad av en stor träningsuppsättning specifik för en viss uppgift, är den bästa förträningen inte att använda ett standardrikt dataset som ImageNet.’