Trening av datamaskinmodeller for billedgjenkjenning med tilfeldig støy i stedet for ekte bilder

Forskere fra MIT Computer Science & Artificial Intelligence Laboratory (CSAIL) har eksperimentert med å bruke tilfeldig støybilder i datasett for billedgjenkjenning til å trene datamaskinmodeller, og har funnet at i stedet for å produsere nonsens, er metoden overraskende effektiv:

Generative modeller fra eksperimentet, sortert etter ytelse. Kilde: https://openreview.net/pdf?id=RQUl8gZnN7O

Å mata inn åpenbart “visuelt avfall” i populære arkitekturer for billedgjenkjenning burde ikke resultere i denne type ytelse. På den ytterste høyresiden av bildet ovenfor, representerer de svarte kolonnene nøyaktighetspoeng (på Imagenet-100) for fire “ekte” datasett. Mens “tilfeldig støy”-datasettene som foregår det (avbildet i forskjellige farger, se indeks øverst til venstre) ikke kan matche det, er de nesten alle innen respektabelle øvre og nedre grenser (røde strekte linjer) for nøyaktighet.

I denne forstand betyr “nøyaktighet” ikke at et resultat nødvendigvis ligner et ansikt, en kirke, en pizza, eller noe annet bestemt domene for hvilket du kan være interessert i å lage et bilde-syntese-system, som en Generative Adversarial Network eller en encoder/decoder-ramme.

Riktig nok, betyr det at CSAIL-modellene har avledet bredt anvendelige sentrale “sannheter” fra bilde-data som åpenbart er så ustrukturert at det ikke burde være i stand til å levere det.

Mangfold Vs. Naturalisme

Disse resultater kan heller ikke tilskrives over-tilpasning: en livlig diskusjon mellom forfatterne og anmelderne på Open Review avslører at å blande forskjellig innhold fra visuelt mangfoldige datasett (slik som ‘døde blader’, ‘fraktaler’ og ‘prosedur-basert støy’ – se bilde under) inn i et treningsdataset forbedrer faktisk nøyaktigheten i disse eksperimentene.

Dette antyder (og det er en litt revolusjonerende forestilling) en ny type “under-tilpasning”, hvor “mangfold” slår “naturalisme”.

Prosjekt-siden for initiativet lar deg interaktivt se på de forskjellige typer tilfeldige bilde-datasett brukt i eksperimentet. Kilde: https://mbaradad.github.io/learning_with_noise/

Resultatene som er oppnådd av forskerne, setter spørsmål ved den grunnleggende relasjonen mellom bilde-baserte neurale nettverk og de “ekte” bildene som kastes på dem i stadig større volum hvert år, og antyder at behovet for å skaffe, kuratere og på andre måter håndtere hyperskala-bilde-datasett kan bli unødvendig. Forfatterne sier:

‘Dagens visjonssystemer er trenet på enorme datasett, og disse datasettene kommer med kostnader: kuratering er dyrt, de arver menneskelige fordommer, og det er bekymringer om personvern og bruksrettigheter. For å motvirke disse kostnadene, har interessen for å lære fra billigere datakilder, som ubeskrevne bilder, økt.’

‘I denne artikkelen, går vi et skritt videre og spør om vi kan gjøre oss av med ekte bilde-datasett helt, ved å lære fra prosedyre-basert støy-prosesser.’

Forskerne foreslår at den nåværende kroppen av maskinlærings-arkitekturer kan være på vei til å slutte noe langt mer grunnleggende (eller, i alle fall, uventet) fra bilder enn det som tidligere var tenkt, og at “nonsens”-bilder potensielt kan gi mye av denne kunnskapen mye billigere, selv med mulig bruk av ad-hoc syntetisk data, via datasett-genererings-arkitekturer som genererer tilfeldige bilder under trening:

‘‘Vi har identifisert to nøkkel-egenskaper som gjør for godt syntetisk data for trening av visjonssystemer: 1) naturalisme, 2) mangfold. Interessant nok, er det mest naturalistiske data ikke alltid det beste, siden naturalisme kan komme på bekostning av mangfold.

‘Det faktum at naturalistiske data hjelper, kan ikke være overraskende, og det antyder at større skala ekte data har verdi. Imidlertid, finner vi at det som er avgjørende, er ikke at dataene er ekte, men at de er naturalistiske, dvs. at de må fange visse strukturelle egenskaper ved ekte data.

‘Mange av disse egenskapene kan fanges i enkle støy-modeller.’

Funksjonsvisualiseringer fra en AlexNet-avledet encoder på noen av de forskjellige ’tilfeldige bilde’-datasettene brukt av forfatterne, dekkende 3. og 5. (siste) konvolusjonslag. Metodologien brukt her følger den som er beskrevet i Google AI-forskning fra 2017.

Den artikkelen, presentert på 35. konferansen om Neural Information Processing Systems (NeurIPS 2021) i Sydney, har tittelen Learning to See by Looking at Noise, og kommer fra seks forskere ved CSAIL, med likeverdig bidrag.

Arbeidet ble anbefalt av konsensus for en spotlight-seleksjon på NeurIPS 2021, med peer-kommentarer som karakteriserer artikkelen som ‘en vitenskapelig gjennombrudd’ som åpner opp en ‘stor studieområde’, selv om det reiser like mange spørsmål som det besvarer.

I artikkelen konkluderer forfatterne:

‘Vi har vist at, når de er designet ved hjelp av resultater fra tidligere forskning på naturlige bilde-statistikk, disse datasettene kan trenere visuelle representasjoner med hell. Vi håper at denne artikkelen vil motivere studiet av nye generative modeller som kan produsere strukturert støy og oppnå enda bedre ytelse når de brukes i en mangfoldig samling av visuelle oppgaver.

‘ Ville det være mulig å matche ytelsen som er oppnådd med ImageNet-forhåndstrening? Kanskje, i fravær av et stort treningssett spesifikt for en bestemt oppgave, er den beste forhåndstreningsmetoden ikke å bruke et standard ekte datasett som ImageNet.’