Antrenarea modelului de viziune computerizată pe zgomot aleatoriu în loc de imagini reale

Cercetătorii de la MIT Computer Science & Artificial Intelligence Laboratory (CSAIL) au experimentat utilizarea unor imagini cu zgomot aleatoriu în seturile de date de viziune computerizată pentru a antrena modele de viziune computerizată și au constatat că, în loc să producă rezultate inutile, metoda este surprinzător de eficientă:

Modele generative din experiment, sortate după performanță. Sursă: https://openreview.net/pdf?id=RQUl8gZnN7O

Alimentarea aparentă a “gunoiului vizual” în arhitecturile populare de viziune computerizată nu ar trebui să conducă la acest tip de performanță. În partea dreaptă a imaginii de mai sus, coloanele negre reprezintă scoruri de acuratețe (pe Imagenet-100) pentru patru seturi de date “reale”. Deși seturile de date “zgomot aleatoriu” care preced (reprezentate în diferite culori, vezi indicele din stânga sus) nu pot egala aceasta, ele sunt aproape toate în limitele superioare și inferioare respectabile (linii punctate roșii) pentru acuratețe.

În acest sens, “acuratețea” nu înseamnă că un rezultat arată neapărat ca o față, o biserică, o pizza sau orice alt domeniu particular pentru care ați dori să creați un sistem de sinteză de imagini, cum ar fi o rețea adversă generativă sau un cadru encoder/decoder.

În schimb, aceasta înseamnă că modelele CSAIL au derivat “adevăruri” centrală aplicabile în general din datele cu imagini atât de aparent neestructurate, încât nu ar trebui să fie capabile să le furnizeze.

Diversitate vs. Naturalism

Nici aceste rezultate nu pot fi atribuite supraînvățării: o discuție aprigă între autori și recenzori la Open Review arată că amestecarea diferitelor conținuturi din seturi de date vizual diverse (cum ar fi “frunze moarte”, “fracții” și “zgomot procedural” – vezi imaginea de mai jos) într-un set de date de antrenare îmbunătățește acuratețea în aceste experimente.

Aceasta sugerează (și este o noțiune revoluționară) un nou tip de “subînvățare”, în care “diversitatea” învinge “naturalismul”.

Pagina proiectului permite vizualizarea interactivă a diferitelor tipuri de seturi de date aleatorii cu imagini utilizate în experiment. Sursă: https://mbaradad.github.io/learning_with_noise/

Rezultatele obținute de cercetători pun sub semnul întrebării relația fundamentală dintre rețelele neuronale bazate pe imagini și “lumea reală” care le este prezentată în volume din ce în ce mai mari în fiecare an și sugerează că nevoia de a obține, curata și manipula seturi de date cu imagini hiperscalabile poate deveni în cele din urmă redundantă. Autorii afirmă:

‘Sistemele actuale de viziune sunt antrenate pe seturi de date uriașe, și aceste seturi de date vin cu costuri: curatarea este scumpă, ele moștenesc prejudecăți umane, și există preocupări legate de confidențialitate și drepturi de utilizare. Pentru a contracara aceste costuri, interesul a crescut pentru învățarea din surse de date mai ieftine, cum ar fi imagini neetichetate.’

‘În acest articol, mergem un pas mai departe și ne întrebăm dacă putem renunța complet la seturile de date cu imagini reale, învățând din procese de zgomot procedural.’

Cercetătorii sugerează că arhitecturile actuale de învățare automată pot deduce ceva mult mai fundamental (sau, cel puțin, neașteptat) din imagini decât se credea anterior și că “imagini fără sens” pot implica o cantitate semnificativă de cunoștințe, chiar și cu utilizarea posibilă a datelor sintetice ad-hoc, prin arhitecturi de generare a seturilor de date care generează imagini aleatorii în timpul antrenării:

‘Identificăm două proprietăți cheie care fac ca datele sintetice să fie bune pentru antrenarea sistemelor de viziune: 1) naturalism, 2) diversitate. În mod interesant, datele cele mai naturalistice nu sunt întotdeauna cele mai bune, deoarece naturalismul poate veni cu costul diversității.’

‘Faptul că datele naturalistice ajută nu este surprinzător și sugerează că, într-adevăr, datele reale la scară largă au valoare. Cu toate acestea, constatăm că ceea ce este crucial nu este că datele să fie reale, ci că să fie naturalistice, adică să capteze anumite proprietăți structurale ale datelor reale.

‘Multe dintre aceste proprietăți pot fi capturate în modele de zgomot simple.’

Vizualizări de caracteristici rezultate dintr-un encoder derivat din AlexNet pe unele dintre seturile de date aleatorii cu imagini utilizate de autori, care acoperă al 3-lea și al 5-lea (final) strat de convoluție. Metodologia utilizată aici urmează cea prezentată în cercetarea Google AI din 2017.

Articolul prezentat la Conferința a 35-a pe Sisteme Neuronale (NeurIPS 2021) la Sydney, se intitulează Învățarea să vedem prin privirea zgomotului și provine de la șase cercetători de la CSAIL, cu contribuții egale.

Lucrarea a fost recomandată prin consens pentru o selecție în lumina reflectoarelor la NeurIPS 2021, cu comentatori care caracterizează articolul ca o “descoperire științifică” care deschide o “zona excelentă de studiu”, chiar dacă ridică la fel de multe întrebări pe cât răspunsuri oferă.

În articol, autorii concluzionează:

‘Am demonstrat că, atunci când sunt proiectate utilizând rezultate din cercetările anterioare despre statistici de imagini naturale, aceste seturi de date pot antrena cu succes reprezentări vizuale. Sperăm că acest articol va motiva studiul unor noi modele generative capabile să producă zgomot structurat, care să atingă performanțe și mai mari atunci când sunt utilizate într-o varietate de sarcini vizuale.’

‘Ar fi posibil să egalăm performanța obținută prin preantrenarea cu ImageNet? Poate că, în absența unui set de date mari specific unei anumite sarcini, cel mai bun preantrenament nu ar trebui să utilizeze un set de date reale standard, cum ar fi ImageNet.’