Suprainterpretarea poate fi o amenințare mai mare și mai greu de abordat decât supraajustarea

Dacă prietena ta bună, Alice, îi place să poarte pulovere galbene, vei vedea mult mai multe pulovere galbene decât o persoană obișnuită. După un timp, este posibil ca atunci când vezi o femeie diferită care poartă o pulover galben, conceptul central Alice va apărea în minte.

Dacă vezi o femeie care poartă o pulover galben și care se aseamănă cu Alice, este posibil să o confunzi cu prietena ta pentru o clipă.

Dar nu este Alice. În cele din urmă, vei realiza că puloverul galben nu este un identificator util pentru a identifica pe Alice, deoarece ea nu îl poartă în timpul verii și nu îl poartă întotdeauna în timpul iernii. La un moment dat, vei începe să reduci importanța puloverului galben ca identificator posibil pentru Alice, deoarece experiența ta cu el a fost nesatisfăcătoare, iar energia cognitivă utilizată pentru a menține această scurtătură nu este recompensată frecvent.

Dacă ești un sistem de recunoaștere bazat pe viziune computerizată, este posibil ca să vezi pe Alice peste tot unde vezi un pulover galben.

Nu este vina ta; ai fost însărcinat să identifici pe Alice cu orice preț, din informațiile disponibile, și nu există o lipsă de resurse cognitive pentru a menține această cheie reductivă.

Discernământul ciudat

Conform unui studiu recent de la Laboratorul de Știință și Inteligență Artificială al MIT (CSAIL) și Amazon Web Services, acest sindrom, numit suprainterpretare, este răspândit în domeniul cercetării viziunii computerizate (CV); nu poate fi atenuat prin abordarea supraajustării (deoarece nu este un adjunct direct al supraajustării); este comun în cercetările care utilizează cele două seturi de date cele mai influente în recunoașterea și transformarea imaginilor, CIFAR-10 și ImageNet; și nu are remedii ușoare – cu siguranță, nu ieftine remedii.

Cercetătorii au descoperit că, atunci când reduc imaginile de antrenare la doar 5% din conținutul lor coerent, o gamă largă de cadre populare au continuat să clasifice corect imaginile, care, în majoritatea cazurilor, par gibberish pentru orice observator uman:

Imaginile originale de antrenare din CIFAR-10, reduse la doar 5% din conținutul original de pixeli, dar clasificate corect de o gamă largă de cadre de viziune computerizată populare, cu o acuratețe de 90-99%. Sursă: https://arxiv.org/pdf/2003.08907.pdf

În unele cazuri, cadrele de clasificare au găsit aceste imagini reduse mai ușor de clasificat corect decât cadrele complete din datele originale de antrenare, autorii observând ‘[CNN-urile] sunt mai sigure pe aceste subseturi de pixeli decât pe imaginile complete’.

Acest lucru indică un tip de ‘înșelăciune’ care apare ca o practică comună pentru sistemele de viziune computerizată care utilizează seturi de date de referință, cum ar fi CIFAR-10 și ImageNet, și cadre de referință, cum ar fi VGG16, ResNet20 și ResNet18.

Suprainterpretarea are implicații notabile pentru sistemele de vehicule autonome bazate pe viziune computerizată, care au intrat în atenție recent cu decizia Tesla de a favoriza interpretarea imaginilor în locul LiDAR și a altor sisteme de detectare cu raze pentru algoritmi de conducere autonomă.

Deși ‘învățarea scurtăturilor’ este o provocare cunoscută, și un domeniu de cercetare activă în viziunea computerizată, autorii studiului observă că cercetarea germano-canadiană care a pus problema în 2019 nu recunoaște că subseturile de pixeli ‘spurii’ care caracterizează suprainterpretarea sunt ‘date statistice valabile’, care pot necesita a fi abordate în termeni de arhitectură și abordări de nivel superior, mai degrabă decât prin curățarea atentă a seturilor de date.

Studiul, intitulat Suprainterpretarea dezvăluie patologiile modelului de clasificare a imaginilor, provine de la Brandon Carter, Siddhartha Jain și David Gifford de la CSAIL, în colaborare cu Jonas Mueller de la Amazon Web Services. Codul pentru studiu este disponibil la https://github.com/gifford-lab/overinterpretation.

Reducerea datelor

Imaginile cu date reduse, utilizate de cercetători, sunt denumite de ei Subansambluri de intrare suficiente (SIS) – în esență, o imagine SIS conține chassisul exterior minim posibil care poate delimita o imagine suficient de bine pentru a permite unui sistem de viziune computerizată să identifice subiectul original al imaginii (de exemplu, câine, navă, etc.).

În rândul de sus, vedem imagini complete de validare ImageNet; mai jos, subseturile SIS, clasificate corect de un model Inception V3 cu o încredere de 90%, bazat, aparent, pe tot ceea ce rămâne din imagine – contextul de fundal. În mod natural, coloana finală are implicații notabile pentru recunoașterea semnelor în algoritmi de vehicule autonome.

Comentând rezultatele obținute în imaginea de mai sus, cercetătorii observă:

‘Găsim că pixelii SIS sunt concentrați în afara obiectului real care determină eticheta de clasă. De exemplu, în imaginea “pizza”, SIS este concentrat pe forma farfuriei și masa de fundal, mai degrabă decât pe pizza însăși, sugerând că modelul ar putea generaliza prost pe imagini care conțin articole circulare diferite pe o masă. În imaginea “panda gigant”, SIS conține bambus, care a apărut probabil în colecția de fotografii ImageNet pentru această clasă.

‘În imaginile “semnal de trafic” și “semn de stradă”, SIS constă în pixeli din cer, ceea ce sugerează că sistemele de vehicule autonome care pot depinde de aceste modele ar trebui să fie evaluate cu atenție pentru patologiile suprainterpretării.’

Imaginile SIS nu sunt tăiate la întâmplare, ci au fost create pentru proiect prin procesul de selecție a gradientului în loturi, pe Inception V3 și ResNet50 prin PyTorch. Imaginile sunt derivate printr-o rutină de ablație care ia în considerare relația dintre capacitatea modelului de a clasifica corect o imagine și zonele în care datele originale sunt eliminate iterativ.

Pentru a confirma validitatea SIS, autorii au testat un proces de eliminare aleatorie a pixelilor și au găsit rezultatele ‘semnificativ mai puțin informative’ în teste, ceea ce indică faptul că imaginile SIS reprezintă cu adevărat datele minime de care au nevoie cadrele populare și seturile de date pentru a face predicții acceptabile.

O privire asupra oricărei imagini reduse sugerează că aceste modele ar trebui să eșueze în conformitate cu nivelurile umane de discernământ vizual, ceea ce ar duce la o medie de acuratețe de sub 20%.

Cu imaginile SIS reduse la doar 5% din pixelii originali, oamenii abia ating un nivel de clasificare ‘mai mare decât întâmplător’, față de nivelul de succes de 90-99% al seturilor de date și cadrelor populare studiate în lucrare.

Dincolo de supraajustare

Supraajustarea apare atunci când un model de învățare automată se antrenează atât de mult pe un set de date, încât devine priceput la a face predicții pentru datele specifice, dar este mult mai puțin eficient (sau chiar total ineficient) pe date noi care i se introduc după antrenament (date din afara distribuției).

Cercetătorii observă că interesul actual din mediul academic și industrial de a combate supraajustarea nu va rezolva simultan suprainterpretarea, deoarece subseturile de pixeli reduse care reprezintă imagini identificabile pentru computere și dauburi nonsensibile pentru oameni sunt, de fapt, date aplicabile cu adevărat</i}, mai degrabă decât o concentrare obsesivă asupra datelor prost curate sau anemice:

‘Suprainterpretarea este legată de supraajustare, dar supraajustarea poate fi diagnosticată prin acuratețe redusă a testului. Suprainterpretarea poate proveni din semnale statistice adevărate din distribuția de bază a setului de date, care pot apărea din anumite proprietăți ale sursei de date (de exemplu, regulile dermatologilor).

‘Astfel, suprainterpretarea poate fi mai greu de diagnosticat, deoarece admite decizii luate pe baza unor criterii statistice valabile, iar modelele care utilizează astfel de criterii pot excela la testele de referință.’

Soluri posibile

Autorii sugerează că îmbinarea modelelor, în care multiple arhitecturi contribuie la procesul de evaluare și antrenament, ar putea reduce suprainterpretarea. De asemenea, au găsit că aplicarea eliminării intrărilor, proiectată inițial pentru a împiedica supraajustarea, a condus la o ‘mică scădere’ a acurateței testului CIFAR-10 (care este probabil de dorit), dar o ‘creștere semnificativă’ (∼ 6%) a acurateței modelelor pe date nevizionate. Cu toate acestea, cifrele mici sugerează că orice remedii ulterioare pentru supraajustare sunt puțin probabil să abordeze pe deplin suprainterpretarea.

Autorii admit posibilitatea de a utiliza hărți de saliență pentru a indica care zone ale unei imagini sunt pertinente pentru extragerea caracteristicilor, dar observă că acest lucru înfrânge obiectivul de parsare automată a imaginilor și necesită annotarea umană, care este infeasibilă la scară. Ei observă, de asemenea, că hărțile de saliență au fost găsite a fi doar estimatori cruzi în ceea ce privește insight-ul în operațiunile modelului.

Studiul concluzionează:

‘Având în vedere existența subseturilor de pixeli non-salienți care singuri sunt suficienți pentru clasificarea corectă, un model poate să se bazeze doar pe astfel de modele. În acest caz, o metodă de interpretare care descrie cu fidelitate modelul ar trebui să producă aceste rațiuni nonsensibile, în timp ce metodele de interpretare care își bazează rațiunile pe presupunerile umane pot produce rezultate care înșală utilizatorii să creadă că modelele lor se comportă așa cum sunt destinate.’

Publicat pentru prima dată pe 13 ianuarie 2022.