Cercetătorii de la Google descoperă problema de subspecificare care împiedică multe modele de IA

Recent, o echipă de cercetători de la Google (GOOGL ) a identificat o cauză comună a eșecurilor modelelor de IA, arătând că subspecificarea este una dintre principalele motive pentru care modelele de învățare automată funcționează adesea diferit în lumea reală decât în timpul testării și dezvoltării.

Modelele de învățare automată adesea eşuează atunci când abordează sarcini într-un mediu real, chiar dacă modelele funcționează optim în laborator. Există multe motive pentru care apare decalajul dintre performanța în timpul antrenamentului/dezvoltării și cea din lumea reală. Unul dintre cele mai comune motive pentru care modelele de IA eşuează în sarcinile din lumea reală este un concept cunoscut sub numele de “shift de date”. Shiftul de date se referă la o diferență fundamentală între tipul de date utilizate pentru a dezvolta un model de învățare automată și datele introduse în model în timpul aplicării. De exemplu, modelele de viziune computațională antrenate pe date de imagine de înaltă calitate vor avea dificultăți în a funcționa atunci când li se introduc date capturate de camere de joasă calitate găsite în mediul zilnic al modelului.

Conform MIT Technology Review, o echipă de 40 de cercetători de la Google a identificat o altă cauză pentru care performanța unui model de învățare automată poate varia atât de mult. Problema este “subspectivearea”, un concept statistic care descrie problemele în care fenomenele observate au multiple cauze posibile, nu toate fiind luate în considerare de model. Conform liderului studiului, Alex D’Amour, problema este întâlnită în multe modele de învățare automată, spunând că fenomenul “se întâmplă peste tot”.

Metoda obișnuită de antrenare a unui model de învățare automată implică introducerea unui volum mare de date pe care modelul le poate analiza și extrage tipare relevante. După aceea, modelul este introdus cu exemple pe care nu le-a văzut și i se cere să prevadă natura acestor exemple pe baza caracteristicilor pe care le-a învățat. Odată ce modelul a atins un anumit nivel de acuratețe, antrenamentul este considerat de obicei complet.

Conform echipei de cercetare de la Google, mai multe trebuie făcute pentru a se asigura că modelele pot generaliza cu adevărat la datele care nu sunt din antrenament. Metoda clasică de antrenare a modelelor de învățare automată va produce diverse modele care pot toate trece testele, dar aceste modele vor diferi în moduri mici care par nesemnificative, dar nu sunt. Noduri diferite din modele vor avea valori aleatorii atribuite, sau datele de antrenament pot fi selectate sau reprezentate în moduri diferite. Aceste variații sunt mici și adesea arbitrare, și dacă nu au un impact semnificativ asupra modului în care modelele funcționează în timpul antrenamentului, ele sunt ușor de ignorat. Cu toate acestea, atunci când impactul tuturor acestor schimbări mici se acumulează, ele pot duce la variații majore în performanța din lumea reală.

Subspecificarea este problematică pentru că înseamnă că, chiar dacă procesul de antrenament este capabil să producă modele bune, el poate produce și un model slab și diferența nu ar fi descoperită până când modelul nu iese din producție și intră în utilizare.

Pentru a evalua impactul subspecificării, echipa de cercetare a examinat o serie de modele diferite. Fiecare model a fost antrenat folosind aceeași procedură de antrenament, iar apoi modelele au fost supuse unor teste pentru a evidenția diferențele de performanță. Într-un caz, 50 de versiuni diferite ale unui sistem de recunoaștere a imaginilor au fost antrenate pe setul de date ImageNet. Modelele erau toate la fel, cu excepția valorilor aleatorii atribuite rețelei neuronale la începutul antrenamentului. Testele de stres utilizate pentru a determina diferențele de performanță au fost efectuate folosind ImageNet-C, o variantă a setului de date original, constând din imagini modificate prin ajustarea contrastului sau a luminozității. Modelele au fost testate și pe ObjectNet, o serie de imagini cu obiecte de uz casnic în orientări și contexte neobișnuite. Chiar dacă toate cele 50 de modele aveau aproximativ aceeași performanță pe setul de date de antrenament, performanța a variat foarte mult atunci când modelele au fost rulate prin testele de stres.

Echipa de cercetare a găsit rezultate similare atunci când au antrenat și testat două sisteme de procesare a limbajului natural diferite, precum și atunci când au testat diverse alte modele de viziune computațională. În fiecare caz, modelele au divergat puternic unele de altele, chiar dacă procesul de antrenament pentru toate modelele a fost același.

Conform lui D’Amour, cercetătorii și inginerii de IA trebuie să efectueze mult mai multe teste de stres înainte de a lansa modelele în sălbăticie. Acest lucru poate fi dificil de făcut, având în vedere că testele de stres trebuie să fie personalizate pentru sarcini specifice, utilizând date din lumea reală, care pot fi greu de obținut pentru anumite sarcini și contexte. O posibilă soluție la problema subspecificării este să se producă mai multe modele deodată și apoi să se testeze modelele pe o serie de sarcini din lumea reală, selectând modelul care arată în mod constant cele mai bune rezultate. Dezvoltarea modelelor în acest mod necesită mult timp și resurse, dar compromisul ar putea fi valoros, mai ales pentru modelele de IA utilizate în contexte medicale sau în alte domenii în care siguranța este o preocupare principală. Așa cum a explicat D’Amour prin MIT Technology Review :

“Trebuie să ne îmbunătățim capacitatea de a specifica exact ce cerem de la modelele noastre. Pentru că adesea ceea ce se întâmplă este că descoperim aceste cerințe doar după ce modelul a eșuat în lume.”