Andrew Ng critică cultura de supra-ajustare în învățarea automată

Andrew Ng, una dintre cele mai influente voci în învățarea automată din ultimul deceniu, exprimă îngrijorări cu privire la modul în care sectorul se concentrează pe inovații în arhitectura modelului mai mult decât pe date – și, în special, la modul în care permite rezultate “supra-ajustate” să fie prezentate ca soluții generalizate sau progrese.

Acestea sunt critici cuprinzătoare ale culturii actuale de învățare automată, venind de la una dintre autoritățile sale cele mai înalte, și au implicații pentru încrederea într-un sector confruntat cu temeri legate de o a treia prăbușire a încrederii comerciale în dezvoltarea inteligenței artificiale într-un interval de 60 de ani.

Ng, profesor la Universitatea Stanford, este, de asemenea, unul dintre fondatorii deeplearning.ai, și în martie a publicat un articol pe site-ul organizației, care a condensat o cuvațare recentă a sa în câteva recomandări de bază:

În primul rând, că comunitatea de cercetare ar trebui să înceteze să se plângă că curățarea datelor reprezintă 80% din provocările învățării automate și să se apuce de treabă pentru a dezvolta metode și practici robuste de MLOps.

În al doilea rând, că ar trebui să se îndepărteze de “succesele ușoare” care pot fi obținute prin supra-ajustarea datelor la un model de învățare automată, astfel încât să funcționeze bine pe acel model, dar să nu se generalizeze sau să nu producă un model larg utilizabil.

Acceptarea provocării arhitecturii și curățirii datelor

“Opinia mea”, a scris Ng, “este că, dacă 80% din munca noastră este pregătirea datelor, atunci asigurarea calității datelor este munca importantă a unei echipe de învățare automată.”

El a continuat:

“Mai degrabă decât să ne bazăm pe ingineri să găsească cel mai bun mod de a îmbunătăți un set de date, sper să putem dezvolta unelte MLOps care să ajute la construirea sistemelor de inteligență artificială, inclusiv construirea seturilor de date de înaltă calitate, mai repetitive și mai sistematice.

“MLOps este un domeniu în curs de dezvoltare, și diferiți oameni îl definesc în moduri diferite. Dar cred că principiul de organizare cel mai important al echipelor și uneltelor MLOps ar trebui să fie acela de a asigura fluxul constant și de înaltă calitate a datelor în toate etapele unui proiect. Acest lucru va ajuta multe proiecte să decurgă mai lin.”

Vorbind pe Zoom, la o sesiune de întrebări și răspunsuri transmisă live la sfârșitul lunii aprilie, Ng a abordat problema lipsei de aplicabilitate a sistemelor de analiză a învățării automate în radiologie:

“Se dovedește că, atunci când colectăm date de la Spitalul Stanford, apoi le antrenăm și le testăm pe date de la același spital, într-adevăr, putem publica articole care arată că [algoritmii] sunt comparabili cu radiologii umani în detectarea anumitor afecțiuni.

“…[Când] iei același model, același sistem de inteligență artificială, la un spital mai vechi de pe stradă, cu o mașină mai veche, și tehnicianul folosește un protocol de imagine ușor diferit, datele se deplasează și cauzează scăderea semnificativă a performanței sistemului de inteligență artificială. În contrast, orice radiolog uman poate merge pe stradă la spitalul mai vechi și să facă foarte bine.”

Subspecificarea nu este o soluție

Supra-ajustarea are loc atunci când un model de învățare automată este proiectat special pentru a se potrivi cu excentricitățile unui anumit set de date (sau modul în care datele sunt formate). Acest lucru poate implica, de exemplu, specificarea ponderilor care vor produce rezultate bune din acel set de date, dar nu se vor “generaliza” pe alte date.

În multe cazuri, astfel de parametri sunt definiți pe “aspecte non-date” ale setului de antrenare, cum ar fi rezoluția specifică a informațiilor colectate sau alte idiosincrazii care nu sunt garantate să se repete în alte seturi de date ulterioare.

Deși ar fi frumos, supra-ajustarea nu este o problemă care poate fi rezolvată prin lărgirea orbirii sau flexibilității arhitecturii datelor sau a proiectării modelului, atunci când ceea ce este necesar, de fapt, sunt caracteristici larg aplicabile și foarte relevante care vor funcționa bine într-o varietate de medii de date – o provocare mai spinosă.

În general, acest tip de “subspecificare” duce doar la problemele pe care Ng le-a descris recent, în care un model de învățare automată eșuează pe date nevizionate. Diferența, în acest caz, este că modelul eșuează nu pentru că datele sau formatul datelor este diferit de setul de antrenare original supra-ajustat, ci pentru că modelul este prea flexibil, mai degrabă decât prea fragil.

La sfârșitul anului 2020, articolul Subspecificarea prezintă provocări pentru credibilitatea învățării automate moderne a criticat puternic această practică și a purtat numele a nu mai puțin de 40 de cercetători și oameni de știință în domeniul învățării automate de la Google și MIT, printre alte instituții.

Articolul critică “învățarea scurtăturilor” și observă modul în care modelele sub-specificate pot lua direcții sălbatice pe baza punctului de pornire aleatoriu la care începe antrenarea modelului. Contributorii observă:

“Am văzut că subspecificarea este ubicuă în fluxurile practice de învățare automată din multe domenii. Într-adevăr, datorită subspecificării, aspecte importante ale deciziilor sunt determinate de alegeri arbitrare, cum ar fi sămânța aleatorie folosită pentru inițializarea parametrilor.”

Implicațiile economice ale schimbării culturii

În ciuda calificărilor sale academice, Ng nu este un academic abstract, ci are o experiență profundă și de nivel înalt în industrie, ca co-fondator al Google Brain și Coursera, ca fost șef de știință pentru Big Data și Inteligență Artificială la Baidu și ca fondator al Landing AI, care administrează 175 de milioane de dolari pentru noi startup-uri în sector.

Când spune “Toată inteligența artificială, nu doar sănătatea, are o prăpastie de la concept la producție”, este menit să fie un apel de trezire pentru un sector a cărui nivel actual de entuziasm și istorie punctată a caracterizat-o ca o investiție comercială incertă pe termen lung, confruntată cu probleme de definire și de sferă.

Cu toate acestea, sistemele de învățare automată proprietare care funcționează bine în situații specifice și eșuează în alte medii reprezintă tipul de cucerire a pieței care ar putea răsplăti investițiile industriale. Prezentarea “problemei de supra-ajustare” în contextul unui pericol profesional oferă o modalitate de a monetiza investițiile corporative în cercetarea cu sursă deschisă și de a produce (în mod eficient) sisteme proprietare în care replicarea de către concurenți este posibilă, dar problematică.

Whether or not this approach would work in the long term depends on the extent to which real breakthroughs in machine learning continue to require ever-greater levels of investment, and whether or not all productive initiatives will inevitably migrate to FAANG to some extent, due to the colossal resources necessary for hosting and operations.

a fost tradus în:

Indiferent dacă această abordare ar funcționa pe termen lung depinde de măsura în care adevăratele progrese în învățarea automată vor continua să necesite niveluri din ce în ce mai mari de investiții, și dacă toate inițiativele productive vor migra inevitabil către FAANG într-o anumită măsură, din cauza resurselor uriașe necesare pentru găzduire și operațiuni.