Noua bibliotecă Neural Tangent de la Google oferă oamenilor de știință “o perspectivă fără precedent” asupra modelelor

Google (GOOGL ) a proiectat o nouă bibliotecă open-source menită să deschidă cutia neagră a învățării automatizate și să ofere inginerilor o perspectivă mai bună asupra modului în care funcționează sistemele lor de învățare automatizată. Așa cum a raportat VentureBeat, echipa de cercetare a Google declară că biblioteca ar putea oferi “o perspectivă fără precedent” asupra modului în care funcționează modelele de învățare automatizată.

Rețelele neuronale funcționează prin neuroni care conțin funcții matematice care transformă datele în diferite moduri. Neuronii din rețea sunt conectați în straturi, iar rețelele neuronale au adâncime și lățime. Adâncimea unei rețele neuronale este controlată de numărul de straturi pe care le are, iar straturile diferite ale rețelelor ajustează conexiunile dintre neuroni, afectând modul în care datele sunt procesate pe măsură ce se deplasează între straturi. Numărul de neuroni dintr-un strat este lățimea stratului. Conform inginerului de cercetare Roman Novak și cercetătorului științific senior Samuel S. Schoenholz de la Google, lățimea modelelor este strâns corelată cu comportamentul regulat și repetitiv. Într-un post de blog, cei doi cercetători au explicat că, atunci când rețelele neuronale sunt mai late, comportamentul lor devine mai regulat și mai ușor de interpretat.

Există un alt tip de model de învățare automatizată, numit proces gaussian. Un proces gaussian este un proces stocastic care poate fi reprezentat ca o distribuție normală multivariată. Cu un proces gaussian, orice combinație liniară finită de variabile va fi distribuită normal. Acest lucru înseamnă că este posibil să se reprezinte interacțiuni extraordinar de complexe între variabile sub forma unor ecuații liniare interpretabile și, prin urmare, este posibil ca comportamentul unui model de inteligență artificială să fie studiat prin această prismă. Cum sunt legate exact modelele de învățare automatizată de procesele gaussiene? Modelele de învățare automatizată care sunt infinite în lățime converg către un proces gaussian.

Cu toate acestea, deși este posibil să se interpreteze modelele de învățare automatizată prin prisma unui proces gaussian, acest lucru necesită derivarea limitei infinite a lățimii unui model. Acesta este un set complex de calcule care trebuie efectuate pentru fiecare arhitectură separată. Pentru a face aceste calcule mai ușoare și mai rapide, echipa de cercetare a Google a proiectat Neural Tangents. Neural Tangents permite unui om de știință să utilizeze doar câteva linii de cod și să antreneze multiple rețele neuronale infinite în lățime, în același timp. De obicei, se antrenează mai multe rețele neuronale pe aceleași seturi de date și se calculează media predicțiilor lor, pentru a obține o predicție mai robustă, imună la problemele care pot apărea în orice model individual. O astfel de tehnică se numește învățare ensemble. Una dintre dezavantajele învățării ensemble este că, de obicei, este computațional costisitoare. Cu toate acestea, atunci când o rețea care este infinit de lată este antrenată, ansamblul este descris de un proces gaussian și varianța și media pot fi calculate.

Trei arhitecturi diferite de rețele neuronale infinite în lățime au fost comparate ca test și rezultatele comparației au fost publicate în postul de blog. În general, rezultatele rețelelor ensemble conduse de procese gaussiene sunt similare cu performanța rețelelor neuronale finite obișnuite:

Așa cum explică echipa de cercetare într-un post de blog:

“Observăm că, imitând rețelele neuronale finite, rețelele neuronale infinite în lățime urmează o ierarhie similară de performanță, cu rețelele complet conectate care funcționează mai prost decât rețelele convoluționale, care, la rândul lor, funcționează mai prost decât rețelele reziduale late. Cu toate acestea, în contrast cu antrenamentul regulat, dinamica de învățare a acestor modele este complet tratabilă în formă închisă, ceea ce permite o perspectivă nouă asupra comportamentului lor.”

Lansarea Neural Tangents pare a fi sincronizată cu Summitul de Dezvoltatori TensorFlow. La summit, inginerii de învățare automatizată care utilizează platforma TensorFlow a Google se întâlnesc. Anunțul Neural Tangents vine la scurt timp după anunțul TensorFlow Quantum.

Neural Tangents a fost lansat pe GitHub și există un notebook și un tutorial Google Colaboratory pentru cei interesați.