Nova Googleova knjižnica Neural Tangent daje znanstvenicima podataka "neviđen" uvid u modele

Google je dizajnirao novu biblioteku otvorenog koda namijenjenu otvaranju crne kutije strojnog učenja i pružanju inženjerima više uvida u funkcioniranje njihovih sustava strojnog učenja. Kako javlja VentureBeat, Googleov istraživački tim kaže da bi knjižnica mogla pružiti "neviđen" uvid u to kako funkcioniraju modeli strojnog učenja.

Neuronske mreže djeluju preko neurona koji sadrže matematičke funkcije koje transformiraju podatke na različite načine. Neuroni u mreži spojeni su u slojeve, a neuronske mreže imaju dubinu i širinu. Dubina neuronske mreže kontrolirana je time koliko slojeva ima, a različiti slojevi mreže prilagođavaju veze između neurona, utječući na to kako se postupa s podacima dok se kreću između slojeva. Broj neurona u sloju je širina sloja. Prema Googleovom istraživačkom inženjeru Romanu Novaku i višem istraživačkom znanstveniku u Googleu, Samuelu S. Schoenholzu, širina modela usko je povezana s redovitim, ponovljivim ponašanjem. U postu na blogu, dva su istraživača objasnila da širenje neuronskih mreža čini njihovo ponašanje pravilnijim i lakšim za tumačenje.

Postoji drugačija vrsta modela strojnog učenja koji se naziva Gaussov proces. Gaussov proces je stohastički proces koji se može prikazati kao multivarijatna normalna distribucija. Uz Gaussov proces, svaka skupna/konačna linearna kombinacija varijabli bit će normalno raspodijeljena. To znači da je moguće predstaviti izuzetno složene interakcije između varijabli kao interpretabilne linearne algebarske jednadžbe, pa je stoga moguće da se ponašanje umjetne inteligencije proučava kroz ovu leću. Kako su točno modeli strojnog učenja povezani s Gaussovim procesima? Modeli strojnog učenja beskonačno velike širine konvergiraju prema Gaussovom procesu.

Međutim, iako je moguće interpretirati modele strojnog učenja kroz leću Gaussovog procesa, to zahtijeva izvođenje ograničenja beskonačne širine modela. Ovo je složen niz izračuna koji se moraju napraviti za svaku zasebnu arhitekturu. Kako bi te izračune učinio lakšim i bržim, Googleov istraživački tim osmislio je neuronske tangente. Neural Tangents omogućuje podatkovnom znanstveniku korištenje samo nekoliko redaka koda i treniranje višestrukih mreža beskonačne širine odjednom. Višestruke neuronske mreže često se treniraju na istim skupovima podataka i njihova se predviđanja izračunavaju u prosjeku kako bi se dobilo robusnije predviđanje otporno na probleme koji se mogu pojaviti u svakom pojedinačnom modelu. Takva se tehnika naziva učenje u ansamblu. Jedan od nedostataka učenja u ansamblu je to što je često računalno skupo. Ipak, kada se trenira mreža koja je beskonačno široka, skup se opisuje Gaussovim procesom i mogu se izračunati varijanca i srednja vrijednost.

Kao test uspoređene su tri različite arhitekture neuronske mreže beskonačne širine, a rezultati usporedbe objavljeni su u postu na blogu. Općenito, rezultati ansambl mreža vođenih Gaussovim procesima slični su regularnim, konačnim performansama neuronskih mreža:

Kako istraživački tim objašnjava u blogu:

“Vidimo da, oponašajući konačne neuronske mreže, mreže beskonačne širine slijede sličnu hijerarhiju performansi s potpuno povezanim mrežama koje imaju lošiju izvedbu od konvolucijskih mreža, koje zauzvrat imaju lošiju izvedbu od širokih rezidualnih mreža. Međutim, za razliku od redovitog treninga, dinamika učenja ovih modela potpuno je praktična u zatvorenom obliku, što omogućuje [novi] uvid u njihovo ponašanje.”

Čini se da je izdanje Neural Tangents tempirano za TensorFlow Dev Summit. Na sastanku na vrhu za razvojne programere sastaju se inženjeri strojnog učenja koji koriste Googleovu platformu TensorFlow. Najava Neural Tangents također dolazi nedugo nakon što je najavljen TensorFlow Quantum.

Neural Tangents je dostupan putem GitHuba, a postoji i Google Collaboratory notebook i tutorial kojima zainteresirani mogu pristupiti.