Nová knižnica neurónových tangent od spoločnosti Google poskytuje vedcom údajov „bezprecedentný“ pohľad na modely

Google navrhol novú knižnicu s otvoreným zdrojovým kódom, ktorej cieľom je prelomiť čiernu skrinku strojového učenia a poskytnúť inžinierom lepší prehľad o tom, ako fungujú ich systémy strojového učenia. Ako informoval VentureBeat, výskumný tím Google hovorí, že knižnica by mohla poskytnúť „bezprecedentný“ prehľad o tom, ako fungujú modely strojového učenia.

Neurónové siete fungujú prostredníctvom neurónov obsahujúcich matematické funkcie, ktoré transformujú dáta rôznymi spôsobmi. Neuróny v sieti sú spojené do vrstiev a neurónové siete majú hĺbku a šírku. Hĺbka neurónovej siete je riadená počtom vrstiev a rôzne vrstvy sietí upravujú spojenia medzi neurónmi, čo má vplyv na to, ako sa s údajmi manipuluje, keď sa pohybujú medzi vrstvami. Počet neurónov vo vrstve je šírka vrstvy. Podľa výskumného inžiniera spoločnosti Google Romana Novaka a vedúceho výskumného pracovníka spoločnosti Google Samuela S. Schoenholza šírka modelov úzko súvisí s pravidelným, opakovateľným správaním. V blogovom príspevku obaja výskumníci vysvetlili, že rozšírenie neurónových sietí robí ich správanie pravidelnejším a ľahšie interpretovateľným.

Existuje iný typ modelu strojového učenia nazývaný Gaussov proces. Gaussov proces je stochastický proces, ktorý možno znázorniť ako viacrozmerné normálne rozdelenie. Pri Gaussovom procese bude každá množina/konečná lineárna kombinácia premenných normálne rozdelená. To znamená, že je možné reprezentovať mimoriadne zložité interakcie medzi premennými ako interpretovateľné rovnice lineárnej algebry, a preto je možné študovať správanie AI prostredníctvom tejto šošovky. Ako presne súvisia modely strojového učenia s Gaussovými procesmi? Modely strojového učenia, ktoré majú nekonečne veľkú šírku, sa zbiehajú do Gaussovho procesu.

Aj keď je možné interpretovať modely strojového učenia cez šošovku Gaussovho procesu, vyžaduje si to odvodenie limitu nekonečnej šírky modelu. Ide o komplexnú sériu výpočtov, ktoré je potrebné vykonať pre každú samostatnú architektúru. Aby boli tieto výpočty jednoduchšie a rýchlejšie, výskumný tím Google navrhol neurónové tangenty. Neurónové tangenty umožňujú dátovým vedcom používať len niekoľko riadkov kódu a trénovať viacero sietí s nekonečnou šírkou naraz. Viaceré neurónové siete sú často trénované na rovnakých súboroch údajov a ich predpovede sú spriemerované, aby sa získala robustnejšia predikcia odolná voči problémom, ktoré sa môžu vyskytnúť v akomkoľvek individuálnom modeli. Takáto technika sa nazýva súborové učenie. Jednou z nevýhod súborového učenia je, že je často výpočtovo nákladné. Keď je však trénovaná sieť, ktorá je nekonečne široká, súbor je opísaný Gaussovým procesom a možno vypočítať rozptyl a priemer.

V rámci testu boli porovnané tri rôzne architektúry neurónových sietí s nekonečnou šírkou a výsledky porovnania boli zverejnené v blogovom príspevku. Vo všeobecnosti sú výsledky súborových sietí riadených Gaussovými procesmi podobné výkonu bežnej, konečnej neurónovej siete:

Ako vysvetľuje výskumný tím v blogu:

„Vidíme, že siete s nekonečnou šírkou napodobňujúce konečné neurónové siete sledujú podobnú hierarchiu výkonu s plne prepojenými sieťami, ktoré fungujú horšie ako konvolučné siete, ktoré zase fungujú horšie ako široké zvyškové siete. Na rozdiel od bežného tréningu je však dynamika učenia týchto modelov úplne ovládateľná v uzavretej forme, čo umožňuje [nový] pohľad na ich správanie.“

Zdá sa, že vydanie Neural Tangents je načasované tak, aby sa zhodovalo s TensorFlow Dev Summit. Na samite vývojárov sa stretnú inžinieri strojového učenia, ktorí využívajú platformu TensorFlow od Googlu. Oznámenie Neural Tangents tiež prichádza krátko po oznámení TensorFlow Quantum.

Neural Tangents bol sprístupnený cez GitHub a existuje zápisník a návod Google Colaboratory, ku ktorým majú záujemcovia prístup.