Nová neuronová tangentní knihovna od Google poskytuje datovým vědcům “nezpřístupný” vhled do modelů

Google diseñoval novou open-source knihovnu, která má za cíl otevřít černou skříňku strojového učení a poskytnout inženýrům více vhledu do toho, jak jejich systémy strojového učení fungují. Jak uvedl VentureBeat, tým výzkumu Google říká, že knihovna by mohla poskytnout „nezpřístupný“ vhled do toho, jak modely strojového učení fungují.

Neuronové sítě fungují prostřednictvím neuronů, které obsahují matematické funkce, které transformují data různými způsoby. Neurony v síti jsou spojeny do vrstev a neuronové sítě mají hloubku a šířku. Hloubka neuronové sítě je řízena tím, kolik vrstev má, a různé vrstvy sítě upravují spojení mezi neurony, což ovlivňuje, jak jsou data zpracovávána, když se pohybují mezi vrstvami. Počet neuronů ve vrstvě je šířka vrstvy. Podle výzkumného inženýra Romana Novaka a senior výzkumného vědce ve Google, Samuela S. Schoenholze, je šířka modelů úzce spojena s pravidelným, opakujícím se chováním. Ve článku dva výzkumníci vysvětlili, že činění neuronových sítí širšími činí jejich chování pravidelnějším a snazším na interpretaci.

Existuje jiný typ modelu strojového učení nazývaný Gaussian proces. Gaussian proces je stochastický proces, který lze reprezentovat jako multivariabilní normální distribuce. S Gaussian procesem každá množina/finální lineární kombinace proměnných bude normálně distribuována. To znamená, že je možné reprezentovat mimořádně komplexní interakce mezi proměnnými jako interpretovatelné lineární algebraické rovnice, a proto je možné studovat chování AI prostřednictvím tohoto hlediska. Jak přesně jsou modely strojového učení spojeny s Gaussian procesy? Modely strojového učení, které jsou nekonečně široké, konvergují na Gaussian proces.

Nicméně, zatímco je možné interpretovat modely strojového učení prostřednictvím hlediska Gaussian procesu, vyžaduje to odvození nekonečné-šířkové hranice modelu. To je komplexní série výpočtů, které musí být provedeny pro každou samostatnou architekturu. Aby tyto výpočty byly snazší a rychlejší, tým výzkumu Google diseñoval Neural Tangents. Neural Tangents umožňuje datovému vědci použít pouze několik řádků kódu a trénovat multiple nekonečně-šírkové sítě najednou. Multiple neuronové sítě jsou často trénovány na stejných datech a jejich předpovědi jsou průměrovány, aby se získala robustnější předpověď imunní vůči problémům, které mohou nastat v kterémkoli jednotlivém modelu. Taková technika se nazývá ensemble učení. Jednou z nevýhod ensemble učení je, že je často výpočetně náročné. Nicméně, když je trénována síť, která je nekonečně široká, ensemble je popsán Gaussian procesem a lze vypočítat variaci a střední hodnotu.

Tři různé nekonečně-šírkové neuronové síťové architektury byly porovnány jako test a výsledky porovnání byly zveřejněny v článku. Obecně, výsledky ensemble sítí poháněných Gaussian procesy jsou podobné jako běžné, konečné neuronové síťové výkony:

Jak vysvětluje výzkumný tým v článku:

“Vidíme, že, napodobující konečné neuronové sítě, nekonečně-šírkové sítě následují podobnou hierarchii výkonu s plně propojenými sítěmi, které fungují hůře než konvoluční sítě, které naopak fungují hůře než široké reziduální sítě. Nicméně, na rozdíl od běžného trénování, učení dynamika těchto modelů je zcela sledovatelná v uzavřené formě, což umožňuje [nový] vhled do jejich chování.”

Výstup Neural Tangents se zdá být načasován s TensorFlow Dev Summit. Dev summit vidí strojové učení inženýry, kteří využívají Googleovu platformu TensorFlow, setkat se. Oznámení Neural Tangents také přichází brzy po oznámení TensorFlow Quantum.

Neural Tangents je k dispozici prostřednictvím GitHub a existuje Google Colaboratory notebook a tutoriál, který mohou zájemci přístup.