Růst a prořezávání strategie AI zdá se snižuje spotřebu energie AI

Lidský mozek funguje na základě „růst a prořezávání“ strategie, která inicializuje obrovské množství neuronálních spojů a poté prořezává nepoužívané spoje v průběhu času. Nedávno tým AI výzkumníků aplikoval tento přístup na AI systémy a zjistil, že by to mohlo podstatně snížit množství energie potřebné pro trénink AI.

Tým výzkumníků z Princeton University nedávno vytvořil novou metodu pro trénink umělých inteligencí. Tato nová tréninková metoda se zdá být schopná dosáhnout nebo překonat průmyslové standardy pro přesnost, ale je schopná toho dosáhnout při spotřebě mnohem menšího výpočetního výkonu a tedy méně energie než tradiční modely strojového učení. V průběhu dvou různých studií prokázali Princetonští výzkumníci, jak růst sítě přidáváním neuronů a spojů. Nepoužívané spoje byly poté prořezány v průběhu času, zůstaly pouze nejúčinnější a nejefektivnější části modelu.

Niraj Jha, profesor elektrotechniky na Princetonu, vysvětlil Princeton News, že model vyvinutý výzkumníky funguje na „růst a prořezávání“ paradigmatu. Jha vysvětlil, že lidský mozek je nejsložitější kolem tří let věku a poté začíná prořezávat nepoužívané synaptické spoje. Výsledkem je, že plně vyvinutý mozek je schopen vykonávat všechny mimořádně složité úkoly, které děláme každý den, ale používá pouze polovinu všech synapsí, které měl na svém vrcholu. Jha a další výzkumníci napodobovali tuto strategii, aby vylepšili trénink AI.

Jha vysvětlil:

„Naše přístup je to, co nazýváme růst a prořezávání paradigmatem. Je podobné tomu, co dělá mozek od narození do doby, kdy je dítě batoletem. Ve třetím roce lidský mozek začíná prořezávat spoje mezi mozkovými buňkami. Tento proces pokračuje do dospělosti, takže plně vyvinutý mozek funguje přibližně na polovině své synaptické špičky. Dospělý mozek je specializován na to, na co jsme ho trénovali. Není tak dobrý pro obecné učení jako mozek batolete.“

Díky růstu a prořezávání technice lze dělat stejně dobré předpovědi o vzorcích v datech pomocí pouze zlomek výpočetního výkonu, který byl dříve vyžadován. Výzkumníci se snaží najít metody, jak snížit spotřebu energie a výpočetní náklady, protože to je klíčové pro přenesení strojového učení na malé zařízení, jako jsou telefony a chytré hodinky. Snížení množství energie spotřebované strojovým učením může také pomoci průmyslu snížit jeho uhlíkovou stopu. Xiaoliang Dai, první autor studií, vysvětlil, že modely musí být trénovány lokálně, protože přenos do cloudu vyžaduje大量 energie.

Během první studie se výzkumníci snažili vyvinout nástroj pro tvorbu neuronových sítí, který by mohli použít k inženýrství neuronových sítí a rekreaci některých z nejvýkonnějších sítí od začátku. Nástroj se nazýval NeST (Neuronová síťová syntéza nástroj), a když je vybaven pouze několika neurony a spoji, rychle zvyšuje složitost přidáváním dalších neuronů do sítě. Jakmile síť dosáhne vybraného benchmarku, začíná se prořezávat sama v průběhu času. Zatímco předchozí modely sítí používaly prořezávací techniky, metoda vyvinutá Princetonskými výzkumníky byla první, která vzala síť a simulovala stadia vývoje, od „dítěte“ po „dospělého“.

Během druhé studie spolupracovali výzkumníci s týmem z University of California-Berkely a Facebooku, aby vylepšili svou techniku pomocí nástroje nazvaného Chameleon. Chameleon je schopen začít s požadovaným koncovým bodem, požadovanými výsledky a pracovat zpět, aby vytvořil správný typ neuronové sítě. Tím se eliminuje mnoho práce spojené s ručním nastavováním sítě, což dává inženýrům výchozí body, které jsou pravděpodobně okamžitě užitečné. Chameleon předpovídá výkon různých architektur za různých podmínek. Kombinace Chameleonu a NeST frameworku by mohla pomoci výzkumným organizacím, které postrádají těžké výpočetní zdroje, aby využily sílu neuronových sítí.