Celoživotní učení na zařízení je blíž díky nové technice trénování

Tým výzkumníků z MIT a MIT-IBM Watson AI Lab vyvinul novou techniku, která umožňuje trénování na zařízení pomocí méně než čtvrtiny megabytu paměti. Tento nový vývoj je pozoruhodným úspěchem, protože ostatní trénovací řešení obvykle vyžadují více než 500 megabytů paměti, což přesahuje 256kilobytovou kapacitu většiny mikrokontrolérů. 

Trénováním modelu strojového učení na inteligentním koncovém zařízení se model může přizpůsobit novým datům a učinit lepší předpovědi. Proces však vyžaduje obvykle velké množství paměti, a proto se často provádí na počítačích v datovém centru předtím, než je model nasazen na zařízení. Tento proces je mnohem nákladnější a vyvolává obavy o soukromí ve srovnání s novou technikou vyvinutou týmem.

Výzkumníci vyvinuli algoritmy a rámec tak, aby snížili množství výpočtů potřebných pro trénování modelu, což činí proces rychlejším a paměťově úspornějším. Tato technika může pomoci natrénovat model strojového učení na mikrokontroléru za pouhých několik minut. 

Nová technika také pomáhá s ochranou soukromí, protože udržuje data na zařízení, což je důležité, když jsou zapojena citlivá data. Současně rámec zlepšuje přesnost modelu ve srovnání s jinými přístupy. 

Song Han je docent na katedře elektrotechniky a počítačových věd (EECS), člen MIT-IBM Watson AI Lab a vedoucí autor výzkumné práce. 

“Naše studie umožňuje IoT zařízením nejen provádět inferenci, ale také nepřetržitě aktualizovat modely AI novými daty, což otevírá cestu pro celoživotní učení na zařízení,” řekl Han. “Nízká spotřeba zdrojů činí hluboké učení více dostupným a může mít širší dosah, zejména pro nízkoenergetická koncová zařízení.” 

Práce zahrnovala spoluvedoucí autory, doktorandy EECS Ji Lina a Ligenga Zhua, a dále postdoktorandy MIT Wei-Ming Chena a Wei-Chen Wanga. Zahrnovala také Chuanga Gana, hlavního výzkumného pracovníka v MIT-IBM Watson AI Lab. 

Úprava trénovacího procesu pro větší efektivitu

Aby se trénovací proces stal efektivnějším a méně paměťově náročným, tým se spoléhal na dvě algoritmická řešení. První je známo jako řídká aktualizace, která používá algoritmus, který identifikuje nejdůležitější váhy pro aktualizaci během každého kola trénování. Algoritmus zmrazí váhy jednu po druhé, dokud přesnost neklesne na určitou hranici, v níž zastaví. Zbývající váhy se pak aktualizují a aktivace odpovídající zmrazeným váhám nemusí být uloženy v paměti. 

“Aktualizace celého modelu je velmi nákladná, protože je nutné uchovávat mnoho aktivací, a proto lidé mají tendenci aktualizovat pouze poslední vrstvu, ale jak můžete vidět, to poškozuje přesnost,” řekl Han. “Pro naši metodu selektivně aktualizujeme ty nejdůležitější váhy a zajistíme, aby byla přesnost plně zachována.” 

Druhé řešení vyvinuté týmem zahrnuje kvantované trénování a zjednodušení vah. Algoritmus nejprve zaokrouhlí váhy na osm bitů prostřednictvím kvantizačního procesu, který také snižuje množství paměti pro trénování a inferenci, přičemž inference je proces aplikace modelu na dataset a generování předpovědi. Algoritmus pak spoléhá na techniku škálování zohledňující kvantizaci (QAS), která funguje jako násobič pro úpravu poměru mezi váhou a gradientem. To pomáhá zabránit jakékoli ztrátě přesnosti, která by mohla vyplývat z kvantovaného trénování. 

Výzkumníci vyvinuli systém nazvaný malý trénovací engine, který spouští inovace algoritmů na jednoduchém mikrokontroléru bez operačního systému. Aby se dokončilo více práce ve fázi kompilace, před nasazením modelu na koncovém zařízení, systém mění pořadí kroků ve trénovacím procesu. 

“Přesouváme mnoho výpočtů, jako je automatická diferenciace a optimalizace grafu, do kompilační fáze. Agresivně také prořezáváme redundantní operátory, aby podpořily řídké aktualizace. Při běhu programu, máme mnohem méně práce, kterou musíme udělat na zařízení,” říká Han. 

Vysoce efektivní technika

Zatímco tradiční techniky navržené pro lehké trénování obvykle vyžadují kolem 300 až 600 megabytů paměti, optimalizace týmu potřebovala pouze 157 kilobytů pro trénování modelu strojového učení na mikrokontroléru. 

Rámec byl testován trénováním modelu počítačového vidění pro detekci lidí na obrázcích a naučil se dokončit tuto úlohu za pouhých 10 minut. Metoda také dokázala natrénovat model více než 20krát rychleji než jiné metody. 

Výzkumníci se nyní budou snažit aplikovat techniky na jazykové modely a různé typy dat. Chtějí také využít získané znalosti ke zmenšení větších modelů bez ztráty přesnosti, což by mohlo také pomoci snížit uhlíkovou stopu trénování velkých modelů strojového učení.