Životně dlouhé učení na zařízení je blíž díky nové technice školení

Tým výzkumníků z MIT a MIT-IBM Watson AI Lab vyvinul novou techniku, která umožňuje školení na zařízení pomocí méně než čtvrtiny megabytu paměti. Tato nová vývoj je pozoruhodným úspěchem, protože ostatní školicí řešení obvykle vyžadují více než 500 megabytů paměti, což přesahuje 256kilobyтовou kapacitu většiny mikrokontrolérů. 

Školením modelu strojového učení na inteligentním hraničním zařízení může přizpůsobit novým datům a učinit lepší předpovědi. S tím said, školicí proces obvykle vyžaduje大量 paměti, a proto se často provádí na počítačích v datovém centru předtím, než je model nasazen na zařízení. Tento proces je mnohem nákladnější a vyvolává obavy o soukromí ve srovnání s novou technikou vyvinutou týmem.

Výzkumníci vyvinuli algoritmy a rámec tak, aby snížili množství výpočtů potřebných pro školení modelu, což činí proces rychlejším a více paměťově efektivním. Tato technika může pomoci školení modelu strojového učení na mikrokontroléru za pouhých několik minut. 

Nová technika také pomáhá s ochranou soukromí, protože udržuje data na zařízení, což je důležité, když jsou zapojena citlivá data. Současně rámec zlepšuje přesnost modelu ve srovnání s jinými přístupy. 

Song Han je docent na katedře elektrotechniky a počítačových věd (EECS), člen MIT-IBM Watson AI Lab a hlavní autor výzkumné práce. 

“Naše studie umožňuje IoT zařízením nejen provádět inferenci, ale také nepřetržitě aktualizovat modely AI novými daty, což otevírá cestu pro životně dlouhé učení na zařízení,” řekl Han. “Nízká spotřeba zdrojů činí hluboké učení více dostupným a může mít širší dosah, zejména pro nízkoenergetická hraniční zařízení.” 

Práce zahrnovalaspoluautory a doktorandy EECS Ji Lin a Ligeng Zhu a postdoky MIT Wei-Ming Chen a Wei-Chen Wang. Zahrnovala také Chuang Gan, hlavního výzkumného pracovníka v MIT-IBM Watson AI Lab. 

Úprava školicího procesu pro větší efektivitu

Aby se školicí proces stal efektivnějším a méně paměťově náročným, tým se spoléhal na dvě algoritmická řešení. První je známo jako řídká aktualizace, která používá algoritmus, který identifikuje nejdůležitější váhy pro aktualizaci během každého kola školení. Algoritmus zmrazí váhy jednu po druhé, dokud přesnost neklesne na určitou hranici, v níž zastaví. Zbývající váhy se pak aktualizují a aktivity odpovídající zmrazeným váhám nemusí být uloženy v paměti. 

“Aktualizace celého modelu je velmi nákladná, protože existuje mnoho aktivit, a proto lidé tendují aktualizovat pouze poslední vrstvu, ale jak můžete vidět, to poškozuje přesnost,” řekl Han. “Pro naši metodu selektivně aktualizujeme ty nejdůležitější váhy a zajistíme, aby byla přesnost plně zachována.” 

Druhé řešení vyvinuté týmem zahrnuje kvantované školení a zjednodušení vah. Algoritmus nejprve zaokrouhlí váhy na osm bitů prostřednictvím kvantizačního procesu, který také snižuje množství paměti pro školení a inferenci, přičemž inferencia je proces aplikace modelu na dataset a generování předpovědi. Algoritmus pak spoléhá na techniku kvantizační škálování (QAS), která funguje jako násobič pro úpravu poměru mezi váhou a gradientem. To pomáhá zabránit jakékoli ztrátě přesnosti, která by mohla vyplývat z kvantovaného školení. 

Výzkumníci vyvinuli systém nazvaný malý školicí motor, který spouští inovace algoritmů na jednoduchém mikrokontroléru bez operačního systému. Aby se dokončilo více práce ve fázi kompilace, před nasazením modelu na hraničním zařízení, systém mění pořadí kroků ve školicím procesu. 

“Tlačíme mnoho výpočtů, jako je auto-diferenciace a grafická optimalizace, do kompilační fáze. Agresivně také prořezáváme redundatní operátory, aby podpořily řídké aktualizace. Jakmile je runtime, máme mnohem méně práce, kterou musíme udělat na zařízení,” říká Han. 

Vysokě efektivní technika

Zatímco tradiční techniky navržené pro lehké školení obvykle vyžadují kolem 300 až 600 megabytů paměti, optimalizace týmu potřebovala pouze 157 kilobytů pro školení modelu strojového učení na mikrokontroléru. 

Rámec byl testován školením počítačového vidění pro detekci lidí na obrázcích a naučil se dokončit tuto úlohu za pouhých 10 minut. Metoda byla také schopna školení modelu více než 20krát rychleji než jiné metody. 

Výzkumníci se nyní budou snažit aplikovat techniky na jazykové modely a různé typy dat. Chtějí také využít získané znalosti ke zmenšení větších modelů bez ztráty přesnosti, což by mohlo také pomoci snížit uhlíkovou stopu školení velkých modelů strojového učení.