Vzestup neuronových procesorových jednotek: Zlepšování generativní umělé inteligence na zařízeních pro rychlost a udržitelnost

Evoluce generativní umělé inteligence nejen mění naše interakce a zkušenosti s počítačovými zařízeními, ale také předefinuje samotné jádro výpočetní techniky. Jedním z hlavních hnacích sil této transformace je potřeba provozovat generativní umělou inteligenci na zařízeních s omezenými výpočetními zdroji. Tento článek diskutuje o výzvách, které to představuje, a o tom, jak neuronové procesorové jednotky (NPUs) vznikají, aby je řešily. Kromě toho článek představuje některé z nejnovějších procesorů NPU, které vedou cestu v tomto oboru.

Výzvy infrastruktury generativní umělé inteligence na zařízeních

Generativní umělá inteligence, která je hnací silou syntézy obrazů, generace textu a skladby hudby, vyžaduje podstatné výpočetní zdroje. Konvenčně tyto požadavky byly uspokojeny využíváním rozsáhlých možností cloudových platforem. Zatímco tento přístup je účinný, přináší s sebou svou vlastní sadu výzev pro generativní umělou inteligenci na zařízeních, včetně závislosti na stálém internetovém připojení a centralizované infrastruktuře. Tato závislost zavádí latenci, bezpečnostní zranitelnosti a zvýšenou spotřebu energie.

Základ cloudové infrastruktury AI se značně spoléhá na centrální procesorové jednotky (CPUs) a grafické procesorové jednotky (GPUs) pro zpracování výpočetních požadavků generativní umělé inteligence. Nicméně, když jsou aplikovány na generativní umělou inteligenci na zařízeních, tyto procesory narazí na významné překážky. CPU jsou navrženy pro obecné úkoly a postrádají specializovanou architekturu potřebnou pro efektivní a nízkoenergetické zpracování generativní umělé inteligence. Jejich omezené paralelní zpracování vede ke snížené propustnosti, zvýšené latenci a vyšší spotřebě energie, což je činí méně vhodnými pro umělou inteligenci na zařízeních. Na druhé straně, zatímco GPU mohou vyniknout v paralelním zpracování, jsou primárně navrženy pro grafické zpracování úloh. Aby mohly účinně zpracovat úkoly generativní umělé inteligence, GPU vyžadují specializované integrované obvody, které spotřebují vysokou energii a generují značné teplo. Kromě toho jejich velká fyzická velikost vytváří překážky pro jejich použití v kompaktních aplikacích na zařízeních.

Vznik neuronových procesorových jednotek (NPUs)

V reakci na výše uvedené výzvy neuronové procesorové jednotky (NPUs) vznikají jako transformační technologie pro implementaci generativní umělé inteligence na zařízeních. Architektura NPU je primárně inspirována strukturou a funkcí lidského mozku, zejména tím, jak neurony a synapse spolupracují při zpracování informací. V NPU umělá neurona slouží jako základní jednotky, odrážející biologické neurony přijímáním vstupů, zpracováváním a produkcí výstupů. Tyto neurony jsou propojeny umělými synapsami, které přenášejí signály mezi neurony se změnou síly během procesu učení. To emuluje proces změny synaptické váhy v mozku. NPU jsou organizovány ve vrstvách; vstupní vrstvy, které přijímají surová data, skryté vrstvy, které provádějí mezilehlé zpracování, a výstupní vrstvy, které generují výsledky. Tato vrstvená struktura odráží vícestupňové a paralelní zpracování informací v mozku. Protože generativní umělá inteligence je také konstruována pomocí podobné struktury umělých neuronových sítí, NPU jsou dobře přizpůsobeny pro řízení generativní umělé inteligence. Tato strukturální shoda snižuje potřebu specializovaných integrovaných obvodů, vedoucí k více kompaktním, energeticky efektivním, rychlým a udržitelným řešením.

Rizikování různých výpočetních potřeb generativní umělé inteligence

Generativní umělá inteligence zahrnuje širokou škálu úloh, včetně syntézy obrazů, generace textu a skladby hudby, z nichž každá má svou vlastní sadu jedinečných výpočetních požadavků. Například syntéza obrazů silně závisí na maticových operacích, zatímco generace textu zahrnuje sekvencí zpracování. Aby mohly účinně uspokojit tyto různé výpočetní potřeby, systém na čipu (SoC) technologie jsou často integrovány do neuronových procesorových jednotek (NPUs) spolu s CPU a GPU.

Každý z těchto procesorů nabízí rozdílné výpočetní síly. CPU jsou zvláště vhodné pro sekvencí kontrolu a okamžitost, GPU vynikají ve streamování paralelních dat, a NPU jsou jemně naladěny pro základní operace AI, zabývající se skalární, vektorovou a tensorovou matematikou. Díky využití heterogenní architektury mohou úkoly být přiřazeny procesorům na základě jejich silných stránek a požadavků konkrétní úlohy.

NPU, být optimalizovány pro AI úkoly, mohou účinně odlehčit generativní AI úkoly z hlavního CPU. Toto odlehčení nejen zajišťuje rychlé a energeticky efektivní operace, ale také urychluje AI inferenční úkoly, umožňující generativní AI modelům běhat hladce na zařízení. S NPU, které zpracovávají AI související úkoly, CPU a GPU jsou volné alokovat zdroje pro ostatní funkce, tím zlepšují celkovou aplikaci výkon a zachovávají tepelnou efektivitu.

Reálné příklady NPU

Pokrok v NPU získává na síle. Zde jsou einige reálné příklady NPU:

• Hexagon NPU od Qualcomm je speciálně navržen pro urychlení AI inferenčních úloh na zařízeních s nízkou spotřebou energie a nízkými zdroji. Je navržen pro zpracování generativní AI úloh, jako je generace textu, syntéza obrazů a zpracování audia. Hexagon NPU je integrován do Qualcommových platforem Snapdragon, poskytujících efektivní provedení neuronových sítí na zařízeních s Qualcomm AI produkty.
• Apple’s Neural Engine je klíčovou součástí A-series a M-series čipů, pohánějících různé AI poháněné funkce, jako je Face ID, Siri a rozšířená realita (AR). Neural Engine urychluje úkoly, jako je rozpoznávání obličeje pro zabezpečený Face ID, zpracování přirozeného jazyka (NLP) pro Siri a vylepšené sledování objektů a porozumění scénám pro aplikace AR. To významně zlepšuje výkon AI souvisejících úloh na Apple zařízeních, poskytujícím bezproblémový a efektivní uživatelský zážitek.
• Samsungův NPU je specializovaný procesor navržen pro AI výpočty, schopný zpracovat tisíce výpočtů současně. Integrovaný do nejnovějších Samsung Exynos SoC, které pohánějí mnoho Samsung telefonů, tato NPU technologie umožňuje nízkoenergetické, vysokorychlostní generativní AI výpočty. Samsungova NPU technologie je také integrována do vlajkových TV, umožňujících AI poháněnou inovaci zvuku a zlepšující uživatelské zkušenosti.
• Huawei’s Da Vinci Architektura slouží jako jádro jejich Ascend AI procesoru, navrženého pro zlepšení AI výpočetního výkonu. Architektura využívá vysokovýkonný 3D krychlový výpočetní stroj, což z něj činí silný pro AI úkoly.

Závěr

Generativní umělá inteligence mění naše interakce se zařízeními a předefinuje výpočetní techniku. Výzva spočívající v běhu generativní umělé inteligence na zařízeních s omezenými výpočetními zdroji je významná, a tradiční CPU a GPU často selhávají. Neuronové procesorové jednotky (NPUs) nabízejí slibné řešení se specializovanou architekturou navrženou pro splnění požadavků generativní umělé inteligence. Integrující NPU do systému na čipu (SoC) technologie spolu s CPU a GPU, můžeme využít silných stránek každého procesoru, vedoucí k rychlejšímu, efektivnějšímu a udržitelnějšímu AI výkonu na zařízeních. Jak NPU pokračují ve vývoji, jsou nastaveny pro zlepšení AI schopností na zařízeních, činící aplikace více responsivními a energeticky efektivnějšími.