Výzkumníci používají memristory k vytvoření energeticky efektivnějších neuronových sítí

Jedna z méně okouzlujících aspektů umělé inteligence je, že často vyžaduje velké množství výpočetního výkonu a tudíž má často velkou energetickou stopu. Nedávná práce provedená výzkumníky na UCL určila metodu zlepšení energetické efektivnosti AI.

Neuronové sítě a strojové učení jsou mocnými nástroji, ale nejpozoruhodnější úspěchy umělé inteligence obvykle mají velkou energetickou cenu. Například, když OpenAI naučil robotickou ruku manipulovat s Rubikovou kostkou, bylo odhadnuto, že tento úspěch vyžadoval kolem 2,8 gigawatt-hodin elektřiny.

Podle TechExplore, výzkumníci na UCL navrhli novou metodu generování umělých neuronových sítí. Nová metoda využívá memristory k generování sítě, které jsou kolem 1000krát více energeticky efektivnější než sítě vytvořené tradičními přístupy. Memristory jsou zařízení, která si mohou zapamatovat množství elektrického náboje, který naposledy prošel skrz ně, a zachovávají tuto paměťovou stav i po vypnutí. To znamená, že si mohou zapamatovat svou stav i v případě, že zařízení ztratí napájení. Ačkoli memristory byly poprvé teoretizovány před asi 50 lety, nebylo až do roku 2008 vytvořeno skutečné zařízení.

Memristory jsou někdy označovány jako „neuromorfní“ výpočetní zařízení nebo „inspirovaná mozkem“. Memristory jsou podobné stavebním blokům, které mozek používá k zpracování informací a vytváření paměti. Jsou velmi efektivní ve srovnání s většinou moderních počítačových systémů. Tato zařízení memristoru mají aspekty kondenzátorů a rezistorů a v průběhu posledních deseti let byly vyráběny a používány v různých paměťových zařízeních. Tým výzkumníků z UCL doufá, že jejich výzkum pomůže těmto zařízením být použity k vytvoření systémů AI v průběhu několika let.

Přes jejich zvýšenou energetickou efektivitu jsou memristory tradičně mnohem méně efektivní než běžné neuronové sítě, ale výzkumníci z UCL našli způsob, jak zvýšit přesnost memristorů. Výzkumníci zjistili, že když se použije mnoho memristorů, lze je rozdělit do více podskupin a poté jejich výpočty průměrovat. Průměrování výpočtů pomáhá eliminovat chyby v podskupinách a najít více relevantních vzorců.

Dr. Adnan Mehonic a student Dovydas Joksas (oba z UCL Electronic and Electrical Engineering) a jejich spoluautoři otestovali tento přístup průměrování napříč různými typy memristorů a zjistili, že tato technika zdá se zlepšovat přesnost ve všech testovaných memristorech, ne pouze v jednom nebo dvou z nich. Zlepšení přesnosti se aplikovalo na všechny testované skupiny, bez ohledu na typ materiálu, ze kterého byl memristor vyroben.

Podle Dr. Mehonic, jak citováno TechExplore:

“Doufali jsme, že existují obecnější přístupy, které zlepšují nejen chování na úrovni zařízení, ale i na úrovni systému, a věříme, že jsme jeden takový přístup našli. Naše přístup ukazuje, že u memristorů je několik hlav lepší než jedna. Rozdělení neuronové sítě do několika menších sítí místo jedné velké sítě vedlo k větší přesnosti celkově.”

Výzkumný tým byl nadšen, že aplikoval počítačovou vědu a techniku na memristory, a také použil běžnou techniku vyhýbání se chybám (průměrování výpočtů) ke zvýšení přesnosti memristorových neuronových sítí. Spoluautor studie, profesor Tony Kenyon z UCL Electronic & Electrical Engineering, věří, že memristory mohou „zaujmout vedoucí roli“ při vytváření více energeticky udržitelných zařízení pro edge computing a IoT.

Memristory nejsou pouze více energeticky efektivnější než tradiční modely neuronových sítí, ale mohou být také snadno začleněny do ručního, mobilního zařízení. To se předpokládá, že bude mít stále větší význam v blízké budoucnosti, protože se vytváří a přenáší stále více dat, ačkoli je obtížné zvýšit kapacitu přenosu za určitou hranici. Memristory mohou pomoci umožnit přenos velkých objemů dat za zlomek energetické ceny.