Nowy Sztuczny Neuron Urządzenia Mogą Zmniejszyć Wymagania Energetyczne dla Obliczeń Neuronowych

Naukowcy z Uniwersytetu w San Diego opracowali nowe urządzenie sztucznego neuronu, które może działać z 100 do 1000 razy mniejszym zużyciem energii i powierzchni niż obecne urządzenia oparte na technice CMOS.

Niedawny raport został opublikowany w artykule z dnia 18 marca w Nature Nanotechnology.

Aby wygenerować dane wejściowe dla jednej z warstw połączonych sztucznych neuronów w sieciach neuronowych, należy zastosować matematyczne obliczenie zwane nieliniową funkcją aktywacji. Jednakże, ta aplikacja wymaga dużej mocy obliczeniowej i układów scalonych ze względu na potrzebę transferu danych między pamięcią a zewnętrznym procesorem.

Naukowcy z UC San Diego opracowali nowe urządzenie o wielkości nanometra, które może wykonywać tę funkcję aktywacji znacznie bardziej wydajnie.

Duygu Kuzum jest profesorem inżynierii elektrycznej i komputerowej w UC San Diego Jacobs School of Engineering.

„Obliczenia sieci neuronowych w sprzęcie stają się coraz mniej wydajne, im większe i bardziej złożone są modele sieci neuronowych”, powiedział Kuzum. “Opracowaliśmy pojedyncze urządzenie sztucznego neuronu, które realizuje te obliczenia w sprzęcie w bardzo wydajny sposób.”

Badanie zostało przeprowadzone przez Kuzum i studenta doktoranckiego Shangheona Oha, we współpracy z profesorem fizyki z UC San Diego, Ivanem Schullerem, który kieruje centrum DOE Energy Frontier Research. Centrum jest zaangażowane w rozwój sprzętowych wdrożeń energooszczędnych sztucznych sieci neuronowych.

Nowe Urządzenie

Opracowane urządzenie opiera się na jednostce liniowej prostokątnej, która jest jedną z najczęstszych funkcji aktywacji stosowanych w szkoleniu sieci neuronowych. Wymaga sprzętu, który może przechodzić stopniowe zmiany oporu, co było celem inżynierów. Urządzenie może stopniowo przełączać się z izolującego do przewodzącego stanu przy niewielkiej ilości ciepła.

Zjawisko to, określane jako przejście Motta, występuje w ekstremalnie cienkiej warstwie dwutlenku wanadu, a powyżej niej znajduje się nanodrutowy grzałka z tytanu i złota. Warstwa dwutlenku wanadu powoli nagrzewa się, gdy prąd płynie przez nanodrutową grzałkę, co powoduje powolne i kontrolowane przełączenie z izolującego do przewodzącego stanu.

Oh jest pierwszym autorem badania.

“Ta architektura urządzenia jest bardzo interesująca i innowacyjna”, powiedział Oh. “W tym przypadku, przepuszczamy prąd przez nanodrutową grzałkę na górze materiału, aby go nagrzać i wywołać bardzo stopniową zmianę oporu.”

Wdrożenie Urządzenia

Do wdrożenia, zespół wytworzył tablicę urządzeń aktywacji i tablicę urządzeń synaptycznych, a następnie zintegrował je na niestandardowej płycie drukowanej. Następnie połączyli je, tworząc wersję sprzętową sieci neuronowej.

Sieć została wykorzystana do przetworzenia obrazu za pomocą wykrywania krawędzi, identyfikując kontury i krawędzie obiektów na obrazie. Zintegrowany system sprzętowy wykazał swoją zdolność do wykonywania operacji konwolucyjnych, które są ważne dla różnych typów głębokich sieci neuronowych.

“Aktualnie, jest to po prostu dowód koncepcji”, powiedział Kuzum. “Jest to mały system, w którym tylko jeden warstwę synaptyczną z jedną warstwą aktywacji. Stosując więcej takich warstw, można stworzyć bardziej złożony system dla różnych zastosowań.”