Badacze wykorzystują memristory do tworzenia bardziej efektywnych energetycznie sieci neuronowych

Jednym z mniej glamourowych aspektów sztucznej inteligencji jest to, że często wymaga dużej ilości mocy obliczeniowej i dlatego często ma duży ślad energetyczny. Ostatnie prace przeprowadzone przez badaczy z UCL wykazały metodę poprawy efektywności energetycznej AI.

Sieci neuronowe i uczenie maszynowe to potężne narzędzia, ale najbardziej imponujące osiągnięcia sztucznej inteligencji zwykle mają duży koszt energetyczny. Na przykład, gdy OpenAI nauczyło rękę robota manipulować kostką Rubika, oszacowano, że osiągnięcie to wymagało około 2,8 gigawatogodzin prądu.

Według TechExplore, badacze z UCL opracowali nową metodę generowania sztucznych sieci neuronowych. Nowa metoda wykorzystuje memristory do generowania sieci, które są około 1000 razy bardziej efektywne energetycznie niż sieci tworzone przy użyciu tradycyjnych podejść. Memristory to urządzenia, które mogą przypominać sobie ilość prądu, jaki ostatnio przepłynął przez nie, zachowując ten stan pamięci po wyłączeniu. Oznacza to, że mogą zapamiętać swój stan, nawet jeśli urządzenie straci zasilanie. Chociaż memristory były po raz pierwszy teoretyzowane około 50 lat temu, dopiero w 2008 roku powstał prawdziwy memristor.

Memristory są czasami nazywane „neuromorficznymi” urządzeniami obliczeniowymi lub „inspirowanymi mózgiem”. Memristory są podobne do bloków budulcowych, których mózg używa do przetwarzania informacji i tworzenia wspomnień. Są one bardzo wydajne w porównaniu z większością nowoczesnych systemów komputerowych. Te urządzenia memristorowe posiadają cechy kondensatorów i rezystorów, a w ciągu ostatniej dekady były wytwarzane i wykorzystywane w różnych urządzeniach pamięciowych. Zespół badawczy z UCL liczy, że ich badania pomogą tym urządzeniom być wykorzystanym do tworzenia systemów AI w ciągu kilku lat.

Pomimo ich zwiększonej efektywności energetycznej, memristory tradycyjnie są znacznie mniej efektywne niż regularne sieci neuronowe, ale badacze z UCL znaleźli sposób, aby zwiększyć dokładność memristorów. Badacze odkryli, że przy użyciu wielu memristorów, można je podzielić na wiele podgrup, a następnie ich obliczenia można uzyskać przez średnią. Średnia obliczeń pomaga wyeliminować błędy w podgrupach i znaleźć bardziej istotne wzorce.

Dr Adnan Mehonic i student doktorancki Dovydas Joksas (obaj z Wydziału Elektrycznego i Elektronicznego UCL) oraz ich współautorzy przetestowali ten podejście średniego obliczenia na różnych typach memristorów i stwierdzili, że technika ta wydaje się poprawiać dokładność we wszystkich testowanych memristorach, a nie tylko w jednym lub dwóch z nich. Poprawa dokładności dotyczyła wszystkich grup, które zostały przetestowane, niezależnie od rodzaju materiału, z którego wykonano memristor.

Zdaniem dr. Mehonic, cytowanego przez TechExplore:

“Mieliśmy nadzieję, że może istnieją bardziej ogólne podejścia, które poprawią nie tylko poziom urządzenia, ale także poziom systemu, i uważamy, że znaleźliśmy jedno z nich. Nasze podejście pokazuje, że w przypadku memristorów, wiele głów jest lepsze niż jedna. Rozłożenie sieci neuronowej na wiele mniejszych sieci zamiast jednej dużej sieci prowadzi do większej dokładności ogółem.”

Zespół badawczy był podekscytowany tym, że zastosowali technikę z dziedziny informatyki do memristorów, a także wykorzystali powszechną technikę unikania błędów (średnią obliczeń), aby zwiększyć dokładność sieci neuronowych z memristorami. Współautor studium, profesor Tony Kenyon z Wydziału Elektrycznego i Elektronicznego UCL, uważa, że memristory mogą “odegrać wiodącą rolę” w tworzeniu bardziej zrównoważonych energetycznie urządzeń komputera krawędziowego i urządzeń IoT.

Memristory nie tylko są bardziej efektywne energetycznie niż tradycyjne modele sieci neuronowych, ale mogą być łatwo wbudowane w urządzenie przenośne. Jest to przewidziane jako coraz bardziej ważne w najbliższej przyszłości, ponieważ coraz więcej danych jest tworzonych i przesyłanych cały czas, chociaż trudno zwiększyć pojemność transmisyjną poza pewien punkt. Memristory mogą pomóc umożliwić transfer dużych ilości danych przy ułamku kosztu energetycznego.