Onderzoekers gebruiken memristors om meer energie-efficiënte neurale netwerken te creëren

Een van de minder glamoureuze aspecten van kunstmatige intelligentie is dat het vaak een grote hoeveelheid verwerkingskracht vereist en daarom vaak een grote energievraag heeft. Recent onderzoek van onderzoekers aan de UCL heeft een methode gevonden om de energie-efficiëntie van een AI te verbeteren.

Neurale netwerken en machine learning zijn krachtige instrumenten, maar de meest indrukwekkende prestaties van kunstmatige intelligentie hebben meestal een hoge energiekost. Bijvoorbeeld, toen OpenAI een robotarm leerde om een Rubik’s cube te manipuleren, werd geschat dat deze prestatie ongeveer 2,8 gigawattuur aan elektriciteit vereiste.

Volgens TechExplore hebben onderzoekers aan de UCL een nieuwe methode ontwikkeld om kunstmatige neurale netwerken te genereren. Deze nieuwe methode maakt gebruik van memristors om het netwerk te genereren, wat ongeveer 1000 keer meer energie-efficiënt is dan netwerken die zijn gemaakt met traditionele benaderingen. Memristors zijn apparaten die de hoeveelheid elektrische lading kunnen onthouden die voor het laatst door hen is gestroomd, waardoor ze hun geheugenstaat kunnen behouden nadat ze zijn uitgeschakeld. Dit betekent dat ze hun staat kunnen onthouden, zelfs als een apparaat zijn stroom verliest. Hoewel memristors voor het eerst ongeveer 50 jaar geleden zijn bedacht, werd het eerste echte memristor pas in 2008 gemaakt.

Memristors worden soms “neuromorfe” rekenapparaten of “brein-geïnspireerde” apparaten genoemd. Memristors zijn vergelijkbaar met de bouwstenen die de hersenen gebruiken om informatie te verwerken en herinneringen te creëren. Ze zijn zeer efficiënt in vergelijking met de meeste moderne computersystemen. Deze memristor-apparaten hebben aspecten van condensatoren en weerstanden, en in de afgelopen decade zijn ze gefabriceerd en gebruikt in een verscheidenheid aan geheugentoestellen. Het onderzoeksteam van de UCL hoopt dat hun onderzoek zal helpen om deze apparaten te gebruiken om AI-systemen te creëren binnen een paar jaar.

Ondanks hun verhoogde energie-efficiëntie zijn memristors traditioneel veel minder efficiënt dan gewone neurale netwerken, maar de onderzoekers van de UCL vonden een manier om de nauwkeurigheid van memristors te verbeteren. De onderzoekers vonden dat wanneer ze veel memristors gebruikten, ze konden worden opgesplitst in meerdere subgroepen en vervolgens hun berekeningen gemiddeld worden genomen. Het nemen van het gemiddelde van de berekeningen hielp om fouten in de subgroepen te elimineren en de meest relevante patronen te vinden.

Dokter Adnan Mehonic en promovendus Dovydas Joksas (beiden van de afdeling Elektronica en Elektrotechniek van de UCL) en hun medeauteurs testten deze benadering van gemiddelde waarden bij verschillende soorten memristors en vonden dat de techniek de nauwkeurigheid leek te verbeteren in alle geteste memristors, niet alleen één of twee ervan. De verbeteringen in nauwkeurigheid golden voor alle geteste groepen, ongeacht het type materiaal waaruit de memristor was gemaakt.

Volgens dokter Mehonic, zoals geciteerd door TechExplore:

“We hoopten dat er meer generieke benaderingen zouden zijn die de systeemniveau-gedrag verbeteren, en niet het apparaatniveau, en we geloven dat we er een hebben gevonden. Onze benadering toont aan dat, als het gaat om memristors, meerdere hoofden beter zijn dan één. Het opdelen van het neurale netwerk in meerdere kleinere netwerken in plaats van één groot netwerk leidde tot een grotere nauwkeurigheid overall.”

Het onderzoeksteam was enthousiast om een techniek uit de informatica te hebben toegepast op memristors, en ook om een veel voorkomende foutenvermijdingstechniek (het nemen van gemiddelde waarden) te hebben gebruikt om de nauwkeurigheid van memristor-neurale netwerken te verbeteren. Medeauteur professor Tony Kenyon van de afdeling Elektronica en Elektrotechniek van de UCL gelooft dat memristors “een leidende rol” kunnen spelen bij het creëren van meer energie-duurzame edge-computing-apparaten en IoT-apparaten.

Memristors zijn niet alleen meer energie-efficiënt dan traditionele neurale netwerkmodellen, maar ze kunnen ook gemakkelijk worden opgenomen in een draagbaar, mobiel apparaat. Dit is voorspeld om van groeiende belang te zijn in de nabije toekomst, aangezien er steeds meer data wordt gecreëerd en verzonden, zelfs als het moeilijk is om de transmissiecapaciteit te verhogen beyond een bepaald punt. Memristors kunnen helpen om grote hoeveelheden data over te dragen aan een fractie van de energiekosten.