Des chercheurs utilisent des memristors pour créer des réseaux de neurones plus économes en énergie

L'un des aspects les moins glamour de l'intelligence artificielle est qu'elle nécessite souvent une grande quantité de puissance de traitement et qu'elle a donc souvent une empreinte énergétique importante. Des travaux récents effectués par des chercheurs de l'UCL ont déterminé une méthode pour améliorer l'efficacité énergétique d'une IA.

Les réseaux de neurones et l’apprentissage automatique sont des outils puissants, mais les prouesses les plus impressionnantes de l’intelligence artificielle sont généralement associées à un coût énergétique important. Par exemple, lorsque OpenAI a appris à une main robotique à manipuler un Rubik's cube, on a estimé que l'exploit besoin d'environ 2.8 gigawattheures d'électricité.

D'après TechExplore, Des chercheurs de l'UCL ont conçu une nouvelle méthode de génération de réseaux de neurones artificiels. La nouvelle méthode utilise des memristors pour générer le réseau, qui sont environ 1000 XNUMX fois plus économes en énergie que les réseaux créés avec des approches traditionnelles. Memristors sont des appareils qui peuvent rappeler la quantité de charge électrique qui les a traversés en dernier, préservant cet état de mémoire après leur extinction. Cela signifie qu'ils peuvent se souvenir de leur état même si un appareil devait perdre de l'alimentation. Bien que les memristors aient été théorisés pour la première fois il y a environ 50 ans, ce n'est qu'en 2008 qu'un véritable memristor a été créé.

Les memristors sont parfois appelés dispositifs informatiques «neuromorphes» ou dispositifs «inspirés par le cerveau». Les memristors sont similaires aux blocs de construction que le cerveau utilise pour traiter les informations et créer des souvenirs. Ils sont très efficaces par rapport à la plupart des systèmes informatiques modernes. Ces dispositifs de memristor possèdent des aspects de condensateurs et de résistances, et au cours de la dernière décennie, ils ont été fabriqués et utilisés dans une variété de dispositifs de mémoire. Les équipes de recherche de l'UCL espèrent que leurs recherches permettront d'utiliser ces dispositifs pour créer des systèmes d'IA d'ici quelques années.

Malgré leur efficacité énergétique accrue, les memristors sont traditionnellement beaucoup moins efficaces que les réseaux de neurones ordinaires, mais les chercheurs de l'UCL ont trouvé un moyen d'augmenter la précision des memristors. Les chercheurs ont découvert que lors de l'utilisation de nombreux memristors, ils pouvaient être divisés en plusieurs sous-groupes, puis leurs calculs moyennés ensemble. La moyenne des calculs aide les défauts dans les sous-groupes à s'annuler et les modèles les plus pertinents trouvés.

Dr Adnan Mehonic et Ph.D. L'étudiant Dovydas Joksas (à la fois en génie électronique et électrique de l'UCL) et leurs co-auteurs ont testé cette approche de moyenne sur différents types de memristors et ont constaté que la technique semblait améliorer la précision dans tous les différents memristors testés, pas seulement un ou deux d'entre eux. Les améliorations de précision s'appliquaient à tous les groupes testés, quel que soit le type de matériau à partir duquel le memristor était fabriqué.

Selon le Dr Mehonic, comme cité par TechExplore:

"Nous espérions qu'il pourrait y avoir des approches plus génériques qui améliorent non pas le comportement au niveau de l'appareil, mais le comportement au niveau du système, et nous pensons en avoir trouvé une. Notre approche montre qu'en matière de memristors, plusieurs têtes valent mieux qu'une. L'organisation du réseau de neurones en plusieurs réseaux plus petits plutôt qu'en un seul grand réseau a conduit à une plus grande précision globale.

L'équipe de recherche était ravie d'avoir pris une technique informatique et de l'avoir appliquée aux memristors, en utilisant également une technique courante d'évitement des erreurs (calculs de moyenne) pour augmenter la précision des réseaux de neurones memristifs. Le co-auteur de l'étude, le professeur Tony Kenyon de l'UCL Electronic & Electrical Engineering, estime que les memristors pourraient "jouer un rôle de premier plan" dans la création d'appareils informatiques de pointe et d'appareils IoT plus durables sur le plan énergétique.

Les memristors ne sont pas seulement plus économes en énergie que les modèles de réseaux neuronaux traditionnels, ils peuvent également être facilement inclus dans un appareil mobile portatif. On prévoit que cela revêtira une importance croissante dans un avenir proche, car davantage de données sont créées et transmises en permanence, même s'il est difficile d'augmenter la capacité de transmission au-delà d'un certain point. Les memristors pourraient permettre le transfert de gros volumes de données à une fraction du coût énergétique.