Les chercheurs utilisent des memristors pour créer des réseaux neuronaux plus économes en énergie

L’un des aspects moins glamour de l’intelligence artificielle est qu’elle nécessite souvent une grande quantité de puissance de traitement et qu’elle a donc souvent une grande empreinte énergétique. Des travaux récents menés par des chercheurs de l’UCL ont déterminé une méthode pour améliorer l’efficacité énergétique d’un système d’IA.

Les réseaux neuronaux et l’apprentissage automatique sont des outils puissants, mais les réalisations les plus impressionnantes de l’intelligence artificielle ont généralement un coût énergétique important. Par exemple, lorsque OpenAI a enseigné à une main robotique à manipuler un cube de Rubik, il a été estimé que cette prouesse requérait environ 2,8 gigawatt-heures d’électricité.

Selon TechExplore, les chercheurs de l’UCL ont conçu une nouvelle méthode pour générer des réseaux neuronaux artificiels. La nouvelle méthode utilise des memristors pour générer le réseau, qui sont environ 1000 fois plus économes en énergie que les réseaux créés avec des approches traditionnelles. Les memristors sont des dispositifs qui peuvent rappeler la quantité de charge électrique qui a dernièrement circulé à travers eux, en conservant cet état de mémoire après avoir été éteints. Cela signifie qu’ils peuvent se souvenir de leur état même si un appareil devait perdre de la puissance. Bien que les memristors aient été théorisés il y a environ 50 ans, ce n’est qu’en 2008 qu’un véritable memristor a été créé.

Les memristors sont parfois appelés « dispositifs de calcul neuromorphes » ou « dispositifs inspirés du cerveau ». Les memristors sont similaires aux briques de base que le cerveau utilise pour traiter les informations et créer des souvenirs. Ils sont très efficaces par rapport à la plupart des systèmes informatiques modernes. Ces dispositifs memristors possèdent des aspects de condensateurs et de résistances, et au cours de la dernière décennie, ils ont été fabriqués et utilisés dans une variété de dispositifs de mémoire. Les équipes de recherche de l’UCL espèrent que leurs recherches aideront ces dispositifs à être utilisés pour créer des systèmes d’IA dans les quelques années à venir.

Malgré leur efficacité énergétique accrue, les memristors sont traditionnellement beaucoup moins efficaces que les réseaux neuronaux réguliers, mais les chercheurs de l’UCL ont trouvé un moyen d’améliorer la précision des memristors. Les chercheurs ont constaté que lors de l’utilisation de nombreux memristors, ils pouvaient être divisés en plusieurs sous-groupes, puis leurs calculs moyennés ensemble. La moyenne des calculs aide à annuler les défauts des sous-groupes et à trouver les modèles les plus pertinents.

Le Dr Adnan Mehonic et l’étudiant en doctorat Dovydas Joksas (tous deux de l’UCL Electronic and Electrical Engineering) et leurs co-auteurs ont testé cette approche de moyenne sur différents types de memristors et ont constaté que la technique semblait améliorer la précision dans tous les memristors testés, et non seulement dans un ou deux d’entre eux. Les améliorations de précision s’appliquaient à tous les groupes testés, quel que soit le type de matériau dont était fait le memristor.

Selon le Dr Mehonic, comme cité par TechExplore:

“Nous espérions qu’il pourrait y avoir des approches plus génériques qui améliorent non pas le comportement au niveau du dispositif, mais le comportement au niveau du système, et nous croyons que nous en avons trouvé une. Notre approche montre que, lorsqu’il s’agit de memristors, plusieurs têtes sont meilleures qu’une. Organiser le réseau neuronal en plusieurs petits réseaux plutôt qu’en un seul grand réseau a conduit à une plus grande précision globale.”

L’équipe de recherche était enthousiaste à l’idée d’avoir appliqué une technique d’informatique à des memristors, en utilisant également une technique courante d’évitement d’erreurs (moyenne des calculs) pour améliorer la précision des réseaux neuronaux memristors. Le co-auteur de l’étude, le professeur Tony Kenyon de l’UCL Electronic & Electrical Engineering, estime que les memristors pourraient « jouer un rôle de premier plan » dans la création de dispositifs de calcul de bord et d’objets connectés plus durables en énergie.

Les memristors ne sont pas seulement plus économes en énergie que les modèles de réseaux neuronaux traditionnels, mais ils peuvent également être facilement intégrés dans un appareil portable, mobile. Cela devrait prendre de l’importance dans un avenir proche, car de plus en plus de données sont créées et transmises tout le temps, même si il est difficile d’augmenter la capacité de transmission au-delà d’un certain point. Les memristors pourraient aider à permettre le transfert de grands volumes de données à une fraction du coût énergétique.