Les chercheurs utilisent des mémostats pour créer des réseaux neuronaux plus économes en énergie

L’un des aspects moins glamour de l’intelligence artificielle est qu’il nécessite souvent une grande quantité de puissance de traitement et qu’il a donc souvent une grande empreinte énergétique. Des travaux récents effectués par des chercheurs à UCL ont déterminé une méthode pour améliorer l’efficacité énergétique d’un IA.

Les réseaux neuronaux et l’apprentissage automatique sont des outils puissants, mais les réalisations les plus impressionnantes de l’intelligence artificielle ont généralement un coût énergétique important. Par exemple, lorsque OpenAI a enseigné à une main robotique à manipuler un Rubik’s Cube, il a été estimé que cette réalisation requérait environ 2,8 gigawatt-heures d’électricité.

Selon TechExplore, les chercheurs de UCL ont conçu une nouvelle méthode pour générer des réseaux neuronaux artificiels. La nouvelle méthode utilise des mémostats pour générer le réseau, qui sont environ 1000 fois plus économes en énergie que les réseaux créés avec les approches traditionnelles. Les mémostats sont des dispositifs qui peuvent rappeler la quantité de charge électrique qui a dernierement circulé à travers eux, en préservant cet état de mémoire après avoir été éteints. Cela signifie qu’ils peuvent se souvenir de leur état même si un appareil devait perdre de la puissance. Bien que les mémostats aient été théorisés il y a environ 50 ans, ce n’est qu’en 2008 qu’un véritable mémostat a été créé.

Les mémostats sont parfois appelés “dispositifs de calcul neuromorphes” ou “dispositifs inspirés du cerveau”. Les mémostats sont similaires aux briques de base que le cerveau utilise pour traiter les informations et créer des mémoires. Ils sont très efficaces par rapport à la plupart des systèmes informatiques modernes. Ces dispositifs mémostats possèdent des aspects de condensateurs et de résistances, et au cours de la dernière décennie, ils ont été fabriqués et utilisés dans une variété de dispositifs de mémoire. L’équipe de recherche de UCL espère que leurs recherches aideront ces dispositifs à être utilisés pour créer des systèmes d’IA dans quelques années.

Bien que les mémostats soient traditionnellement beaucoup moins efficaces que les réseaux neuronaux réguliers, les chercheurs de UCL ont trouvé un moyen d’améliorer la précision des mémostats. Les chercheurs ont découvert que lorsqu’ils utilisaient de nombreux mémostats, ils pouvaient les diviser en plusieurs sous-groupes, puis leurs calculs moyens ensemble. La moyenne des calculs aide les défauts des sous-groupes à s’annuler les uns les autres et les modèles les plus pertinents à être trouvés.

Le Dr Adnan Mehonic et l’étudiant en doctorat Dovydas Joksas (tous deux de l’UCL Electronic and Electrical Engineering) et leurs co-auteurs ont testé cette approche de moyenne sur différents types de mémostats et ont constaté que la technique semblait améliorer la précision dans tous les mémostats testés, et non seulement dans un ou deux d’entre eux. Les améliorations de précision s’appliquaient à tous les groupes testés, quelle que soit le type de matériau dont était fait le mémostat.

Selon le Dr Mehonic, cité par TechExplore :

“Nous espérions qu’il pourrait y avoir des approches plus génériques qui améliorent non le comportement au niveau du dispositif, mais le comportement au niveau du système, et nous croyons que nous en avons trouvé une. Notre approche montre que, lorsqu’il s’agit de mémostats, plusieurs têtes sont meilleures qu’une. Organiser le réseau neuronal en plusieurs petits réseaux plutôt qu’un grand réseau a conduit à une plus grande précision globale.”

L’équipe de recherche était ravie d’avoir appliqué une technique d’informatique à des mémostats, en utilisant également une technique d’évitement d’erreurs courante (moyenne des calculs) pour améliorer la précision des réseaux neuronaux mémostats. Le co-auteur de l’étude, le professeur Tony Kenyon de l’UCL Electronic & Electrical Engineering, pense que les mémostats pourraient “jouer un rôle de premier plan” dans la création de dispositifs de calcul de bord et d’objets connectés plus économes en énergie.

Les mémostats ne sont pas seulement plus économes en énergie que les modèles de réseaux neuronaux traditionnels, mais ils peuvent également être facilement intégrés dans un appareil portable, mobile. Cela devrait être de plus en plus important dans le futur proche, car de plus en plus de données sont créées et transmises tout le temps, même si il est difficile d’augmenter la capacité de transmission au-delà d’un certain point. Les mémostats pourraient aider à permettre le transfert de grandes quantités de données à une fraction du coût énergétique.