Algoritme lost complexe leertaak met extreme energie-efficiëntie

Een interdisciplinair onderzoeksteam heeft belangrijke vooruitgang geboekt bij de ontwikkeling van een machine die informatie kan verwerken met dezelfde efficiëntie als de menselijke hersenen, wat al lang een doel is in het veld van kunstmatige intelligentie. Het team van de Universiteit van Heidelberg in Duitsland en de Universiteit van Bern in Zwitserland werd geleid door Dr. Mihai Petrovici.

De onderzoeksresultaten werden gepubliceerd in het tijdschrift Nature Machine Intelligence.

Biologisch geïnspireerde kunstmatige neurale netwerken

Het team keek naar biologisch geïnspireerde kunstmatige neurale netwerken om deze uitdaging aan te pakken. Spiking neurale netwerken imiteren de structuur en functie van een natuurlijk zenuwstelsel en worden gezien als een veelbelovende kandidaat vanwege hun kenmerken die hen krachtig, snel en energie-efficiënt maken. Een van de belangrijkste uitdagingen was om dergelijke complexe systemen te trainen, en het team is nu dichtbij om dat te doen met de nieuw geïmplementeerde algoritme.

Neuronen in de hersenen verzenden informatie met behulp van korte elektrische pulsen, die worden aangeduid als spikes. Deze worden geactiveerd wanneer een bepaalde stimulusdrempel wordt overschreden. De uitwisseling van informatie wordt sterk beïnvloed door zowel de frequentie waarmee een enkele neuronen spikes produceert als de temporele sequentie van de individuele spikes.

Julian Göltz is een promovendus in de onderzoeksgroep.

“Het belangrijkste verschil tussen biologische spiking netwerken en kunstmatige neurale netwerken is dat, omdat ze spike-gebaseerde informatieverwerking gebruiken, ze complexe taken zoals beeldherkenning en classificatie kunnen oplossen met extreme energie-efficiëntie,” zegt Göltz.

Volle potentie bereiken

De menselijke hersenen en de kunstmatige spiking neurale netwerken vereisen allebei dat de individuele neuronennetwerken correct met elkaar verbonden zijn om hun volle potentie te bereiken. Daarom moesten de onderzoekers ontdekken hoe hersen-geïnspireerde, of neuromorfische systemen, aangepast kunnen worden om spiking input correct te verwerken.

Laura Kriener is een ander lid van het onderzoeksteam.

“Deze vraag is fundamenteel voor de ontwikkeling van krachtige kunstmatige netwerken op basis van biologische modellen,” zegt Kriener.

Speciale algoritmes moeten worden gebruikt om te garanderen dat neuronennetwerken in een spiking neurale netwerk op het juiste moment worden geactiveerd, en deze algoritmes passen de verbindingen tussen de neuronennetwerken aan zodat het netwerk de vereiste taken kan uitvoeren. Deze taak kan iets zijn zoals het classificeren van beelden met hoge precisie.

Dit is het type algoritme dat het team heeft ontwikkeld.

“Met deze benadering kunnen we spiking neurale netwerken trainen om informatie exclusief in enkele spikes te coderen en te verzenden. Ze produceren daardoor de gewenste resultaten vooral snel en efficiënt,” legt Göltz uit.

De onderzoekers slaagden er ook in om een neurale netwerk getraind met dit algoritme te implementeren op een fysieke platform. Het platform was de BrainScaleS-2 neuromorfische hardware-platform ontwikkeld aan de Universiteit van Heidelberg.

De onderzoekers zeggen dat het BrainScaleS-systeem informatie verwerkt tot duizend keer sneller dan de menselijke hersenen, terwijl het veel minder energie vereist dan conventionele computersystemen.

Het systeem maakt deel uit van het Europese Human Brain Project. Het project integreert technologieën zoals neuromorfische computing in een open platform genaamd EBRAINS.

“Ons werk is echter niet alleen interessant voor neuromorfische computing en biologisch geïnspireerde hardware. Het erkent ook de vraag van de wetenschappelijke gemeenschap om zogenaamde Deep Learning-benaderingen over te dragen aan de neurologie en om daardoor de geheimen van de menselijke hersenen verder te ontsluiten,” zegt Dr. Petrovici.