Hersenimplantaten en AI-model gebruikt om gedachten om te zetten in tekst

Onderzoekers aan de Universiteit van Californië, San Francisco, hebben onlangs een AI-systeem ontwikkeld dat tekst kan produceren door de hersenactiviteit van een persoon te analyseren, waardoor het in wezen gedachten kan omzetten in tekst. De AI neemt neurale signalen van een gebruiker en decodeert deze, en kan tot 250 woorden in real-time ontcijferen op basis van een set van tussen 30 en 50 zinnen.

Volgens een artikel in de Independent, werd het AI-model getraind op neurale signalen die waren verzameld van vier vrouwen. De deelnemers aan het experiment hadden elektroden geïmplanteerd in hun hersenen om de occurrence van epileptische aanvallen te monitoren. De deelnemers werden gevraagd om zinnen hardop te lezen, en hun neurale signalen werden doorgegeven aan het AI-model. Het model kon neurale activiteit onderscheiden die correleerde met specifieke woorden, en de patronen kwamen overeen met de daadwerkelijke woorden ongeveer 97% van de tijd, met een gemiddelde foutpercentage van ongeveer 3%.

Dit is niet de eerste keer dat neurale signalen in verband zijn gebracht met zinnen, neurologen hebben al meer dan een decennium aan soortgelijke projecten gewerkt. Het AI-model dat door de onderzoekers is ontwikkeld, toont echter indrukwekkende nauwkeurigheid en werkt in meer of minder real-time. Het model gebruikt een recurrent neurale netwerk om de neurale activiteit om te zetten in representaties die kunnen worden omgezet in woorden. Zoals de auteurs zeggen in hun artikel:

“Door recente vooruitgang in machinevertaling te volgen, hebben we een recurrent neurale netwerk getraind om elke zinlengte-sequentie van neurale activiteit om te zetten in een abstracte representatie, en vervolgens deze representatie, woord voor woord, om te zetten in een Engelse zin.”

Volgens ArsTechnica, om beter te begrijpen hoe links werden gemaakt tussen neurale signalen en woorden, hebben de onderzoekers geëxperimenteerd door verschillende delen van het systeem uit te schakelen. Het systematische uitschakelen maakte duidelijk dat de nauwkeurigheid van het systeem te wijten was aan de neurale representatie. Het werd ook vastgesteld dat het uitschakelen van de audio-ingangen van het systeem de fouten deed toenemen, maar de algehele prestatie werd nog steeds als betrouwbaar beschouwd. Het is duidelijk dat het systeem potentieel nuttig kan zijn als een apparaat voor mensen die niet kunnen spreken.

Wanneer verschillende delen van de elektrode-ingang werden uitgeschakeld, werd vastgesteld dat het systeem het meest aandacht besteedde aan bepaalde sleutelhersengebieden die geassocieerd zijn met spraakverwerking en -productie. Bijvoorbeeld, een behoorlijk deel van de prestatie van het systeem was gebaseerd op hersengebieden die aandacht besteden aan de klank van iemands eigen stem wanneer hij spreekt.

Hoewel de eerste resultaten veelbelovend lijken, is het onderzoeksteam er niet zeker van hoe goed het model zal schalen naar grotere vocabulaires. Het is belangrijk dat het principe kan worden gegeneraliseerd naar grotere vocabulaires, aangezien de gemiddelde Engelse spreker een actief vocabulaire van ongeveer 20.000 woorden heeft. De huidige decoder-methode werkt door de statische structuur van een zin te interpreteren en deze structuur te gebruiken om geïnformeerde gissingen te maken over de woorden die overeenkomen met een bepaald neurale activiteitspatroon. Naarmate het vocabulaire groeit, kan de algehele nauwkeurigheid worden verlaagd, omdat meer neurale patronen mogelijk lijken op elkaar.

De auteurs van het artikel leggen uit dat, hoewel ze hopen dat de decoder uiteindelijk zal leren om regelmatige, betrouwbare patronen in taal te onderscheiden, ze niet zeker zijn van hoeveel gegevens nodig zijn om een model te trainen dat kan generaliseren naar de alledaagse Engelse taal. Een mogelijke manier om dit probleem aan te pakken is door de training aan te vullen met gegevens die zijn verzameld van andere brain-computer-interfaces die gebruikmaken van verschillende algoritmes en implantaten.

Het onderzoek dat door de onderzoekers van de Universiteit van Californië is gedaan, is slechts een recente ontwikkeling in een groeiende golf van onderzoek en ontwikkeling met betrekking tot neurale interfaces en computers. The Royal Society heeft vorig jaar een rapport uitgebracht dat voorspelde dat neurale interfaces die mensen verbinden met computers, mensen uiteindelijk zullen laten lezen wat anderen denken. Het rapport verwijst naar de Neuralink-startup die is opgericht door Elon Musk en technologieën die zijn ontwikkeld door Facebook (META ) als bewijs van de komende vooruitgang in human-georiënteerde computing. The Royal Society merkt op dat human-computer-interfaces een krachtige optie zullen zijn bij de behandeling van neurodegeneratieve ziekten zoals de ziekte van Alzheimer in de komende twee decennia.