Kunstmatige intelligentie ontwikkeld om hersenactiviteit om te zetten in woorden

Onderzoekers aan de University of California, San Francisco hebben kunstmatige intelligentie (AI) ontwikkeld die hersenactiviteit om kan zetten in tekst. Het systeem werkt op neurale patronen die worden gedetecteerd wanneer iemand spreekt, maar experts hopen dat het uiteindelijk kan worden gebruikt bij mensen die niet kunnen spreken, zoals mensen met locked-in syndroom.

Dr. Joseph Makin was co-auteur van het onderzoek.

“We zijn er nog niet, maar we denken dat dit de basis kan zijn voor een spraakprothese,” zei Makin.

Het onderzoek werd gepubliceerd in het tijdschrift Nature Neuroscience.

Testen van het systeem

Joseph Makin en zijn team gebruikten diepe leer-algoritmes om de hersensignalen van vier vrouwen te bestuderen terwijl ze spraken. Alle vrouwen hebben epilepsie, en er werden elektroden aan hun hersenen bevestigd om aanvallen te monitoren.

Nadat de elektroden waren bevestigd, las elke vrouw een set zinnen hardop voor terwijl haar hersenactiviteit werd gemeten. Het grootste aantal unieke woorden dat werd gebruikt, was 250. Ze konden kiezen uit een set van 50 verschillende zinnen, waaronder “Tina Turner is een popzangeres,” en “Die dieven hebben 30 juwelen gestolen.”

De hersenactiviteitsgegevens werden vervolgens doorgegeven aan een neurale netwerk-algoritme, en het werd getraind om regelmatig voorkomende patronen te identificeren. Deze patronen konden vervolgens worden gekoppeld aan herhaalde aspecten van spraak, zoals klinkers of medeklinkers. Ze werden vervolgens doorgegeven aan een tweede neurale netwerk dat probeerde ze om te zetten in woorden om een zin te vormen.

Elke vrouw werd gevraagd de zinnen minstens twee keer te herhalen, waarbij de laatste herhaling niet in de trainingsgegevens werd opgenomen. Dit stelde de onderzoekers in staat het systeem te testen.

“Het onthouden van de hersenactiviteit van deze zinnen zou niet helpen, dus het netwerk moet leren wat er overeenkomt tussen hen, zodat het kan generaliseren naar dit laatste voorbeeld,” zegt Makin.

Resultaten

De eerste resultaten van het systeem maakten zinnen die geen zin hadden, maar het verbeterde naarmate het systeem elke reeks woorden vergeleek met de zinnen die hardop werden gelezen.

Het team testte vervolgens het systeem door alleen geschreven tekst te genereren vanuit de hersenactiviteit tijdens spraak.

Er waren veel fouten in de vertaling, maar het nauwkeurigheidspercentage was nog steeds zeer indrukwekkend en veel beter dan eerdere benaderingen. De nauwkeurigheid varieerde van persoon tot persoon, maar voor één persoon hoefde slechts 3% van elke zin gemiddeld te worden gecorrigeerd.

Het team ontdekte ook dat het trainingsalgoritme op de gegevens van één persoon het voor de eindgebruiker mogelijk maakte om veel minder gegevens te verstrekken.

Volgens Dr. Christian Herff, die verbonden is aan de Universiteit Maastricht maar niet bij de studie betrokken was, is het indrukwekkend dat het systeem minder dan 40 minuten trainingsgegevens per deelnemer nodig had en een beperkte verzameling zinnen, in vergelijking met de miljoenen uren die normaal gesproken nodig zijn.

“Door dit te doen bereiken ze niveaus van nauwkeurigheid die tot nu toe nog niet zijn bereikt,” zei hij.

“Natuurlijk is dit fantastisch onderzoek, maar deze mensen konden ook gewoon ‘OK Google’ (GOOGL ) gebruiken,” zei hij. “Dit is geen vertaling van gedachten [maar van hersenactiviteit bij spraak].”

Een andere uitdaging kan zijn dat mensen met spraakstoornissen andere hersenactiviteit kunnen hebben.

“We willen dit inzetten bij een patiënt met een echte spraakstoornis,” zegt Makin, “hoewel het mogelijk is dat hun hersenactiviteit anders is dan die van de vrouwen in deze studie, waardoor het moeilijker wordt.”

Er is nog een lange weg te gaan om hersensignaalgegevens volledig te vertalen. Mensen gebruiken een enorme hoeveelheid woorden, en de studie gebruikte alleen een zeer beperkte set spraak.