Künstliche Intelligenz entwickelt, um Hirnaktivität in Wörter zu übersetzen

Forscher an der University of California, San Francisco haben künstliche Intelligenz (KI) entwickelt, die Hirnaktivität in Text übersetzen kann. Das System basiert auf neuronalen Mustern, die erkannt werden, wenn jemand spricht, aber Experten hoffen, dass es letztendlich für Menschen eingesetzt werden kann, die nicht sprechen können, wie Menschen mit Locked-in-Syndrom.

Dr. Joseph Makin war Co-Autor der Studie.

“Wir sind noch nicht so weit, aber wir denken, dass dies die Grundlage für eine Sprechprothese sein könnte”, sagte Makin.

Die Studie wurde im Journal Nature Neuroscience veröffentlicht.

Testen des Systems

Joseph Makin und sein Team nutzten Deep-Learning-Algorithmen, um die Hirnsignale von vier Frauen zu untersuchen, während sie sprachen. Alle Frauen haben Epilepsie, und Elektroden wurden an ihren Gehirnen befestigt, um Anfälle zu überwachen.

Nachdem die Elektroden befestigt wurden, las jede Frau eine Reihe von Sätzen vor, während ihre Hirnaktivität gemessen wurde. Die größte Anzahl einzigartiger Wörter, die verwendet wurden, betrug 250. Sie konnten aus einer Reihe von 50 verschiedenen Sätzen wählen, darunter “Tina Turner ist eine Pop-Sängerin” und “Diese Diebe stahlen 30 Juwelen”.

Die Hirnaktivitätsdaten wurden dann an einen neuronalen Netzwerkalgorithmus gefüttert, und dieser wurde trainiert, regelmäßig auftretende Muster zu erkennen. Diese Muster konnten dann mit wiederkehrenden Aspekten der Sprache wie Vokalen oder Konsonanten verknüpft werden. Sie wurden dann an ein zweites neuronales Netzwerk gefüttert, das versuchte, sie in Wörter umzuwandeln, um einen Satz zu bilden.

Jede Frau wurde gebeten, die Sätze mindestens zweimal zu wiederholen, wobei die letzte Wiederholung nicht in die Trainingsdaten aufgenommen wurde. Dies ermöglichte es den Forschern, das System zu testen.

“Das Memorieren der Hirnaktivität dieser Sätze würde nicht helfen, so dass das Netzwerk stattdessen lernen muss, was ihnen ähnlich ist, damit es generalisieren kann”, sagt Makin.

Ergebnisse

Die ersten Ergebnisse des Systems ergaben keine sinnvollen Sätze, aber es verbesserte sich, als das System jeden Wortfolge mit den Sätzen verglich, die vorgetragen wurden.

Das Team testete das System dann, indem es nur aus der Hirnaktivität während des Sprechens geschriebenen Text generierte.

Es gab viele Fehler in der Übersetzung, aber die Genauigkeitsrate war dennoch sehr beeindruckend und viel besser als bei vorherigen Ansätzen. Die Genauigkeit variierte von Person zu Person, aber bei einer Person mussten im Durchschnitt nur 3% jedes Satzes korrigiert werden.

Das Team erfuhr auch, dass das Trainieren des Algorithmus auf den Daten einer Person es dem finalen Benutzer ermöglichte, viel weniger Daten bereitzustellen.

Laut Dr. Christian Herff, der an der Maastricht-Universität tätig ist, aber nicht an der Studie beteiligt war, ist es beeindruckend, dass das System weniger als 40 Minuten Trainingsdaten pro Teilnehmer und eine begrenzte Sammlung von Sätzen benötigte, im Vergleich zu den normalerweise erforderlichen Millionen von Stunden.

“Indem sie dies tun, erreichen sie Genauigkeitsniveaus, die bisher noch nicht erreicht wurden”, sagte er.

“Natürlich ist dies fantastische Forschung, aber diese Menschen könnten auch einfach ‘OK Google’ verwenden”, sagte er. “Dies ist keine Übersetzung von Gedanken [sondern von Hirnaktivität, die beim Sprechen beteiligt ist].”

Eine weitere Herausforderung könnte sein, dass Menschen mit Sprachbehinderungen möglicherweise unterschiedliche Hirnaktivität aufweisen.

“Wir möchten dies bei einem Patienten mit einer tatsächlichen Sprachbehinderung einsetzen”, sagt Makin, “obwohl es möglich ist, dass ihre Hirnaktivität sich von der der Frauen in dieser Studie unterscheidet, was es schwieriger machen könnte.”

Es gibt noch einen langen Weg, um Hirnsignaldaten umfassend zu übersetzen. Menschen verwenden eine enorme Menge an Wörtern, und die Studie verwendete nur einen sehr eingeschränkten Satz von Sprache.