Aivot Toiminnan Kääntäminen Sanoiksi Kehitetty Tekoäly

Kalifornian yliopiston San Franciscon tutkijat ovat kehittäneet tekoälyä, joka voi kääntää aivotoimintaa tekstimuotoon . Järjestelmä perustuu hermoimpulssien havaitsemiseen, kun joku puhuu, mutta asiantuntijat toivovat, että sitä voidaan lopulta käyttää myös henkilöillä, jotka eivät pysty puhumaan, kuten lukittu oireyhtymään sairastuneilla.

Tohtori Joseph Makin oli tutkimuksen yhteiskirjoittaja.

”Emme ole vielä siinä, mutta uskomme, että tämä voisi olla puheproteesin perusta”, sanoi Makin.

Tutkimus julkaistiin Nature Neuroscience -lehdessä.

Järjestelmän Testaus

Joseph Makin ja hänen tiiminsä käyttivät syvää oppimista algoritmeja tutkiakseen neljän naisen aivotoimintaa, kun he puhuivat. Kaikki naiset kärsivät epilepsiasta, ja heidän aivoihinsa oli kiinnitetty sähködit, joiden avulla voidaan seurata kohtauksia.

Sähködien kiinnittämisen jälkeen jokainen nainen luki äneen joukon lauseita, kun hänen aivotoimintaa mitattiin. Suurin määrä yksilöllisiä sanoja, joita käytettiin, oli 250. He voivat valita 50 eri lauseen joukosta, mukaan lukien ”Tina Turner on poplaulaja” ja ”Nuo varkaat varastivat 30 jalokiveä”.

Aivotoimintatiedot syötettiin sitten neuroverkkoon, joka koulutettiin tunnistamaan toistuvia malleja. Nämä mallit voitiin liittää toistuviin puheen piirteisiin, kuten vokaaleihin tai konsonantteihin. Ne syötettiin sitten toiseen neuroverkkoon, joka yritti muuttaa ne sanoiksi, jotka muodostavat lauseen.

Jokainen nainen pyydettiin toistamaan lauseet vähintään kahdesti, ja viimeinen toisto ei sisällytynyt koulutusdataan. Tämä mahdollisti järjestelmän testaamisen.

”Aivotoiminnan muistaminen näistä lauseista ei auttaisi, joten verkko on opittava, mitä niissä on yhteistä, jotta se voi yleistää tähän viimeiseen esimerkkiin”, sanoo Makin.

Tulokset

Järjestelmän ensimmäiset tulokset eivät muodostaneet järkeviä lauseita, mutta se parani, kun järjestelmä vertasi kunkin sanajonon lauseisiin, jotka luettiin äneen.

Tutkijat testasivat järjestelmää generoimalla kirjoitettua tekstiä ainoastaan aivotoiminnasta puhettaessa.

Käännöksessä oli paljon virheitä, mutta tarkkuusaste oli silti erittäin vaikuttava ja paljon parempi kuin aiemmat lähestymistavat. Tarkkuus vaihteli henkilökohtaisesti, mutta yhdellä yksilöllä vain 3% kunkin lauseen keskiarvona vaati korjauksia.

Tutkijat myös oppivat, että koulutusalgortmi yhden yksilön datalla salli lopullisen käyttäjän antaa paljon vähemmän.

Maastrichtin yliopiston Dr. Christian Herff, joka ei ollut mukana tutkimuksessa, sanoo, että on vaikuttavaa, että järjestelmä vaati vähemmän kuin 40 minuutin koulutusdataa kullekin osallistujalle ja rajoitetun lauseiden kokoelman, verrattuna miljooniin tunteihin, jotka normaalisti vaaditaan.

”He saavuttavat tarkkuustasot, joita ei ole aiemmin saavutettu”, hän sanoi.

”Tämä on fantastista tutkimusta, mutta nämä ihmiset voivat käyttää ’OK Googlea’ yhtä hyvin”, hän sanoi. ”Tämä ei ole ajatuksen kääntämistä [vaan aivotoimintaa, joka on osa puhetta].”

Toinen haaste voi olla, että ihmisillä, joilla on puhehäiriö, voi olla erilainen aivotoiminta.

”Haluaisimme käyttää tätä potilaassa, jolla on todellinen puhehäiriö”, sanoo Makin, ”vaikka on mahdollista, että heidän aivotoimintansa voi olla erilainen kuin tässä tutkimuksessa olevilla naisilla, mikä tekee tämän haasteellisemmaksi.”

On vielä pitkä matka käännettäväksi aivosignaaliaineistoa kattavasti. Ihmiset käyttävät valtavaa määrää sanoja, ja tutkimuksessa käytettiin vain hyvin rajoitettua puheen joukkoa.