EchoSpeech: Mullistava viestintä Silent-Speech Recognition -tekniikalla

Cornellin yliopiston tutkijat ovat kehittäneet EchoSpeechin, hiljaisen puheentunnistusliittymän, joka käyttää akustista tunnistusta ja tekoälyä tunnistamaan jatkuvasti jopa 31 äänetöntä komentoa huulten ja suun liikkeiden perusteella. Tätä vähän virtaa kuluttavaa, puettavaa käyttöliittymää voidaan käyttää älypuhelimella, ja se vaatii vain muutaman minuutin käyttäjän koulutusdatan komentojen tunnistamiseen.

Ruidong Zhang, informaatiotieteen tohtoriopiskelija, on pääkirjoittaja "EchoSpeech: Jatkuva hiljainen puheentunnistus minimaalisesti häiritsevissä silmälaseissa, akustisella tunnistuksella”, joka esitellään Computing Machinery Association for Computing Machinery Conference on Human Factors in Computing Systems (CHI) tässä kuussa Hampurissa, Saksassa.

”Ihmisille, jotka eivät voi ääntelemään ääntä, tämä hiljainen puhetekniikka voisi olla erinomainen tulo äänisyntetisaattorille. Se voisi antaa potilaille heidän äänensä takaisin”, Zhang sanoi korostaen teknologian potentiaalisia sovelluksia jatkokehityksessä.

Reaalimaailman sovellukset ja tietosuojaedut

Nykyisessä muodossaan EchoSpeechiä voitaisiin käyttää kommunikointiin muiden kanssa älypuhelimen kautta ympäristöissä, joissa puhe on hankalaa tai sopimatonta, kuten meluisissa ravintoloissa tai hiljaisissa kirjastoissa. Hiljaisen puheen käyttöliittymä voidaan myös yhdistää kynään ja käyttää suunnitteluohjelmistojen, kuten CAD, kanssa, mikä vähentää merkittävästi näppäimistön ja hiiren tarvetta.

Kynäpyyhkimiä pienemmillä mikrofoneilla ja kaiuttimilla varustetut EchoSpeech-lasit toimivat puettavana tekoälyllä toimivana kaikuluotaimena, joka lähettää ja vastaanottaa ääniaaltoja kasvoille ja havaitsee suun liikkeet. Syväoppimisalgoritmi analysoi sitten nämä kaikuprofiilit reaaliajassa noin 95 %:n tarkkuudella.

"Siirrämme kaikuluotaimen kehoon", sanoi Cheng Zhang, informaatiotieteen apulaisprofessori ja Cornellin Smart Computer Interfaces for Future Interactions (SciFi) -laboratorion johtaja.

Nykyinen äänettömän puheentunnistustekniikka perustuu tyypillisesti rajoitettuun joukkoon ennalta määrättyjä komentoja ja edellyttää, että käyttäjä on kasvot tai käytä kameraa. Cheng Zhang selitti, että tämä ei ole käytännöllistä eikä toteutettavissa ja herättää myös merkittäviä tietosuojaongelmia sekä käyttäjälle että henkilöille, joiden kanssa he ovat vuorovaikutuksessa.

EchoSpeechin akustinen tunnistustekniikka eliminoi puettavien videokameroiden tarpeen. Lisäksi, koska äänidata on pienempi kuin kuva- tai videodata, sen käsittely vaatii vähemmän kaistanleveyttä ja se voidaan lähettää älypuhelimeen Bluetoothin kautta reaaliajassa, kertoo informaatiotieteen professori François Guimbretière.

"Ja koska tiedot käsitellään paikallisesti älypuhelimellasi sen sijaan, että ne ladataan pilveen", hän sanoi, "yksityisyyden kannalta arkaluonteiset tiedot eivät koskaan jätä hallintaasi."