Tutkijat kehittivät ihmisen puheentunnistusmallin syvällä neuroverkoilla

Saksalaisista tutkijoista koostuva ryhmä tutkii uutta ihmisen puheentunnistusmallia, joka perustuu koneoppimiseen ja syviin neuroverkkoihin. Uusi malli voisi parantaa merkittävästi ihmisen puheentunnistusta.

Kuulovirusalgoritmit ovat yleensä käytössä parantamaan ihmisen puheentunnistusta, ja niiden arviointi perustuu useisiin kokeisiin, jotka määrittävät signaali-kohina-suhdetta, jossa tietty määrä sanoja tunnistetaan. Näiden kokeiden suorittaminen on kuitenkin usein aikaa vievää ja kallista.

Uusi malli on yksityiskohtaisesti kuvattu tutkimuksessa, joka on julkaistu The Journal of the Acoustical Society of America -julkaisussa.

Ennusteet kuulovammaisille kuulijoille

Jana Roßbach on yksi Carl Von Ossietzky yliopiston tutkijoista.

“Mallimme uutuus on, että se tarjoaa hyviä ennusteita kuulovammaisille kuulijoille melko erilaisen monimutkaisuuden ja näyttää sekä alhaiset virheet että korkeat korrelaatiot mitattuihin tietoihin”, sanoi Roßbach.

Tutkijaryhmä laski, kuinka monta sanaa lauseessa kuuntelija voisi ymmärtää automaattisen puheentunnistuksen (ASR) avulla. Puheentunnistustyökalut, kuten Alexa ja Siri, riippuvat tästä ASR:stä, joka on laajalti saatavilla.

Tutkimus ja tulokset

Tutkijaryhmän suorittama tutkimus käsitti kahdeksan normaalisti kuulevaa ja 20 kuulovammaista henkilöä. Kuulijat altistettiin monille erilaisille monimutkaisille meluille, jotka peittivät puheen, ja kuulovammaiset kuulijat jaettiin kolmeen ryhmään ikäriippuvan kuulovamman määrän perusteella.

Uuden mallin avulla tutkijat pystyivät ennustamaan kuulovammaisten kuulijoiden puheentunnistussuorituskykyä eri kuulovammantuotteilla. He pystyivät tekemään nämä ennusteet erilaisille meluille, joilla oli erilainen aikamuunnelmaisuus ja jotka muistuttivat puhetta. Tämä mahdollisti jokaisen henkilön yksilöllisen tarkkailun ja analyysin mahdollista kuulovammaa koskien.

“Olimme eniten yllättyneitä siitä, että ennusteet toimivat hyvin kaikilla melutyypeillä. Olimme odottaneet, että malli olisi ongelmia yhden kilpailevan puhujan kanssa. Mutta se ei ollut tapahtunut”, sanoi Roßbach.

Koska malli keskittyi yhden korvan kuulemiseen, tutkijaryhmä aikoo nyt luoda binauramallin kahden korvan kuulemiseen. He sanovat myös, että uusi malli voisi olla käytössä ennustamaan kuuntelumahdollisuuksia tai puheterveyttä.