Vikrant Tomar, Fluent.ai:n tekninen johtaja ja perustaja – Haastattelusarja

Vikrant Tomar on Fluent.ai:n tekninen johtaja ja perustaja, joka on kehittänyt puheentunnistus- ja äänikäyttöliittymäohjelmistoja laitteiden valmistajille ja palveluntarjoajille.

Mikä alun perin kiinnosti sinua akustisen mallinnuksen opiskelussa puheentunnistusta varten?

Se, että voimme puhua laitteille samalla tavalla kuin puhumme toisille ihmisille. Tämä visio on ollut minulle mielenkiintoinen. Aloin opiskella puheentunnistusta viimeisenä opiskeluvuotena yliopistossa. Silloin aloin myös kiinnostua tutkimuksesta, joten otin puheentunnistuskurssin ja siihen liittyvän tutkimushankkeen. Pystyin julkaisemaan tutkimuspaperin InterSpeech-konferenssissa, joka on yksi suurimmista ja arvostetuimmista puheentunnistuskonferensseista. Tämä työ motivoi minua valitsemaan puheentunnistuksen tutkimuksen pitkäaikaiseksi tavoitteeksi, ja näin ollen myös väitöskirjaksi.

Vuonna 2015 perustit Fluent.ai:n. Voitko kertoa, miten tämä startup syntyi?

Olen aina ollut kiinnostunut yrittäjyydestä. Yhdessä kahden muun ystäväni kanssa yritimme perustaa yhtiön valmistumisen jälkeen, mutta monista syistä tämä yritys ei onnistunut. McGillissä ollessani seurasin Montrealin startup-kenttää. Tuolloin tutustuin myös TandemLaunchiin, jossa perustin Fluent.ai:n. Olin silloin väitöskirjani loppuvaiheessa, ja harkitsin uudelleen yrittäjyyttä. Tutkimustyön, muiden puheentutkimusryhmien kanssa tehdyn yhteistyön ja kokemukseni perusteella tajusin, että useimmat näistä kokemuksista olivat keskittyneet puheentunnistuksen kehittämiseen tietynlaisella tavalla: puheen transkriptioon ja sitten luonnollisen kielen prosessointiin. Tämä jätti kuitenkin aukon käytettävyydessä. Suuri osa väestöstä ei voi hyödyntää näin kehitettyjä puheratkaisuja. Tällaisten menetelmien vaatima datamäärä on niin suuri, ettei se olisi taloudellisesti järkevää kehittää erillisiä malleja vähemmän puhutuille kielille. Monilla murteilla ja kielillä ei myöskään ole erillistä kirjallista muotoa. Sukuani ei esimerkiksi voinut käyttää minun kehittämiä työkaluja (he puhuvat hindin murretta). Kaiken tämän pohdinnan jälkeen aloin pohtia erilaisia tapoja luoda puhemalleja, joissa datan määrä on vähäisempi ja/tai loppukäyttäjä voi itse kouluttaa tai päivittää malleja. Olin tietoinen KU Leuvenin yliopistossa (KUL) tehdystä työstä, joka voisi täyttää osan näistä vaatimuksista. KUL:sta peräisin olevan teknologian avulla pystyimme ottamaan ensimmäiset askeleet siinä, mitä Fluent on tänään.

Voitko selittää Fluent.ai:n älykkäitä puheentunnistusratkaisuja?

Fluent.ai:n puheentunnistusratkaisut perustuvat siihen, miten ihmiset hankkivat ja tunnistavat kieltä. Perinteiset puheentunnistusjärjestelmät transkriboivat ensin syötteenä olevan puheen tekstin muotoon ja sitten poistavat merkityksen siitä tekstin muodosta. Tämä ei ole sama, miten ihmiset tunnistavat puhetta. Otetaan esimerkki lapsista, jotka eivät vielä osaa lukea eikä kirjoittaa: vaikka he eivät tiedä mitään kirjallisen kielen esitysmuodosta, he pystyvät kuitenkin puhumaan helposti. Samalla tavalla Fluentin syväneuraaliverkkopohjaiset mallit pystyvät suoraan poistamaan merkityksen puheääniestä ilman, että ne transkriboivat sitä ensin tekstin muotoon. Teknisesti tämä on todellinen puhutun kielen ymmärtäminen. Tässä lähestymistavassa on useita etuja. Perinteinen puheentunnistus on kömpelö lähestymistapa, jossa useat toisistaan erillään koulutetut moduulit yhdistetään antamaan lopullinen vastaus. Tämä johtaa ala-arvoiseen ratkaisuun, joka kärsii tuloksissa aksenteista, melusta, taustaoilosista jne. Fluentin automaattinen aikomustunnistus (AIR) -järjestelmä on päästä ja hännästä optimoitu; se on täysin neuroverkkopohjainen arkkitehtuuri, jossa kaikki moduulit on koulutettu yhdessä antamaan paras mahdollinen ratkaisu. Lisäksi pystymme poistamaan useita laskennallisesti raskaita moduuleja, jotka ovat yleisiä perinteisissä puheentunnistusjärjestelmissä. Tämä mahdollistaa meidän luodaan matalan jalanjäljen puheentunnistusjärjestelmiä, jotka voivat toimia vain 40 kt:n RAM-muistilla matalatehoisella mikrokontrollerilla, joka toimii 50 MHz:n nopeudella. Lopulta meidän puhutun kielen ymmärtäminen perustuva AIR-järjestelmämme pystyy hyödyntämään eri kielten välisiä yhtäläisyyksiä ainutlaatuisella tavalla tarjoamaan poikkeuksellisia ominaisuuksia, kuten kykyä tunnistaa useita kieliä samassa mallissa.

Mitkä ovat joitain suurimpia haasteita puheentunnistuksessa, jotka liittyvät ympäristömelun voittamiseen?

Melu on yksi suurimmista haasteista puheentunnistuksessa. Se, mikä tekee siitä erityisen haasteellisen ongelman, on se, että on monia erilaisia melutyyppejä, ja ne vaikuttavat puheen spektriin eri tavoilla. Joskus melu voi myös vaikuttaa mikrofonin vasteeseen. Monissa tapauksissa ei ole mahdollista erottaa puhelähteitä melulähteistä. Joissakin tapauksissa melu voi maskata puheessa olevan tiedon, kun taas toisissa se voi kokonaan poistaa hyödyllisen tiedon. Molemmat johtavat alhaiseen tarkkuuteen. Vaikka johdonmukaiset melutyypit, kuten tuulettimen melu, voidaan helposti poistaa, jotkut melutyypit, kuten puhe tai musiikki, ovat erittäin vaikeita poistaa, koska ne vaikuttavat puheen spektriin eri tavoilla.

Voitko määritellä, mitä reunan äly on ja miten Fluent.ai käyttää tätä älyä?

Reunan äly on yleisnimi, jota käytetään useista eri tavoista, joilla älysovellukset voidaan siirtää matalatehoisiin laitteisiin. Yhä useammin tätä termiä käytetään tapauksiin, joissa reunan laitteet suorittavat tiettyjä älykkäitä laskelmia itse. Fluentilla keskitymme tuomaan laadukkaan puhutun kielen ymmärtämisen reunalle. Olemme kehittäneet tehokkaita algoritmeja, jotka mahdollistavat matalatehoisten laskentalaitteiden tunnistaa itse syötteenä oleva puhe ilman, että dataa tarvitse lähettää pilvipalvelimelle prosessointia varten. Edut ovat kaksinkertaiset: ensinnäkin, käyttäjän yksityisyyttä ei vaaranneta lähettämällä ja tallentamalla äänidataa pilveen. Toiseksi, tällainen lähestymistapa vähentää viivettä, koska puhedataa ja vastausta ei tarvitse kuljettaa pilvipalvelimen ja laitteen välillä.

Mitkä muut koneoppimisen teknologiat ovat käytössä?

Pääasiallinen fokus on syväoppimiseen perustuvissa lähestymistavoissa puheentunnistuksessa. Käytämme vahvistusoppimisen (RL) menetelmiä, kuten NASIL:ia, löytääksemme uusia, aikaisemmin tuntemattomia älymallien arkkitehtuureja (jollainen on jonkinlainen äly luomassa älyä). Käytämme myös AutoML:ää säätääksemme ennalta määrättyjä älymallejamme saavuttaaksemme luotettavia tuloksia eri sovelluksissa, mikä lisää luotettavuutta ja toistettavuutta. Mallin pakkaus ja muut matemaattiset lähestymistavat auttavat edelleen optimoimaan mallin suorituskykyä.

Miten luulet, mitä tapahtuu seuraavan 5 vuoden aikana sekä luonnollisen kielen ymmärtämisessä että luonnollisen kielen prosessoinnissa?

Luulen, että järjestelmät kehittyvät tarjoamaan luonnollisempia vuorovaikutuksia. Vaikka viime vuosina on tehty edistystä, useimmat nykyiset järjestelmät voivat vain vastata yksinkertaisiin kysymyksiin tai suorittaa ääniohjatun internethaun. Näemme yhä enemmän ratkaisuja, jotka voivat päättää ja vastata kokonaisiin kysymyksiin ihmisten sijaan toimimalla pelkästään ääniohjattuna internethauna.

Toinen mielenkiintoinen asia on yksityisyys. Nykyiset suositut ratkaisut ovat pääasiassa internet-yhteydellisiä laitteita, jotka lähettävät kaiken käyttäjän äänidatan pilvipalvelimelle. Näiden ratkaisujen yksityisyys on kuitenkin muodostumassa ongelmaksi. Alkaamme myös nähdä äänikäyttöliittymien sovelluksia kuluttajaelektroniikan ulkopuolella teollisissa ympäristöissä, ammattimaisessa äänituotannossa, hotelleissa ja konferenssisaleissa. Näille sovelluksille on avainvaatimuksena yksityisyys, joten nykyiset yhteydelliset ratkaisut eivät ole riittäviä – näemme siis yhä enemmän reunan älyä tai laitteiston puolella olevia luonnollisen kielen ratkaisuja.

Kuten mainitsin aiemmin, puhe- ja luonnollisen kielen ratkaisut ovat edelleen suurelle osalle maailman väestöstä esteettömiä. On merkittävästi työtä tehtävissä kehittämään uusia älymallityyppejä, jotka voivat kouluttaa vähäisellä määrällä dataa, mikä johtaa vähäisempiin kehityskustannuksiin ja mahdollistaa mallien kehittämisen vähemmän puhutuille kielille. Samalla linjalla näemme ratkaisuja, jotka voivat oppia tunnistamaan useita kieliä samassa mallissa. Kokonaisuudessaan näemme yhä enemmän monikielisten älymallien käyttöönottoa, jotka voivat vastata käyttäjän kysymyksiin hänen omalla äidinkielellään.

Onko jotain muuta, mitä haluaisit jakaa Fluent.ai:sta?

Puheentunnistusteknologia on edennyt pitkälle viime vuosina ja sillä on edelleen suuri kasvupotentiaali edessään. Fluent.ai:lla etsimme aina uusia sovelluksia olemassa olevaan teknologiaamme ja kehittämme jatkuvasti uutta sisällä. COVID-19-pandemia on luonut suuremman herkkyyden koskettaviin alueisiin, kuten hissinapeihin, ravintoloiden kioskeihin jne., mikä on luonut uutta kysyntää ääniohjattuihin teknologioihin. Fluent.ai toivoo pystyvänsä täyttämään näitä aukkoja, koska meidän ratkaisumme ovat monikielisiä ja siten inklusiivisempia, ja ne toimivat myös offline-tilassa, tarjoten lisäkerroksen yksityisyyttä. Nämä toiminnot, kuten mainittu, ovat todennäköisesti puheentunnistusteknologian tulevaisuutta.

Kiitos haastattelusta, lukijat, jotka haluavat oppia lisää, voivat vierailla Fluent.ai:ssa.

[1] https://www.researchgate.net/profile/Farzaneh_Sheikhnezhad_Fard/publication/341083699_Nasil_Neural_Archit