Vikrant Tomar, CTO og grunnlegger av Fluent.ai – Intervju-serie

Vikrant Tomar er CTO og grunnlegger av Fluent.ai, et programvare-selskap som spesialiserer seg på taleforståelse og tale-grensesnitt for enhets-OEM-er og tjenesteleverandører.

Hva var det som opprinnelig tiltalte deg til å studere akustisk modellering for talegjenkjenning?

Det var faktisk evnen til å kunne snakke med enheter på samme måte som vi snakker med andre mennesker. Denne visjonen har vært fascinerende for meg. Jeg startet å studere talegjenkjenning under siste året av min bachelorgrad. Dette var også da jeg begynte å bli interessert i forskning, så jeg tok en kurs i talegjenkjenning og et relatert forskningsprosjekt. Jeg var i stand til å publisere en forskningsartikkel på InterSpeech-konferansen, en av de største og mest anerkjente talegjenkjenning-konferansene, fra dette arbeidet. Alt dette motiverte meg til å velge forskning i talegjenkjenning som et fokus for lang tid, og derfor tok jeg en ph.d.

I 2015 lanserte du Fluent.ai, kan du dele historien bak denne startup-en?

Jeg har hatt en entreprenørdrøm i meg lenge. Jeg, sammen med to andre venner, hadde forsøkt å starte et selskap etter vår bachelorgrad, men på grunn av noen årsaker lyktes ikke dette forsøket. Under min ph.d. ved McGill, holdt jeg et øye på Montreals startup-scene. På denne tiden kom jeg også i kontakt med folk fra TandemLaunch – startup-fabrikken hvor jeg skapte Fluent.ai. Da var jeg mot slutten av min ph.d., og jeg vurderte å prøve meg som entreprenør igjen. Gjennom min arbeidserfaring, forskning og samarbeid med andre taleforskningsgrupper, innsett jeg at de fleste av disse erfaringene hadde vært fokusert på å gjøre talegjenkjenning på en bestemt måte: å gå fra tale til tekst-transkript og deretter naturlig språkbehandling. Men dette etterlot et gap i brukervennligheten. En stor del av befolkningen kan ikke dra nytte av taleløsninger utviklet på denne måten. Mengden data som kreves for slike metoder er så stor at det ikke ville være økonomisk forsvarlig å utvikle separate modeller for språk med færre talere. Dessuten har mange dialekter og språk ingen distinkt skriftlig form. Selv min egen familie kunne ikke bruke verktøyene jeg hadde utviklet (de snakker en dialekt av hindi). Med tanke på alt dette, begynte jeg å tenke på alternative måter å skape talemodeller, hvor mengden data som kreves var mindre, og/eller slutbrukeren selv kunne trene eller oppdatere modellene. Jeg var klar over arbeidet som var gjort ved KU Leuven University (KUL) som kunne møte noen av disse kravene. Med en del av teknologien fra KUL, var vi i stand til å ta de første skrittene mot det Fluent.ai er i dag.

Kan du forklare Fluent.ai sine intuitive taleforståelsesløsninger?

Fluent.ai sine talegjenkjenningløsninger er inspirert av hvordan mennesker tilegner seg og gjenkjenner språk. Konvensjonelle talegjenkjenningssystemer transkriberer først innputt-talen til tekst, og deretter trekker mening ut av den teksten. Dette er ikke hvordan mennesker gjenkjenner tale. La oss ta et eksempel på barn før de lærer å lese og skrive: til tross for at de ikke vet noe om den skriftlige representasjonen av språk, er de i stand til å ha en muntlig samtale med lettighet. På en lignende måte er Fluent sine dype neurale nettverksbaserte modeller i stand til å trekke mening direkte ut av talelyder uten å måtte først transkribere det til tekst. Teknisk sett er dette sant taleforståelse. Det er flere fordeler med denne tilnærmingen. Tradisjonell talegjenkjenning er en tungvint approach, hvor flere moduler som er trenet uavhengig er sammenføyet for å gi en sluttsvar. Dette resulterer i en underoptimal løsning som lider under variasjoner i resultater for aksenter, støy, bakgrunnsbetingelser osv. Fluent sine automatisk intensjons-gjenkjenning (AIR) system er end-to-end optimalisert; det er fullstendig et neuralt nettverksbasert arkitektur, hvor alle modulene er trenet sammen for å gi den mest optimale løsningen. I tillegg er vi i stand til å fjerne en rekke beregningskrevende moduler som vanligvis er til stede i konvensjonelle talegjenkjenningssystemer. Dette gjør at vi kan skape lav-avtrykks talegjenkjenningssystemer som kan kjøre i så lite som 40KB RAM på en lavkraft-prosessor som kjører på 50 MHz. Til slutt er våre taleforståelsesbaserte AIR-systemer i stand til å utnytte likheter mellom ulike språk på en unik måte for å gi ubesvarte funksjoner som evnen til å gjenkjenne flere språk i samme modell.

Hva er noen av de største AI-utfordringene bak å overvinne støyproblemet?

Støy er en av de største utfordringene for talegjenkjenning. Det som gjør det til et svært utfordrende problem er at det finnes mange ulike typer støy, og de påvirker tale-spekteret på ulike måter. Noen ganger kan støy også ha en innvirkning på mikrofonresponsen. I mange tilfeller er det ikke mulig å skille talekilder fra støykilder. I noen tilfeller kan støy føre til å maskere informasjonen som er tilgjengelig i tale-spekteret, mens i andre kan det fullstendig fjerne den nyttige informasjonen. Begge resulterer i lav nøyaktighet. Mens det er lett å fjerne konsistente støytyper, som for eksempel vifte-støy, er noen støytyper, som for eksempel babbel eller mennesker som snakker i bakgrunnen eller musikk, svært vanskelige å fjerne fordi de påvirker tale-spekteret på ulike måter.

Kan du definere hva Edge AI er og hvordan Fluent.ai bruker denne type AI?

Edge AI er en paraplybetegnelse som brukes til å dekke en rekke ulike måter å flytte AI-applikasjoner til lavkraft-enheter. Mer og mer brukes denne betegnelsen for tilfeller hvor edge-enhetene utfører visse intelligente beregninger selv. Hos Fluent.ai fokuserer vi på å bringe høykvalitets taleforståelse til edge-enhetene. Vi har utviklet effektive algoritmer som gjør det mulig for lavkraft-komputere å gjenkjenne innputt-talen selv uten å måtte sende dataene til en sky-basert server for prosessering. Fordelene er tofold: først og fremst blir brukerens personvern ikke kompromittert ved å strømme og lagre stemme-data til skyen. For det andre reduserer denne tilnærmingen forsinkelsen, fordi tale-dataene og svaret ikke trenger å reise mellom sky-serveren og enheten.

Hva andre typer maskinlærings-teknologier brukes?

Vår primære fokus er på dypt-lærings-baserte tilnærminger for talegjenkjenning. Vi bruker RL (forsterkingslæring) metoder, for eksempel NASIL[1], for å oppdage nye, tidligere ukjente AI-modell-arkitekturer (så AI som skaper AI i noen sammenheng). Og vi bruker AutoML for å finjustere våre forhåndsbestemte AI-modeller for å oppnå pålitelige resultater for ulike applikasjoner, og dermed øke påliteligheten og reproducerbarheten. Modell-komprimering og andre matematiske tilnærminger hjelper også med å optimere modell-prestasjonen.

Hva ser du skje i de neste 5 årene for både naturlig språkforståelse og naturlig språkbehandling?

Jeg tror systemene vil utvikle seg til å gi mer naturlige interaksjoner. Til tross for fremgangen i de siste årene, kan de fleste nåværende systemer bare svare på enkle spørsmål eller utføre en stemme-aktivert internett-søk. Vi vil se mer og mer løsninger som kan resonere og svare på et fullstendig spørsmål for en person, i stedet for bare å fungere som en forhåndsaktiveret søke-motor.

En annen interessant aspekt er personvern. Nåværende populære løsninger er primært internett-tilkoblede enheter som strømmer all brukerens stemme-data til en sky-basert server. Men personvernet til slike løsninger blir et problem. Vi ser også på bruken av tale-brukergrensesnitt utenfor forbruker-elektronikk i industrielle sammenhenger, i profesjonell lyd-rom, samt i gjestfrihet og konferanserom. En nøkkel-krav for disse applikasjonene er personvern, derfor er nåværende tilkoblede løsninger ikke tilstrekkelige – så vi vil se mer og mer Edge AI eller på-enhet naturlig språk-løsninger.

Som jeg nevnte tidligere, forblir tale- og naturlig språk-løsninger utilgjengelige for en stor del av verdens befolkning. Det er betydelig arbeid i gang for å skape nye typer AI-modeller som kan trene med en liten mengde data, noe som resulterer i reduserte utviklingskostnader, og dermed muliggjør utvikling av modeller i språk med færre talere. På samme måte vil vi se løsninger som kan lære å gjenkjenne flere språk i samme modell. Overordnet sett vil vi se mer og mer utrulling av flerspråklige AI-modeller som kan svare på brukerens spørsmål på deres morsmål.

Er det noe annet du ønsker å dele om Fluent.ai?

Tale-teknologi har kommet langt i de siste årene, og har en stor vekst-potensiale på veien fremover. Hos Fluent.ai søker vi alltid etter nye bruksområder for vår eksisterende teknologi, samtidig som vi kontinuerlig innoverer internt. COVID-19-pandemien har skapt en økt sensitivitet overfor høy-berørings-områder, som for eksempel heis-knapper, kiosker i restauranter og mer, noe som har ført til en ny etterspørsel etter tale-aktiverad teknologi. Fluent.ai håper å kunne fylle disse gapene, da våre løsninger er flerspråklige og dermed mer inkluderende, og opererer offline, noe som tilbyr en ekstra lag med personvern. Disse funksjonene, som nevnt, er sannsynligvis fremtiden for tale-teknologi.

Takk for det flotte intervjuet, lesere som ønsker å lære mer kan besøke r av Fluent.ai.

[1] https://www.researchgate.net/profile/Farzaneh_Sheikhnezhad_Fard/publication/341083699_Nasil_Neural_Archit