Vikrant Tomar, CTO og grundlægger af Fluent.ai – Interviewserie

Vikrant Tomar er CTO og grundlægger af Fluent.ai, et sprogforståelses- og talebrugergrænsefladesoftware til enheds-OEM’er og tjenesteudbydere.

Hvad var det, der oprindeligt tiltrak dig at studere akustisk modellering til talegenkendelse?

Det var virkelig evnen til at tale til enhederne på samme måde, som vi taler til andre mennesker. Denne vision har været fascinerende for mig. Jeg begyndte at studere talegenkendelse under mit sidste år på min bacheloruddannelse. Det var også her, jeg begyndte at blive interesseret i forskning, så jeg tog et kursus i talegenkendelse og et relateret forskningsprojekt. Jeg var i stand til at offentliggøre en forskningsartikel på InterSpeech-konferencen, en af de største og mest anerkendte talegenkendelseskonferencer, fra dette arbejde. Alt dette motiverede mig til at vælge forskning i talegenkendelse som fokus for længere tid, og derfor valgte jeg at læse ph.d.

I 2015 lancerede du Fluent.ai, kan du dele historien bag dette startup?

Jeg har haft en iværksætterdrøm i mig i lang tid. Jeg og to andre venner havde forsøgt at starte et firma efter vores bacheloruddannelse, men det lykkedes ikke af flere årsager. Under min ph.d. på McGill holdt jeg øje med Montreals startup-scene. På det tidspunkt kom jeg også i kontakt med folk fra TandemLaunch – startup-foundry, hvor jeg skabte Fluent.ai. Da var jeg ved at være færdig med min ph.d., og jeg overvejede seriøst at starte mit eget firma igen. Gennem mit arbejde, forskning og samarbejde med andre taleforskningsgrupper indså jeg, at de fleste af disse oplevelser havde været fokuseret på at gøre talegenkendelse på en bestemt måde: fra tale til teksttranskription og derefter naturlig sprogbehandling. Men dette efterlod et hul i brugervenligheden. En stor del af befolkningen kan ikke drage fordel af taleløsninger, der er udviklet på denne måde. Mængden af data, der kræves til disse metoder, er så stor, at det ikke ville have økonomisk mening at udvikle separate modeller for sprog med færre talere. Desuden har mange dialekter og sprog ikke nogen tydelig skrevet form. Min egen familie kunne ikke engang bruge værktøjer, som jeg havde udviklet (de taler en dialekt af hindi). Med disse overvejelser begyndte jeg at tænke på alternative måder at skabe talemodeller på, hvor mængden af data, der kræves, er mindre, og/eller slutbrugeren selv kan træne eller opdatere modellerne. Jeg var bekendt med arbejdet, der var blevet udført på KU Leuven University (KUL), som kunne opfylde nogle af disse krav. Med en del af teknologien fra KUL var vi i stand til at tage de første skridt mod det, Fluent.ai er i dag.

Kan du uddybe Fluent.ai’s intuitive taleforståelsesløsninger?

Fluent.ai’s talegenkendelsesløsninger er inspireret af, hvordan mennesker tilegner sig og genkender sprog. Konventionelle talegenkendelsessystemer transkriberer først indtastningstalen til tekst og derefter udtrækker mening fra denne tekst. Det er ikke sådan, mennesker genkender tale. Tag et eksempel på børn, før de lærer at læse og skrive: på trods af at de ikke ved noget om den skrevne repræsentation af sprog, kan de have en talekonversation med lethed. På samme måde er Fluent’s dybe neurale netværksbaserede modeller i stand til direkte at udtrække mening fra talelyde uden først at transkriberer dem til tekst. Teknisk set er dette sand taleforståelse. Der er flere fordele ved denne tilgang. Traditionel talegenkendelse er en tungvægende tilgang, hvor flere moduler, der er trænet adskilt, er sammenflettet for at give en endelig respons. Dette resulterer i en ikke-optimal løsning, der lider under variationer i resultater for accenter, støj, baggrundsforhold osv. Fluent’s automatisk intentionsgenkendelse (AIR) er end-to-end optimeret; det er helt et neuralt netværksbaseret arkitektur, hvor alle modulerne er trænet sammen for at give den mest optimale løsning. Desuden kan vi fjerne en række beregningsmæssigt tunge moduler, der normalt er til stede i konventionelle talegenkendelsessystemer. Dette giver os mulighed for at skabe lav-fodaftryks talegenkendelsessystemer, der kan køre i så lidt som 40 KB RAM på en lav-strøm mikrocontroller, der kører med 50 MHz. Endelig kan vores taleforståelsesbaserede AIR-systemer udnytte ligheder mellem forskellige sprog på en unik måde for at give enestående funktioner som evnen til at genkende multiple sprog i samme model.

Hvad er nogle af de største AI-udfordringer ved at overvinde støjproblemet?

Støj er en af de største udfordringer for talegenkendelse. Det, der gør det til et meget større problem, er, at der er mange forskellige typer støj, og de påvirker tale-spektret på forskellige måder. Nogle gange kan støj også have en indvirkning på mikrofonresponsen. I mange tilfælde er det ikke muligt at adskille talekilder fra støjkilder. I nogle tilfælde kan støj føre til, at informationen i tale-spektret maskeres, mens det i andre tilfælde kan fjerne den nyttige information helt. Begge dele resulterer i lav nøjagtighed. Mens det er let at fjerne konsistente støjtyper, såsom ventilatorstøj, er nogle støjtyper, såsom babble eller mennesker, der taler i baggrunden eller musik, meget svære at fjerne, fordi de påvirker tale-spektret på en måde, der er svær at forudsige.

Kan du definere, hvad Edge AI er, og hvordan Fluent.ai bruger denne type AI?

Edge AI er en samlebetegnelse for en række forskellige måder, hvorpå AI-applikationer kan flyttes til lav-strøm enheder. Mere og mere bruges denne betegnelse til de tilfælde, hvor edge-enhederne selv udfører visse intelligente beregninger. Hos Fluent fokuserer vi på at bringe højkvalitets taleforståelse til edge. Vi har udviklet effektive algoritmer, der giver lav-strøm beregningsenheder mulighed for at genkende indtastningstalen selv uden at skulle sende data til en cloud-baseret server til behandling. Fordelene er tofold: først og fremmest bliver brugerens privatliv ikke kompromitteret ved at streame og gemme deres taledata i skyen. For det andet reducerer denne tilgang forsinkelsen, fordi taledata og respons ikke behøver at rejse mellem cloud-serveren og enheden.

Hvad andre typer maskinlærings-teknologier bruges?

Vores primære fokus er på dyb-læringsbaserede tilgange til talegenkendelse. Vi bruger RL (reinforcement learning)-metoder, f.eks. NASIL[1], til at opdage nye, tidligere ukendte AI-modelarkitekturer (sådan at sige AI, der skaber AI). Og vi bruger AutoML til at justere vores forudbestemte AI-modeller for at opnå pålidelige resultater for forskellige anvendelser, og dermed øge pålideligheden og reproducerbarheden. Modelkomprimering og andre matematiske tilgange hjælper yderligere med at optimere modelpræstationen.

Hvad ser du sker i de næste 5 år for både naturlig sprogforståelse og naturlig sprogbehandling?

Jeg tror, at systemerne vil udvikle sig til at give mere naturlige interaktioner. Trods fremskridtene i de seneste år kan de fleste nuværende systemer kun besvare simple spørgsmål eller udføre en stemmeaktiveret internetsøgning. Vi vil se flere og flere løsninger, der kan resonere og besvare et fuldt spørgsmål for en person i stedet for kun at fungere som en glorificeret stemmebaseret søgemaskine.

Det andet interessante aspekt er privatliv. De nuværende populære løsninger er primært internetforbundne enheder, der streamer alle brugerens taledata til en cloud-server. Men privatlivets sikkerhed er blevet et problem. Vi ser også mere og mere anvendelser af talebrugergrænseflader i industrielle sammenhænge, i professionel lyd, samt i hospitality og konferencerum. En nøglekrav til disse anvendelser er privatliv, og derfor er nuværende forbundne løsninger ikke tilstrækkelige – så vi vil se mere og mere Edge AI eller på-enhed naturlig sprogforståelsesløsninger.

Som jeg nævnte tidligere, forbliver tale- og naturlig sprogforståelsesløsninger utilgængelige for en stor del af verdens befolkning. Der er betydeligt arbejde i gang med at skabe nye typer AI-modeller, der kan trænes med små mængder data, hvilket resulterer i reducerede udviklingsomkostninger og dermed muliggør udvikling af modeller i sprog med færre talere. På samme måde vil vi se løsninger, der kan lære at genkende multiple sprog i samme model. I det hele taget vil vi se mere og mere udrulning af multilinguale AI-modeller, der kan besvare en brugers spørgsmål på deres modersmål.

Er der noget andet, du gerne vil dele om Fluent.ai?

Taleteknologi er kommet langt i de seneste år og har en stor vækstpotentiale på vejen fremad. Hos Fluent.ai søger vi altid efter nye anvendelser af vores eksisterende teknologi, mens vi samtidig innovatorisk udvikler internt. COVID-19-pandemien har skabt en øget følsomhed over for høj-berøringsområder, såsom elevator-knapper, kiosker i restauranter og mere, hvilket har skabt en ny efterspørgsel efter stemmeaktiveret teknologi. Fluent.ai håber at hjælpe med at fylde disse huller, da vores løsninger er multilinguale og derfor mere inklusiv, og de fungerer offline, hvilket giver en ekstra lag af privatliv. Disse funktioner, som nævnt, er sandsynligvis fremtiden for taleteknologi.

Tak for det store interview, læsere, der ønsker at lære mere, skal besøge r of Fluent.ai.

[1] https://www.researchgate.net/profile/Farzaneh_Sheikhnezhad_Fard/publication/341083699_Nasil_Neural_Archit