Vikrant Tomar, CTO e fondatore di Fluent.ai – Serie di interviste

Vikrant Tomar, è il CTO e fondatore di Fluent.ai, un software di comprensione del linguaggio e di interfaccia utente vocale per i produttori di dispositivi e i fornitori di servizi.

Cosa ti ha inizialmente attratto a studiare la modellazione acustica per il riconoscimento del linguaggio?

Davvero, essere in grado di parlare con i dispositivi nello stesso modo in cui parliamo con un’altra persona. Questa visione è stata affascinante per me. Ho iniziato a studiare il riconoscimento del linguaggio durante l’ultimo anno del mio corso di laurea. Questo è anche quando ho iniziato a interessarmi alla ricerca, quindi ho seguito un corso di riconoscimento del linguaggio e un progetto di ricerca correlato. Sono stato in grado di pubblicare un articolo di ricerca alla conferenza InterSpeech, una delle più grandi e rispettate conferenze di riconoscimento del linguaggio, grazie a questo lavoro. Tutto ciò mi ha motivato a scegliere la ricerca nel riconoscimento del linguaggio come obiettivo a lungo termine, quindi il dottorato.

Nel 2015 hai lanciato Fluent.ai, puoi condividere la storia dietro questo startup?

Ho sempre avuto una vocazione imprenditoriale in me. Io, insieme a due altri amici, avevo tentato di fondare una società dopo la laurea, ma per alcuni motivi, quel tentativo non è riuscito. Durante il mio dottorato alla McGill, ho tenuto d’occhio la scena startup di Montreal. In quel periodo, ho anche avuto la possibilità di incontrare persone di TandemLaunch – la fucina di startup dove ho creato Fluent.ai. A quel punto, ero verso la fine del mio dottorato e stavo pensando seriamente di provare di nuovo a fare l’imprenditore. Attraverso la mia esperienza lavorativa, la ricerca e l’associazione con altri gruppi di ricerca sul linguaggio, mi sono reso conto che la maggior parte di queste esperienze si erano concentrate sul fare il riconoscimento del linguaggio in un modo specifico: andando dal linguaggio alla trascrizione del testo e poi all’elaborazione del linguaggio naturale. Tuttavia, questo ha lasciato un vuoto nella facilità d’uso. Una grande parte della popolazione non può beneficiare delle soluzioni di linguaggio sviluppate in questo modo. La quantità di dati necessari per tali metodi è così grande che non avrebbe senso finanziario sviluppare modelli separati per lingue con meno parlanti. Inoltre, molti dialetti e lingue non hanno una forma scritta distinta. Anche la mia famiglia non è stata in grado di utilizzare gli strumenti sviluppati da me (parlano un dialetto dell’hindi). Considerando tutto ciò, ho iniziato a pensare a modi diversi per creare modelli di linguaggio, in cui la quantità di dati necessari fosse inferiore, e/o l’utente finale potesse formare o aggiornare i modelli lui stesso. Ero a conoscenza del lavoro svolto all’Università di KU Leuven (KUL) che poteva soddisfare alcune di queste esigenze. Con parte della tecnologia proveniente da KUL, siamo stati in grado di fare i primi passi verso ciò che Fluent è oggi.

Puoi spiegare meglio le soluzioni di comprensione del linguaggio intuitive di Fluent.ai?

Le soluzioni di riconoscimento del linguaggio di Fluent.ai sono ispirate a come gli esseri umani acquisiscono e riconoscono le lingue. I sistemi di riconoscimento del linguaggio convenzionali trascrivono prima l’input del linguaggio in testo, e poi estraggono il significato da quel testo. Non è così che gli esseri umani riconoscono il linguaggio. Prendi l’esempio di bambini prima che imparino a leggere e scrivere: nonostante non conoscano nulla sulla rappresentazione scritta delle lingue, sono in grado di avere una conversazione parlata con facilità. In modo simile, i modelli di reti neurali profonde di Fluent sono in grado di estrarre direttamente il significato dai suoni del linguaggio senza doverli prima trascrivere in testo. Tecnicamente, si tratta di vera Comprensione del Linguaggio Parlato. Ci sono molti vantaggi in questo approccio. Il riconoscimento del linguaggio tradizionale è un approccio laborioso, in cui diversi moduli addestrati separatamente sono intrecciati per fornire una risposta finale. Ciò risulta in una soluzione non ottimale che soffre di variazioni nei risultati per accenti, rumore, condizioni di sfondo, ecc. Il sistema di riconoscimento automatico delle intenzioni (AIR) di Fluent è ottimizzato end-to-end; è interamente un’architettura basata su reti neurali, in cui tutti i moduli sono addestrati congiuntamente per fornire la soluzione più ottimale. Inoltre, siamo in grado di rimuovere una serie di moduli computazionalmente pesanti comunemente presenti nel sistema di riconoscimento del linguaggio convenzionale. Ciò ci consente di creare sistemi di riconoscimento del linguaggio a basso impatto che possono funzionare con solo 40 KB di RAM su un microcontrollore a bassa potenza che funziona a 50 MHz. Infine, i nostri sistemi di comprensione del linguaggio parlato basati su AIR possono sfruttare le somiglianze tra diverse lingue in un modo unico per fornire funzionalità senza precedenti come la capacità di riconoscere più lingue nello stesso modello.

Quali sono alcune delle sfide dell’IA nel superare il problema del rumore ambientale?

Il rumore è una delle più grandi sfide per il riconoscimento del linguaggio. Ciò che lo rende un problema veramente impegnativo è che ci sono molti tipi diversi di rumore e influenzano lo spettro del linguaggio in modi diversi. A volte il rumore può anche avere un impatto sulla risposta del microfono. In molti casi, non è possibile separare le fonti del linguaggio dalle fonti del rumore. In alcuni casi, il rumore risulta nel mascherare le informazioni disponibili nello spettro del linguaggio, mentre in altri, può completamente rimuovere le informazioni utili. Entrambi i risultati portano a una bassa accuratezza. Mentre è facile rimuovere tipi di rumore costanti, come il rumore dei ventilatori, alcuni tipi di rumore, come il chiacchiericcio o le persone che parlano in sottofondo o la musica, sono molto difficili da rimuovere perché influenzano lo spettro del linguaggio in modi diversi.

Puoi definire cosa sia l’Edge AI e come Fluent.ai stia utilizzando questo tipo di IA?

Edge AI è un termine ombrello utilizzato per coprire una serie di modi diversi in cui le applicazioni dell’IA potrebbero essere spostate su dispositivi a bassa potenza. Sempre più questo termine è utilizzato per i casi in cui i dispositivi edge eseguono alcune calcoli intelligenti essi stessi. In Fluent, ci concentriamo sull’portare una comprensione del linguaggio parlato di alta qualità ai bordi. Abbiamo sviluppato algoritmi efficienti che consentono ai dispositivi di calcolo a bassa potenza di riconoscere l’input del linguaggio essi stessi senza dover inviare i dati a un server cloud per l’elaborazione. I vantaggi sono doppi: in primo luogo, la privacy dell’utente non è compromessa dallo streaming e dall’archiviazione dei dati vocali nel cloud. In secondo luogo, questo approccio riduce la latenza perché i dati del linguaggio e la risposta non devono viaggiare tra il server cloud e il dispositivo.

Quali altri tipi di tecnologie di apprendimento automatico stanno utilizzando?

Il nostro focus principale è su approcci basati sul deep learning per il riconoscimento del linguaggio. Stiamo utilizzando metodi di apprendimento per rinforzo (RL), ad esempio NASIL[1], per scoprire nuove architetture di modelli di IA precedentemente sconosciute (in un certo senso, l’IA che crea l’IA). E stiamo utilizzando AutoML per regolare i nostri modelli di IA predefiniti per ottenere risultati affidabili per diverse applicazioni, aumentando così l’affidabilità e la riproducibilità. La compressione del modello e altri approcci matematici aiutano ulteriormente a ottimizzare le prestazioni del modello.

Cosa pensi che accadrà nei prossimi 5 anni per la comprensione del linguaggio naturale e l’elaborazione del linguaggio naturale?

Credo che i sistemi evolveranno per fornire interazioni più naturali. Nonostante i progressi degli ultimi anni, la maggior parte dei sistemi attuali può solo rispondere a query semplici o eseguire una ricerca su internet tramite voce. Vedremo sempre più soluzioni che possono ragionare e rispondere a una query completa per una persona, invece di funzionare solo come un motore di ricerca basato su voce.

L’altro aspetto interessante è la privacy. Le soluzioni attuali più popolari sono principalmente dispositivi connessi a internet che inviano tutti i dati vocali dell’utente a un server cloud. Tuttavia, la privacy di tali soluzioni sta diventando un problema. Stiamo anche iniziando a vedere le applicazioni dell’interfaccia utente vocale al di là dei dispositivi elettronici per consumatori, in ambienti industriali, nello spazio audio professionale, nonché nelle sale da conferenza e negli alberghi. Un requisito chiave per queste applicazioni è la privacy, quindi le soluzioni attuali non sono sufficienti – quindi vedremo molte più soluzioni di IA edge o on-device per la comprensione del linguaggio naturale.

Come ho menzionato in precedenza, le soluzioni di linguaggio e di comprensione del linguaggio naturale rimangono inaccessibili a una grande parte della popolazione mondiale. Ci sono molti lavori in corso per creare nuovi tipi di modelli di IA che possano essere addestrati con una piccola quantità di dati, riducendo i costi di sviluppo e consentendo lo sviluppo di modelli in lingue con meno parlanti. Sulla stessa linea, vedremo soluzioni che possono imparare a riconoscere più lingue nello stesso modello. Nel complesso, vedremo un aumento nell’implementazione di modelli di IA multilingue che possono rispondere a una query dell’utente nella sua lingua madre.

C’è qualcos’altro che vorresti condividere su Fluent.ai?

La tecnologia del linguaggio è arrivata molto lontano negli ultimi anni e ha un grande potenziale di crescita sulla strada che si apre davanti. In Fluent.ai, stiamo sempre cercando nuovi casi d’uso per la nostra tecnologia esistente, mentre continuiamo a innovare internamente. La pandemia di COVID-19 ha creato una maggiore sensibilità per le aree ad alto contatto, come i pulsanti degli ascensori, i chioschi dei ristoranti e altro, il che ha scatenato una nuova domanda per la tecnologia abilitata alla voce. Fluent.ai spera di aiutare a colmare queste lacune, poiché le nostre soluzioni sono multilingue e quindi più inclusive, e funzionano offline, offrendo un ulteriore livello di privacy. Queste funzionalità, come menzionato, sono probabilmente destinate a essere il futuro della tecnologia del linguaggio.

Grazie per la grande intervista, i lettori che desiderano saperne di più possono visitare il sito di Fluent.ai.

[1] https://www.researchgate.net/profile/Farzaneh_Sheikhnezhad_Fard/publication/341083699_Nasil_Neural_Archit