Vikrant Tomar, CTO e Fundador da Fluent.ai – Série de Entrevistas

Vikrant Tomar é o CTO e Fundador da Fluent.ai, um software de compreensão de fala e interface de usuário de voz para fabricantes de dispositivos e provedores de serviços.

O que o atraiu inicialmente a estudar modelagem acústica para reconhecimento de fala?

Realmente, ser capaz de falar com os dispositivos da mesma maneira que falamos com outro ser humano. Essa visão tem sido fascinante para mim. Eu comecei a estudar reconhecimento de fala durante o último ano do meu curso de graduação. Foi também quando eu comecei a me interessar por pesquisa, então eu fiz um curso de reconhecimento de fala e um projeto de pesquisa relacionado. Eu fui capaz de publicar um artigo de pesquisa na conferência InterSpeech, uma das maiores e mais respeitadas conferências de reconhecimento de fala, a partir desse trabalho. Tudo isso me motivou a escolher a pesquisa em reconhecimento de fala como foco a longo prazo, daí o PhD.

Em 2015, você lançou a Fluent.ai, pode compartilhar a história por trás desse startup?

Eu sempre tive um desejo empreendedor em mim. Eu, junto com dois outros amigos, tentei criar uma empresa após a nossa graduação, mas por alguns motivos, esse esforço não teve sucesso. Durante o meu PhD em McGill, eu mantive um olho no cenário de startups de Montreal. Durante esse tempo, eu também tive a oportunidade de me conectar com pessoas da TandemLaunch – a fábrica de startups onde criei a Fluent.ai. Nessa época, eu estava próximo do final do meu PhD e eu estava pensando seriamente em tentar novamente a empreendedoria. Através da minha experiência de trabalho, pesquisa e associação com outros grupos de pesquisa de fala, eu percebi que a maioria dessas experiências havia se concentrado em fazer reconhecimento de fala de uma maneira específica: ir da fala para a transcrição de texto e, em seguida, processamento de linguagem natural. No entanto, isso deixou uma lacuna na usabilidade. Uma grande parte da população não pode se beneficiar das soluções de fala desenvolvidas dessa maneira. A quantidade de dados necessários para esses métodos é tão grande que não faria sentido financeiro desenvolver modelos separados para línguas com menos falantes. Além disso, muitos dialetos e línguas não têm uma forma escrita distinta. Até mesmo a minha própria família não pôde usar as ferramentas desenvolvidas por mim (eles falam um dialeto de hindi). Considerando tudo isso, eu comecei a pensar em maneiras diferentes de criar modelos de fala, onde a quantidade de dados necessários fosse menor, e/ou o usuário final pudesse treinar ou atualizar os modelos ele mesmo. Eu estava ciente do trabalho realizado na Universidade KU Leuven (KUL) que poderia atender a algumas dessas necessidades. Com parte da tecnologia vinda da KUL, fomos capazes de dar os primeiros passos em direção ao que a Fluent é hoje.

Pode elaborar sobre as soluções de compreensão de fala intuitivas da Fluent.ai?

As soluções de reconhecimento de fala da Fluent.ai são inspiradas em como os humanos adquirem e reconhecem línguas. Os sistemas convencionais de reconhecimento de fala transcrevem primeiro a fala de entrada em texto e, em seguida, extraem o significado desse texto. Isso não é como os humanos reconhecem a fala. Pegue o exemplo de crianças antes de aprenderem a ler e escrever: apesar de não saberem nada sobre a representação escrita das línguas, elas são capazes de ter uma conversa falada com facilidade. De maneira semelhante, os modelos baseados em redes neurais profundas da Fluent são capazes de extrair diretamente o significado dos sons da fala sem precisar transcrevê-los em texto primeiro. Tecnicamente, isso é o verdadeiro Entendimento de Língua Falada. Há várias vantagens nessa abordagem. O reconhecimento de fala tradicional é uma abordagem complicada, onde vários módulos que são treinados separadamente são combinados para fornecer uma resposta final. Isso resulta em uma solução não ótima que sofre com variações nos resultados para sotaques, ruídos, condições de fundo, etc. O sistema de reconhecimento de intenção automática (AIR) da Fluent é otimizado de ponta a ponta; é uma arquitetura entirely baseada em redes neurais, onde todos os módulos são treinados conjuntamente para fornecer a solução mais ótima. Além disso, somos capazes de remover vários módulos computacionalmente pesados comuns nos sistemas convencionais de reconhecimento de fala. Isso nos permite criar sistemas de reconhecimento de fala de baixo impacto que podem ser executados em apenas 40KB de RAM em um microcontrolador de baixa potência executando a 50 MHz. Finalmente, nossos sistemas de compreensão de língua falada baseados em AIR podem explorar as semelhanças entre diferentes línguas de uma maneira única para fornecer recursos sem precedentes, como a capacidade de reconhecer várias línguas no mesmo modelo.

Quais são alguns dos desafios de IA para superar o problema do ruído ambiente?

O ruído é um dos maiores desafios para o reconhecimento de fala. O que o torna um problema realmente desafiador é que existem muitos tipos diferentes de ruído e eles afetam o espectro da fala de maneiras diferentes. Às vezes, o ruído também pode ter um impacto na resposta do microfone. Em muitos casos, não é possível separar as fontes de fala do ruído. Em alguns casos, o ruído resulta em mascarar as informações disponíveis no espectro da fala, enquanto em outros, pode remover completamente as informações úteis. Ambos resultam em baixa precisão. Embora seja fácil remover tipos de ruído consistentes, como o ruído de ventilador, alguns tipos de ruído, como murmúrio ou pessoas falando ao fundo ou música, são muito difíceis de remover porque afetam o espectro da fala de maneiras diferentes.

Pode definir o que é Edge AI e como a Fluent.ai está usando esse tipo de IA?

Edge AI é um termo genérico usado para cobrir várias maneiras pelas quais as aplicações de IA podem ser movidas para dispositivos de baixa potência. Cada vez mais, esse termo é usado para os casos em que os dispositivos de borda realizam cálculos inteligentes por conta própria. Na Fluent, estamos focados em trazer compreensão de fala de alta qualidade para a borda. Desenvolvemos algoritmos eficientes que permitem que dispositivos de computação de baixa potência reconheçam a fala de entrada por conta própria, sem precisar enviar os dados para um servidor baseado em nuvem para processamento. As vantagens são duplas: primeiro, a privacidade do usuário não é comprometida pelo streaming e armazenamento de dados de voz na nuvem. Em segundo lugar, essa abordagem reduz a latência, pois os dados de fala e a resposta não precisam viajar entre o servidor de nuvem e o dispositivo.

Quais outros tipos de tecnologias de aprendizado de máquina estão sendo usados?

Nossa principal ênfase está em abordagens baseadas em aprendizado profundo para reconhecimento de fala. Estamos usando métodos de RL (aprendizado por reforço), como NASIL[1], para descobrir novas arquiteturas de modelo de IA desconhecidas anteriormente (em algum sentido, IA criando IA). E estamos usando AutoML para ajustar nossos modelos de IA predeterminados para alcançar resultados confiáveis para diferentes aplicações, aumentando assim a confiabilidade e a reprodutibilidade. A compressão de modelo e outras abordagens matemáticas ajudam ainda mais a otimizar o desempenho do modelo.

O que você vê acontecendo nos próximos 5 anos para a compreensão de linguagem natural e o processamento de linguagem natural?

Acho que os sistemas evoluirão para fornecer interações mais naturais. Apesar do progresso nos últimos anos, a maioria dos sistemas atuais pode apenas responder a consultas simples ou realizar uma pesquisa de voz ativada na internet. Veremos mais e mais soluções que podem raciocinar e responder a uma consulta completa para uma pessoa, em vez de apenas funcionar como um mecanismo de busca de voz glorificado.

O outro aspecto interessante é a privacidade. As soluções atuais populares são principalmente dispositivos conectados à internet que transmitem todos os dados de voz do usuário para um servidor de nuvem. No entanto, a privacidade dessas soluções está se tornando um problema. Também estamos começando a ver as aplicações de interface de usuário de voz além de dispositivos de consumo em ambientes industriais, no espaço de áudio profissional, bem como em hotéis e salas de conferência. Um requisito-chave para essas aplicações é a privacidade, portanto, as soluções atuais conectadas não são suficientes – então veremos muito mais IA de borda ou soluções de linguagem natural no dispositivo.

Como mencionei anteriormente, as soluções de fala e linguagem naturais permanecem inacessíveis a uma grande parte da população mundial. Há um trabalho significativo em andamento para criar novos tipos de modelos de IA que possam ser treinados com uma pequena quantidade de dados, resultando em custos de desenvolvimento reduzidos e, por sua vez, permitindo o desenvolvimento de modelos em línguas com menos falantes. Na mesma linha, veremos soluções que podem aprender a reconhecer várias línguas no mesmo modelo. No geral, veremos mais e mais implantações de modelos de IA multilíngues que podem responder à consulta de um usuário em seu idioma nativo.

Há algo mais que você gostaria de compartilhar sobre a Fluent.ai?

A tecnologia de fala avançou muito nos últimos anos e tem um grande potencial de crescimento pela frente. Na Fluent.ai, estamos sempre procurando novos casos de uso para nossa tecnologia existente, enquanto continuamos a inovar internamente. A pandemia de COVID-19 criou uma sensibilidade aumentada às áreas de alto toque, como botões de elevador, quiosques em restaurantes e mais, o que despertou uma nova demanda por tecnologia habilitada por voz. A Fluent.ai espera ajudar a preencher essas lacunas, pois nossas soluções são multilíngues e, portanto, mais inclusivas, e operam offline, oferecendo uma camada adicional de privacidade. Essas funções, como mencionado, provavelmente serão o futuro da tecnologia de fala.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar o site da Fluent.ai.

[1] https://www.researchgate.net/profile/Farzaneh_Sheikhnezhad_Fard/publication/341083699_Nasil_Neural_Archit