Vikrant Tomar, CTO y Fundador de Fluent.ai – Serie de Entrevistas

Vikrant Tomar, es el CTO y Fundador de Fluent.ai, un software de comprensión de habla y interfaz de usuario de voz para fabricantes de dispositivos y proveedores de servicios.

¿Qué te atrajo inicialmente a estudiar modelado acústico para reconocimiento de habla?

Realmente, ser capaz de hablar con los dispositivos de la misma manera que hablamos con otro ser humano. Esta visión ha sido fascinante para mí. Comencé a estudiar reconocimiento de habla durante el último año de mi licenciatura. Esta es también cuando comencé a interesarme en la investigación, así que tomé un curso de reconocimiento de habla y un proyecto de investigación relacionado. Pude publicar un artículo de investigación en la conferencia InterSpeech, una de las conferencias más grandes y respetadas de reconocimiento de habla, a partir de este trabajo. Todo esto me motivó a elegir la investigación en reconocimiento de habla como enfoque a largo plazo, por lo tanto, el doctorado.

En 2015, lanzaste Fluent.ai, ¿podrías compartir la historia detrás de esta startup?

He tenido un deseo empresarial en mí durante mucho tiempo. Yo, junto con dos amigos, intenté iniciar una empresa después de mi licenciatura, sin embargo, por varias razones, ese esfuerzo no tuvo éxito. Durante mi doctorado en McGill, mantuve un ojo en la escena de startups de Montreal. Durante este tiempo, también tuve la oportunidad de conocer a personas de TandemLaunch, la fábrica de startups donde creé Fluent.ai. En ese momento, estaba cerca del final de mi doctorado, y estaba considerando seriamente intentar de nuevo la empresa. A través de mi experiencia laboral, investigación y asociación con otros grupos de investigación de habla, me di cuenta de que la mayoría de estas experiencias se habían centrado en hacer reconocimiento de habla de una manera particular: ir de la habla a la transcripción de texto y luego procesamiento de lenguaje natural. Sin embargo, esto dejó una brecha en la usabilidad. Una gran parte de la población no puede beneficiarse de las soluciones de habla desarrolladas de esta manera. La cantidad de datos necesarios para estos métodos es tan grande que no tendría sentido financiero desarrollar modelos separados para idiomas con menos hablantes. Además, muchos dialectos y lenguas no tienen una forma escrita distinta. Incluso mi propia familia no podía usar las herramientas que desarrollé (hablan un dialecto del hindi). Considerando todo esto, comencé a pensar en diferentes formas de crear modelos de habla, donde la cantidad de datos necesarios fuera menor, y/o el usuario final pudiera entrenar o actualizar los modelos él mismo. Estaba al tanto del trabajo realizado en la Universidad de KU Leuven (KUL) que podría cumplir con algunos de estos requisitos. Con parte de la tecnología proveniente de KUL, pudimos dar los primeros pasos hacia lo que es Fluent hoy en día.

¿Podrías elaborar sobre las soluciones de comprensión de habla intuitiva de Fluent.ai?

Las soluciones de reconocimiento de habla de Fluent.ai están inspiradas en la forma en que los humanos adquieren y reconocen lenguas. Los sistemas de reconocimiento de habla convencionales primero transcriben la entrada de habla en texto y luego extraen el significado de ese texto. Esto no es cómo los humanos reconocen la habla. Tomemos el ejemplo de los niños antes de que aprendan a leer y escribir: a pesar de no saber nada sobre la representación escrita de las lenguas, pueden tener una conversación hablada con facilidad. De manera similar, los modelos de redes neuronales de Fluent son capaces de extraer directamente el significado de los sonidos de la habla sin tener que transcribirlos primero en texto. Técnicamente, esto es un verdadero Entendimiento de Lenguaje Hablado. Hay varias ventajas en este enfoque. El reconocimiento de habla tradicional es un enfoque engorroso, donde varios módulos entrenados de forma disjointa se entretejen para proporcionar una respuesta final. Esto resulta en una solución no óptima que sufre de variaciones en los resultados para acentos, ruido, condiciones de fondo, etc. El sistema de reconocimiento de intención automática (AIR) de Fluent es optimizado de extremo a extremo; es una arquitectura completamente basada en redes neuronales, donde todos los módulos se entrenan conjuntamente para proporcionar la solución más óptima. Además, podemos eliminar varios módulos computacionalmente pesados comúnmente presentes en el sistema de reconocimiento de habla convencional. Esto nos permite crear sistemas de reconocimiento de habla de bajo consumo que pueden ejecutarse en tan solo 40KB de RAM en un microcontrolador de baja potencia que funciona a 50 MHz. Finalmente, nuestros sistemas de comprensión de lenguaje hablado basados en AIR pueden explotar las similitudes entre diferentes lenguas de una manera única para proporcionar funciones sin precedentes, como la capacidad de reconocer múltiples lenguas en el mismo modelo.

¿Cuáles son algunos de los desafíos de la IA para superar el problema del ruido ambiental?

El ruido es uno de los mayores desafíos para el reconocimiento de habla. Lo que lo hace un problema realmente desafiante es que hay muchos tipos diferentes de ruido y afectan el espectro de la habla de diferentes maneras. A veces, el ruido también puede tener un impacto en la respuesta del micrófono. En muchos casos, no es posible separar las fuentes de habla de las fuentes de ruido. En algunos casos, el ruido resulta en la ocultación de la información disponible en el espectro de la habla, mientras que en otros, puede eliminar completamente la información útil. Ambos resultan en baja precisión. Mientras que es fácil eliminar tipos de ruido consistentes, como el ruido de un ventilador, algunos tipos de ruido, como el murmullo o las personas hablando en el fondo o la música, son muy difíciles de eliminar porque afectan el espectro de la habla de diferentes maneras.

¿Podrías definir qué es la IA de borde y cómo Fluent.ai está utilizando este tipo de IA?

La IA de borde es un término genérico utilizado para cubrir various formas en que las aplicaciones de IA podrían trasladarse a dispositivos de baja potencia. Cada vez más, este término se utiliza para los casos en que los dispositivos de borde realizan ciertos cálculos inteligentes ellos mismos. En Fluent, nos centramos en llevar una comprensión de lenguaje hablado de alta calidad al borde. Hemos desarrollado algoritmos eficientes que permiten a los dispositivos de computación de baja potencia reconocer la entrada de habla ellos mismos sin tener que enviar los datos a un servidor basado en la nube para su procesamiento. Las ventajas son dobles: primero, la privacidad del usuario no se ve comprometida al transmitir y almacenar sus datos de voz en la nube. En segundo lugar, este enfoque reduce la latencia porque los datos de habla y la respuesta no tienen que viajar entre el servidor de la nube y el dispositivo.

¿Qué otros tipos de tecnologías de aprendizaje automático se están utilizando?

Nuestro enfoque principal está en enfoques basados en aprendizaje profundo para el reconocimiento de habla. Estamos utilizando métodos de aprendizaje por refuerzo (RL), como NASIL[1], para descubrir nuevas arquitecturas de modelos de IA desconocidas (en cierto sentido, la IA que crea la IA). Y estamos utilizando AutoML para ajustar nuestros modelos de IA preestablecidos para lograr resultados confiables para diferentes aplicaciones, lo que aumenta la confiabilidad y la reproducibilidad. La compresión de modelos y otros enfoques matemáticos también ayudan a optimizar el rendimiento del modelo.

¿Qué crees que sucederá en los próximos 5 años para la comprensión de lenguaje natural y el procesamiento de lenguaje natural?

Creo que los sistemas evolucionarán para proporcionar interacciones más naturales. A pesar del progreso en los últimos años, la mayoría de los sistemas actuales solo pueden responder a consultas simples o realizar una búsqueda de voz en Internet. Veremos más y más soluciones que puedan razonar y responder a una consulta completa para una persona en lugar de funcionar solo como un motor de búsqueda de voz glorificado.

Otro aspecto interesante es la privacidad. Las soluciones actuales populares son principalmente dispositivos conectados a Internet que transmiten todos los datos de voz del usuario a un servidor de la nube. Sin embargo, la privacidad de estas soluciones se está convirtiendo en un problema. También estamos empezando a ver las aplicaciones de la interfaz de usuario de voz más allá de los dispositivos de consumo en entornos industriales, en el espacio de audio profesional, así como en la hospitalidad y las salas de conferencias. Un requisito clave para estas aplicaciones es la privacidad, por lo tanto, las soluciones actuales conectadas no son suficientes, así que veremos mucho más IA de borde o soluciones de lenguaje natural en el dispositivo.

Como mencioné anteriormente, las soluciones de habla y lenguaje natural siguen siendo inaccesibles para una gran parte de la población mundial. Hay un trabajo significativo en marcha para crear nuevos tipos de modelos de IA que puedan entrenarse con una pequeña cantidad de datos, lo que resulta en costos de desarrollo reducidos, y a su vez, permite el desarrollo de modelos en lenguas con menos hablantes. En la misma línea, veremos soluciones que puedan aprender a reconocer múltiples lenguas en el mismo modelo. En general, veremos más y más despliegues de modelos de IA multilingües que puedan responder a la consulta de un usuario en su idioma nativo.

¿Hay algo más que te gustaría compartir sobre Fluent.ai?

La tecnología de habla ha avanzado mucho en los últimos años y tiene un gran potencial de crecimiento en el camino ahead. En Fluent.ai, siempre estamos buscando nuevos casos de uso de nuestra tecnología existente mientras innovamos continuamente internamente. La pandemia de COVID-19 ha creado una mayor sensibilidad hacia las áreas de alto contacto, como los botones de los ascensores, los quioscos en los restaurantes y más, lo que ha generado una nueva demanda de tecnología habilitada por voz. Fluent.ai espera ayudar a llenar esas brechas, ya que nuestras soluciones son multilingües y, por lo tanto, más inclusivas, y operan sin conexión, lo que ofrece una capa adicional de privacidad. Estas funciones, como se mencionó, probablemente serán el futuro de la tecnología de habla.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar el sitio web de Fluent.ai.

[1] https://www.researchgate.net/profile/Farzaneh_Sheikhnezhad_Fard/publication/341083699_Nasil_Neural_Archit