CNTXT AI lanza Munsit: el sistema de reconocimiento de voz en árabe más preciso jamás creado

En un momento decisivo para la inteligencia artificial en lengua árabe, CNTXT IA ha presentado Munsit, un modelo de reconocimiento de voz en árabe de última generación que no solo es el más preciso jamás creado para el idioma árabe, sino que también supera con creces a gigantes globales como OpenAI, Meta, Microsoft y ElevenLabs en las pruebas de referencia estándar. Desarrollado en los Emiratos Árabes Unidos y adaptado al árabe desde cero, Munsit representa un gran avance en lo que CNTXT denomina "IA soberana": tecnología desarrollada en la región, para la región, pero con competitividad global.

Las bases científicas de este logro se exponen en el artículo recientemente publicado por el equipo, "Avances en el reconocimiento del habla árabe mediante aprendizaje débilmente supervisado a gran escala", que introduce un método de entrenamiento escalable y eficiente en el uso de datos que aborda la escasez persistente de datos etiquetados del habla árabe. Este método —aprendizaje débilmente supervisado— ha permitido al equipo construir un sistema que establece un nuevo estándar de calidad de transcripción tanto en árabe estándar moderno (MSA) como en más de 25 dialectos regionales.

Superar la sequía de datos en el ASR árabe

El árabe, a pesar de ser uno de los idiomas más hablados a nivel mundial y lengua oficial de las Naciones Unidas, se ha considerado durante mucho tiempo un idioma con pocos recursos en el campo del reconocimiento de voz. Esto se debe tanto a su complejidad morfológica y la falta de conjuntos de datos de voz amplios, diversos y etiquetados. A diferencia del inglés, que se beneficia de incontables horas de datos de audio transcritos manualmente, la riqueza dialectal del árabe y su fragmentada presencia digital han planteado importantes desafíos para el desarrollo de sistemas robustos de reconocimiento automático de voz (ASR).

En lugar de esperar a que el lento y costoso proceso de transcripción manual se pusiera al día, CNTXT AI optó por una estrategia mucho más escalable: la supervisión débil. Su enfoque comenzó con un corpus masivo de más de 30,000 15,000 horas de audio árabe sin etiquetar, recopilado de diversas fuentes. Mediante un proceso de procesamiento de datos personalizado, este audio sin procesar se limpió, segmentó y etiquetó automáticamente para generar un conjunto de datos de entrenamiento de alta calidad de XNUMX XNUMX horas: uno de los corpus de habla árabe más grandes y representativos jamás recopilados.

Este proceso no dependía de la anotación humana. En su lugar, CNTXT desarrolló un sistema multietapa para generar, evaluar y filtrar hipótesis de múltiples modelos ASR. Estas transcripciones se compararon mediante la distancia de Levenshtein para seleccionar las hipótesis más consistentes y, posteriormente, se sometieron a un modelo lingüístico para evaluar su plausibilidad gramatical. Los segmentos que no cumplían con los umbrales de calidad definidos se descartaron, garantizando así la fiabilidad de los datos de entrenamiento, incluso sin verificación humana. El equipo perfeccionó este proceso mediante múltiples iteraciones, mejorando en cada ocasión la precisión del etiquetado mediante el reentrenamiento del propio sistema ASR y su reintroducción en el proceso de etiquetado.

Impulsando a Munsit: La arquitectura del conformador

En el corazón de Munsit se encuentra el modelo Conformer, una arquitectura de red neuronal híbrida que combina la sensibilidad local de las capas convolucionales con las capacidades globales de modelado de secuencias de los transformadores. Este diseño hace que Conformer sea especialmente hábil para manejar los matices del lenguaje hablado, donde tanto las dependencias de largo alcance (como la estructura de las oraciones) como los detalles fonéticos de granularidad fina son cruciales.

CNTXT AI implementó una variante extensa del Conformer, entrenándolo desde cero utilizando espectrogramas mel de 80 canales como entrada. El modelo consta de 18 capas e incluye aproximadamente 121 millones de parámetros. El entrenamiento se realizó en un clúster de alto rendimiento con ocho GPU NVIDIA A100 con precisión bfloat16, lo que permitió un manejo eficiente de lotes masivos y espacios de características de alta dimensión. Para gestionar la tokenización de la rica estructura morfológica del árabe, el equipo utilizó un tokenizador SentencePiece entrenado específicamente en su corpus personalizado, lo que resultó en un vocabulario de 1,024 subpalabras.

A diferencia del entrenamiento ASR supervisado convencional, que generalmente requiere que cada clip de audio se asocie con una etiqueta cuidadosamente transcrita, el método de CNTXT funcionó completamente con etiquetas débiles. Estas etiquetas, aunque más ruidosas que las verificadas por humanos, se optimizaron mediante un ciclo de retroalimentación que priorizó el consenso, la coherencia gramatical y la plausibilidad léxica. El modelo se entrenó utilizando Clasificación temporal conexionista (CTC) función de pérdida, que es muy adecuada para el modelado de secuencias no alineadas, y es fundamental para las tareas de reconocimiento de voz donde el tiempo de las palabras habladas es variable e impredecible.

Dominando los puntos de referencia

Los resultados hablan por sí solos. Munsit se probó con los principales modelos ASR de código abierto y comerciales en seis conjuntos de datos árabes de referencia: SADA, Common Voice 18.0, MASC (limpio y con ruido), MGB-2 y Casablanca. Estos conjuntos de datos abarcan, en conjunto, docenas de dialectos y acentos del mundo árabe, desde Arabia Saudita hasta Marruecos.

En todas las pruebas de referencia, Munsit-1 alcanzó una tasa de error de palabras (WER) promedio de 26.68 y una tasa de error de caracteres (CER) de 10.05. En comparación, la versión de mayor rendimiento de Whisper de OpenAI registró una WER promedio de 36.86 y una CER de 17.21. SeamlessM4T de Meta, otro modelo multilingüe de vanguardia, obtuvo resultados aún mejores. Munsit superó a todos los demás sistemas tanto con datos limpios como con ruido, y demostró una robustez especialmente sólida en condiciones de ruido, un factor crítico para aplicaciones prácticas como centros de llamadas y servicios públicos.

La brecha fue igualmente marcada frente a los sistemas propietarios. Munsit superó a los modelos ASR árabes de Microsoft Azure, a ElevenLabs Scribe e incluso a la función de transcripción GPT-4o de OpenAI. Estos resultados no son mejoras marginales: representan una mejora relativa promedio del 23.19 % en WER y del 24.78 % en CER, en comparación con la línea base abierta más sólida, lo que consolida a Munsit como el líder indiscutible en reconocimiento de voz árabe.

Una plataforma para el futuro de la inteligencia artificial de voz árabe

Si bien Munsit-1 ya está transformando las posibilidades de transcripción, subtitulado y atención al cliente en los mercados de habla árabe, CNTXT AI considera este lanzamiento solo el comienzo. La compañía prevé un conjunto completo de tecnologías de voz en árabe, que incluyen conversión de texto a voz, asistentes de voz y sistemas de traducción en tiempo real, todo ello basado en infraestructura soberana e IA relevante para cada región.

“Munsit es más que un simple avance en el reconocimiento de voz”, afirmó Mohammad Abu Sheikh, director ejecutivo de CNTXT AI. “Es una declaración de que el árabe debe estar a la vanguardia de la IA global. Hemos demostrado que no es necesario importar IA de primera clase; se puede desarrollar aquí, en árabe, para el árabe”.

Con el auge de modelos específicos para cada región como Munsit, la industria de la IA está entrando en una nueva era, una en la que la relevancia lingüística y cultural no se sacrifica en la búsqueda de la excelencia técnica. De hecho, con Munsit, CNTXT AI ha demostrado que son lo mismo.