Lanzamiento de CNTXT AI de Munsit: El sistema de reconocimiento de voz en árabe más preciso jamás construido

En un momento definitorio para la inteligencia artificial en árabe, CNTXT AI ha presentado Munsit, un modelo de reconocimiento de voz en árabe de próxima generación que no solo es el más preciso jamás creado para el árabe, sino que también supera claramente a gigantes globales como OpenAI, Meta, Microsoft (MSFT ) y ElevenLabs en benchmarks estándar. Desarrollado en los Emiratos Árabes Unidos y diseñado para el árabe desde cero, Munsit representa un paso poderoso hacia adelante en lo que CNTXT llama “inteligencia artificial soberana” – tecnología construida en la región, para la región, pero con competitividad global.

Los fundamentos científicos de este logro se presentan en el artículo recientemente publicado por el equipo, “Avanzando en el reconocimiento de voz en árabe a través del aprendizaje supervisado débil a gran escala“, que introduce un método de entrenamiento escalable y eficiente en datos que aborda la escasez de datos de voz en árabe etiquetados. Este método – el aprendizaje supervisado débil – ha permitido al equipo construir un sistema que establece una nueva barra para la calidad de transcripción en ambos árabe moderno estándar (MSA) y más de 25 dialectos regionales.

Superando la escasez de datos en el reconocimiento de voz en árabe

El árabe, a pesar de ser uno de los idiomas más hablados en el mundo y un idioma oficial de las Naciones Unidas, ha sido considerado durante mucho tiempo un idioma de bajos recursos en el campo del reconocimiento de voz. Esto se debe a su complejidad morfológica y a la falta de grandes conjuntos de datos de voz etiquetados y diversificados. A diferencia del inglés, que se beneficia de innumerables horas de datos de audio transcritos manualmente, la riqueza dialectal del árabe y su presencia digital fragmentada han planteado desafíos significativos para la construcción de sistemas robustos de reconocimiento automático de voz (ASR).

En lugar de esperar a que el lento y costoso proceso de transcripción manual se ponga al día, CNTXT AI siguió un camino radicalmente más escalable: la supervisión débil. Su enfoque comenzó con un corpus masivo de más de 30.000 horas de audio en árabe no etiquetado recopilado de diversas fuentes. A través de una tubería de procesamiento de datos personalizada, este audio raw se limpió, segmentó y etiquetó automáticamente para producir un conjunto de datos de entrenamiento de alta calidad de 15.000 horas – uno de los conjuntos de datos de voz en árabe más grandes y representativos jamás reunidos.

Este proceso no dependió de la anotación humana. En su lugar, CNTXT desarrolló un sistema de múltiples etapas para generar, evaluar y filtrar hipótesis de múltiples modelos de ASR. Estas transcripciones se compararon cruzadamente utilizando la distancia de Levenshtein para seleccionar las hipótesis más coherentes, y luego se pasaron a través de un modelo de lenguaje para evaluar su plausibilidad gramatical. Los segmentos que no cumplieron con los umbrales de calidad definidos se descartaron, asegurando que incluso sin verificación humana, los datos de entrenamiento permanecieran confiables. El equipo refinó esta tubería a través de múltiples iteraciones, cada vez mejorando la precisión de las etiquetas al volver a entrenar el sistema de ASR y alimentarlo nuevamente en el proceso de etiquetado.

Impulsando Munsit: La arquitectura Conformer

En el corazón de Munsit se encuentra el modelo Conformer, una arquitectura de red neuronal híbrida que combina la sensibilidad local de las capas convolucionales con las capacidades de modelado de secuencia global de los transformadores. Este diseño hace que el Conformer sea particularmente apto para manejar las sutilezas del lenguaje hablado, donde tanto las dependencias de largo alcance (como la estructura de la oración) como los detalles fonéticos de grano fino son cruciales.

CNTXT AI implementó una variante grande del Conformer, entrenándolo desde cero utilizando mel-espectrogramas de 80 canales como entrada. El modelo consta de 18 capas y cuenta con aproximadamente 121 millones de parámetros. El entrenamiento se llevó a cabo en un clúster de alto rendimiento utilizando ocho GPU NVIDIA A100 con precisión bfloat16, lo que permitió el manejo eficiente de tamaños de lote masivos y espacios de características de alta dimensión. Para manejar la tokenización de la estructura morfológicamente rica del árabe, el equipo utilizó un tokenizador SentencePiece entrenado específicamente en su corpus personalizado, lo que resultó en un vocabulario de 1.024 unidades subpalabra.

A diferencia del entrenamiento de ASR supervisado convencional, que generalmente requiere que cada clip de audio esté emparejado con una etiqueta transcrita con cuidado, el método de CNTXT operó enteramente con etiquetas débiles. Estas etiquetas, aunque más ruidosas que las verificadas por humanos, se optimizaron a través de un bucle de retroalimentación que priorizó el consenso, la coherencia gramatical y la plausibilidad léxica. El modelo se entrenó utilizando la función de pérdida de clasificación temporal de conexión (CTC), que es adecuada para el modelado de secuencia no alineada – crítico para las tareas de reconocimiento de voz donde el tiempo de las palabras habladas es variable e impredecible.

Dominando los benchmarks

Los resultados hablan por sí mismos. Munsit se probó contra los modelos de ASR de código abierto y comerciales líderes en seis conjuntos de datos de benchmark de árabe: SADA, Common Voice 18.0, MASC (limpio y ruidoso), MGB-2 y Casablanca. Estos conjuntos de datos abarcan colectivamente docenas de dialectos y acentos en todo el mundo árabe, desde Arabia Saudita hasta Marruecos.

En todos los benchmarks, Munsit-1 logró una tasa de error de palabra (WER) promedio de 26,68 y una tasa de error de carácter (CER) de 10,05. En comparación, la mejor versión de Whisper de OpenAI registró una WER promedio de 36,86 y una CER de 17,21. Meta’s SeamlessM4T, otro modelo multilingüe de vanguardia, obtuvo un resultado aún mayor. Munsit superó a todos los demás sistemas en datos limpios y ruidosos, y demostró una robustez particularmente fuerte en condiciones ruidosas, un factor crítico para aplicaciones del mundo real como centros de llamadas y servicios públicos.

La brecha fue igualmente marcada contra los sistemas propietarios. Munsit superó a los modelos de ASR en árabe de Microsoft Azure, ElevenLabs Scribe y even a la función de transcripción de GPT-4o de OpenAI. Estos resultados no son ganancias marginales – representan una mejora promedio relativa del 23,19% en WER y del 24,78% en CER en comparación con la línea de base abierta más fuerte, lo que establece a Munsit como el líder claro en el reconocimiento de voz en árabe.

Una plataforma para el futuro de la inteligencia de voz en árabe

Mientras que Munsit-1 ya está transformando las posibilidades de transcripción, subtítulos y soporte al cliente en los mercados de habla árabe, CNTXT AI ve este lanzamiento como solo el comienzo. La empresa visualiza una suite completa de tecnologías de voz en árabe, incluyendo texto a voz, asistentes de voz y sistemas de traducción en tiempo real – todos basados en infraestructura soberana y relevante para la región.

“Munsit es más que un avance en el reconocimiento de voz”, dijo Mohammad Abu Sheikh, CEO de CNTXT AI. “Es una declaración de que el árabe pertenece a la vanguardia de la IA global. Hemos demostrado que la IA de clase mundial no necesita ser importada – se puede construir aquí, en árabe, para árabe”.

Con el surgimiento de modelos específicos de región como Munsit, la industria de la IA está ingresando a una nueva era – una en la que la relevancia lingüística y cultural no se sacrifican en la búsqueda de la excelencia técnica. De hecho, con Munsit, CNTXT AI ha demostrado que son lo mismo.