La Inteligencia Artificial Generativa No Es una Sentencia de Muerte para los Idiomas en Peligro de Extinción

Según la UNESCO, hasta la mitad de los idiomas podrían estar extintos para 2100. Muchas personas dicen que la inteligencia artificial generativa está contribuyendo a este proceso.

La disminución de la diversidad lingüística no comenzó con la IA ni con Internet. Pero la IA está en una posición para acelerar la desaparición de los idiomas indígenas y de bajos recursos.

La mayoría de los más de 7.000 idiomas del mundo no tienen suficientes recursos para entrenar modelos de IA, y muchos carecen de una forma escrita. Esto significa que unos pocos idiomas principales dominan el stock de datos de entrenamiento de IA de la humanidad, mientras que la mayoría se quedan atrás en la revolución de la IA y podrían desaparecer por completo.

La razón simple es que la mayoría de los datos de entrenamiento de IA disponibles están en inglés. El inglés es el principal impulsor de los grandes modelos de lenguaje (LLM), y las personas que hablan idiomas menos comunes se encuentran subrepresentadas en la tecnología de IA.

Consideremos estas estadísticas del Foro Económico Mundial:

• Las dos terceras partes de todos los sitios web están en inglés.
• Gran parte de los datos que GenAI aprende provienen de la web.
• Menos del 20% de la población mundial habla inglés.

A medida que la IA se integra más en nuestras vidas diarias, todos deberíamos pensar en la equidad lingüística. La IA tiene un potencial sin precedentes para resolver problemas a gran escala, y su promesa no debería limitarse al mundo de habla inglesa. La IA está creando comodidades y herramientas que mejoran la vida personal y profesional de las personas en naciones ricas y desarrolladas.

Los hablantes de idiomas de bajos recursos están acostumbrados a encontrar una falta de representación en la tecnología, desde no encontrar sitios web en su idioma hasta no tener su dialecto reconocido por Siri. Gran parte del texto disponible para entrenar a la IA en idiomas de bajos recursos es de mala calidad (traducido con una precisión cuestionable) y limitado en alcance.

¿Cómo puede la sociedad garantizar que los idiomas de bajos recursos no se queden atrás en la ecuación de la IA? ¿Cómo podemos garantizar que el idioma no sea una barrera para la promesa de la IA?

En un esfuerzo por la inclusividad lingüística, algunos grandes actores tecnológicos tienen iniciativas para entrenar enormes modelos de lenguaje multilingüe (MLM). Microsoft (MSFT ) Translate, por ejemplo, se ha comprometido a apoyar “cada idioma, en todas partes”. Y Meta tiene una promesa de “Ningún idioma quedará atrás”. Estos son loables, pero ¿son realistas?

Aspirar a un modelo que maneje todos los idiomas del mundo favorece a los privilegiados porque hay mucho más volumen de datos de los idiomas principales del mundo. Cuando comenzamos a tratar con idiomas de bajos recursos y idiomas con escrituras no latinas, entrenar modelos de IA se vuelve más arduo, tiempo consume —y más costoso. Piénsalo como un impuesto involuntario sobre los idiomas subrepresentados.

Avances en la Tecnología del Habla

Los modelos de IA se entrenan en gran medida con texto, lo que naturalmente favorece a los idiomas con una mayor cantidad de contenido de texto. La diversidad lingüística estaría mejor apoyada con sistemas que no dependan del texto. La interacción humana en algún momento fue completamente basada en el habla, y muchas culturas retienen ese enfoque oral. Para satisfacer mejor a una audiencia global, la industria de la IA debe avanzar desde los datos de texto a los datos del habla.

La investigación está haciendo grandes avances en la tecnología del habla, pero todavía está por detrás de las tecnologías basadas en texto. La investigación en el procesamiento del habla está en marcha, pero la tecnología de habla a habla directa está lejos de estar madura. La realidad es que la industria tiende a moverse con cautela, y solo una vez que una tecnología avanza a un cierto nivel.

La plataforma de interpretación en vivo GlobalLink de TransPerfect, recientemente lanzada, utiliza las formas más maduras de la tecnología del habla —reconocimiento automático del habla (ASR) y texto a habla (TTS)—, de nuevo, porque los sistemas de habla a habla directa no están lo suficientemente maduros en este momento. Dicho esto, nuestros equipos de investigación están preparándose para el día en que las tuberías de habla a habla completamente estén listas para su uso.

Los modelos de traducción de habla a habla ofrecen una gran promesa en la preservación de los idiomas orales. En 2022, Meta anunció el primer sistema de traducción de habla a habla impulsado por IA para el hokkien, un idioma principalmente oral hablado por unos 46 millones de personas en la diáspora china. Es parte del proyecto de Traductor Universal de Habla de Meta, que está desarrollando nuevos modelos de IA que esperan permitir la traducción de habla a habla en tiempo real en muchos idiomas. Meta optó por abrir el código fuente de sus modelos de traducción de hokkien, conjuntos de datos de evaluación y artículos de investigación para que otros puedan reproducir y construir sobre su trabajo.

Aprendiendo con Menos

El hecho de que como comunidad global carezcamos de recursos en torno a ciertos idiomas no es una sentencia de muerte para esos idiomas. Aquí es donde los modelos de lenguaje multilingüe tienen una ventaja, ya que los idiomas aprenden unos de otros. Todos los idiomas siguen patrones. Debido a la transferencia de conocimiento entre idiomas, la necesidad de datos de entrenamiento disminuye.

Supongamos que tienes un modelo que está aprendiendo 90 idiomas y quieres agregar el inuit (un grupo de idiomas indígenas norteamericanos). Debido a la transferencia de conocimiento, necesitarás menos datos de inuit. Estamos encontrando formas de aprender con menos. La cantidad de datos necesarios para afinar los motores es menor.

Estoy esperanzado con un futuro con una IA más inclusiva. No creo que estemos condenados a ver desaparecer una gran cantidad de idiomas —ni creo que la IA permanecerá como el dominio del mundo de habla inglesa. Ya estamos viendo más conciencia sobre el tema de la equidad lingüística. Desde la recopilación de datos más diversa hasta la construcción de modelos de lenguaje específicos, estamos avanzando.

Consideremos el fon, un idioma hablado por unos 4 millones de personas en Benín y países africanos vecinos. No hace mucho, un modelo de IA popular describió el fon como un idioma ficticio. Un científico informático llamado Bonaventure Dosseau, cuya madre habla fon, estaba acostumbrado a este tipo de exclusión. Dosseau, que habla francés, creció sin ningún programa de traducción para comunicarse con su madre. Hoy en día, puede comunicarse con su madre gracias a un traductor fon-francés que construyó con esfuerzo. Hoy en día, también hay una Wikipedia de fon en ciernes.

En un esfuerzo por utilizar la tecnología para preservar los idiomas, el artista turco Refik Anadol ha iniciado la creación de una herramienta de IA de código abierto para los pueblos indígenas. En la Cumbre Económica Mundial, preguntó: “¿Cómo podemos crear una IA que no conozca a toda la humanidad?”

No podemos, y no lo haremos.