La Alta Huella de Carbono de los Modelos de Traducción Automática Alemanes

Nueva investigación sobre la huella de carbono creada por los modelos de traducción de aprendizaje automático indica que el alemán puede ser el idioma más intensivo en carbono para entrenar, aunque no está del todo claro por qué. El nuevo informe tiene como objetivo abrir nuevas vías de investigación sobre métodos de entrenamiento de inteligencia artificial más eficientes en términos de carbono, en el contexto de una creciente conciencia sobre la medida en que los sistemas de aprendizaje automático consumen electricidad.

El preprint del papel se titula Reducir las Emisiones de Carbono: Benchmarking de Emisiones de Carbono en la Traducción Automática, y proviene de investigadores del Instituto de Tecnología de Manipal en la India.

Los autores probaron los tiempos de entrenamiento y calcularon los valores de emisión de carbono para una variedad de posibles modelos de traducción entre idiomas, y encontraron ‘una notable disparidad’ entre el tiempo necesario para traducir los tres pares de idiomas más intensivos en carbono y los tres modelos más económicos en términos de carbono.

Un promedio de emisiones de carbono liberadas durante 10 épocas de entrenamiento. A la izquierda, resultados utilizando ConvSeq (ver más abajo), a la derecha, Transformadores. Fuente: https://arxiv.org/pdf/2109.12584.pdf

El papel encontró que los pares de idiomas más ‘ecológicos’ para entrenar son inglés>francés, francés>inglés y, paradójicamente, alemán al inglés, mientras que el alemán se encuentra en todos los pares con mayor consumo de carbono: francés>alemán, inglés>alemán y alemán>francés.

Interés Compuesto

Los hallazgos sugieren que la diversidad léxica ‘es directamente proporcional al tiempo de entrenamiento para alcanzar un nivel adecuado de rendimiento’, y señalan que el idioma alemán tiene la puntuación de diversidad léxica más alta entre los tres idiomas probados, según su Relación Tipo-Token (TTR) – una medición del tamaño del vocabulario basada en la longitud del texto.

Las demandas aumentadas de procesamiento del alemán en los modelos de traducción no se reflejan en los datos de origen utilizados para el experimento. De hecho, los tokens del idioma alemán generados a partir de los datos de origen tienen menos (299445) tokens derivados que el inglés (320108), y mucho menos que el francés (335917).

El desafío, desde el punto de vista del Procesamiento de Lenguaje Natural (NLP), es descomponer palabras compuestas alemanas en palabras constituyentes. Los sistemas de NLP a menudo tienen que lograr esto para el alemán sin ninguna de las pistas gramaticales o contextuales pre-‘dividiendo’ que se pueden encontrar en idiomas con puntuaciones de TTR más bajas, como el inglés. El proceso se llama división de compuestos o descomposición.

El idioma alemán tiene algunas de las palabras individuales más largas del mundo, aunque en 2013 perdió el reconocimiento oficial de su palabra de 65 caracteres anterior, que es lo suficientemente larga como para requerir su propia línea en este artículo:

Rindfleischetikettierungsueberwachungsaufgabenuebertragungsgesetz

La palabra se refiere a una ley que delega la supervisión de las etiquetas de la carne, pero dejó de existir debido a un cambio en las regulaciones europeas ese año, cediendo el lugar a otros populares, como ‘viuda de un capitán de una compañía de barcos de vapor del Danubio’ (49 caracteres):

Donaudampfschifffahrtsgesellschaftskapitaenswitwe

En general, la estructura sintáctica del alemán requiere una desviación de las suposiciones de orden de palabras que subyacen a las prácticas de NLP en muchos idiomas occidentales, con el popular marco de NLP spaCY (con sede en Berlín) adoptando su propio idioma en 2016.

Asignaciones proyectivas en una frase inglesa y alemana demuestran las complejas interrelaciones entre los elementos léxicos en el idioma alemán. Fuente: https://explosion.ai/blog/german-model

Datos y Pruebas

Para los datos de origen, los investigadores utilizaron el conjunto de datos Multi30k, que contiene 30.000 muestras en los idiomas francés, alemán e inglés.

El primer modelo utilizado por los investigadores fue el modelo de secuencia a secuencia convolucional de Facebook AI de 2017 (ConvSeq), una red neuronal que contiene capas convolucionales pero que carece de unidades recurrentes, y en su lugar utiliza filtros para derivar características del texto. Esto permite que todas las operaciones se realicen de manera paralela y computacionalmente eficiente.

El segundo enfoque utilizado fue la arquitectura Transformadores de Google, también de 2017. Los Transformadores utilizan capas lineales, mecanismos de atención y rutinas de normalización. Admitidamente, el modelo original publicado ha sido criticado por ser ineficiente en términos de carbono, con afirmaciones de mejoras posteriores controvertidas.

Las pruebas se llevaron a cabo en Google Colab, de manera uniforme en una GPU Tesla K80 (TSLA ). Los idiomas se compararon utilizando una métrica de puntuación BLEU (Bilingual Evaluation Understudy) y el Calculadora de Emisiones de Aprendizaje Automático CodeCarbon. Los datos se entrenaron durante 10 épocas.

Hallazgos

Los investigadores encontraron que fue la duración extendida del entrenamiento para los pares de idiomas relacionados con el alemán lo que inclinó la balanza hacia un mayor consumo de carbono. Aunque algunos otros pares de idiomas, como inglés>francés y francés>inglés, tenían un consumo de carbono aún mayor, se entrenaron más rápidamente y se resolvieron más fácilmente, con estos estallidos de consumo caracterizados por los investigadores como ‘relativamente insignificantes’ en relación con el consumo de los pares de idiomas que incluyen el alemán.

Análisis de los pares de idiomas por emisiones de codificador/decodificador.

Los investigadores concluyen:

‘Nuestros hallazgos proporcionan una clara indicación de que algunos pares de idiomas son más intensivos en carbono para entrenar que otros, una tendencia que se mantiene en diferentes arquitecturas también.’

Continúan:

‘Sin embargo, todavía quedan preguntas sin respuesta sobre por qué hay diferencias tan marcadas en el entrenamiento de modelos para un par de idiomas en particular sobre otro, y si diferentes arquitecturas podrían ser más adecuadas para estos pares de idiomas intensivos en carbono, y por qué sería el caso si es cierto.’

El papel enfatiza que las razones de la disparidad en el consumo de carbono a través de los modelos de entrenamiento no están del todo claras. Anticipan desarrollar esta línea de estudio con idiomas no basados en latín.

1.20pm GMT+2 – Error de texto corregido.