A Alta Pegada de Carbono dos Modelos de Tradução Automática Alemã

Nova pesquisa sobre a pegada de carbono criada por modelos de tradução de aprendizado de máquina indica que o alemão pode ser a língua mais intensiva em carbono para treinar, embora não esteja completamente claro por quê. O novo relatório visa abrir novas vias de pesquisa para métodos de treinamento de IA mais eficientes em termos de carbono, no contexto de uma crescente conscientização sobre a extensão com que os sistemas de aprendizado de máquina consomem eletricidade.

O pré-impresso é intitulado Controle suas Emissões de Carbono: Benchmarking de Emissões de Carbono na Tradução de Máquina, e vem de pesquisadores do Instituto de Tecnologia de Manipal, na Índia.

Os autores testaram tempos de treinamento e calcularam valores de emissão de carbono para vários modelos de tradução de língua possível, e encontraram ‘uma discrepância notável’ entre o tempo necessário para traduzir os três pares de línguas mais intensivos em carbono, e os três modelos mais econômicos em carbono.

Média de emissões de carbono liberadas durante 10 épocas de treinamento. À esquerda, resultados usando ConvSeq (ver abaixo), à direita, Transformers. Fonte: https://arxiv.org/pdf/2109.12584.pdf

O artigo encontrou que os pares de línguas mais ‘ecológicos’ para treinar são inglês>francês, francês>inglês e, paradoxalmente, alemão para inglês, enquanto o alemão é destaque em todos os pares de línguas que consomem mais: francês>alemão, inglês>alemão e alemão>francês.

Juros Compostos

As descobertas sugerem que a diversidade lexical ‘é diretamente proporcional ao tempo de treinamento para alcançar um nível adequado de desempenho’, e observam que a língua alemã tem a pontuação de diversidade lexical mais alta entre as três línguas testadas, conforme estimado por sua Taxa de Tipo-Token (TTR) – uma medida do tamanho do vocabulário com base no comprimento do texto.

O aumento das demandas de processamento do alemão em modelos de tradução não é refletido nos dados de origem usados para o experimento. Na verdade, os tokens de língua alemã gerados a partir dos dados de origem têm menos (299445) tokens derivados do que o inglês (320108), e muito menos do que o francês (335917).

O desafio, do ponto de vista do Processamento de Língua Natural (PLN), é decompor palavras compostas alemãs em palavras constituintes. Os sistemas de PLN muitas vezes têm que realizar isso para o alemão sem nenhuma das dicas gramaticais ou contextuais que podem ser encontradas em línguas com pontuações de TTR mais baixas, como o inglês. O processo é chamado de divisão de compostos ou descomposição.

A língua alemã tem algumas das palavras individuais mais longas do mundo, embora em 2013 tenha perdido o reconhecimento oficial de seu antigo recorde de 65 caracteres, que é longo o suficiente para exigir sua própria linha neste artigo:

Rindfleischetikettierungsueberwachungsaufgabenuebertragungsgesetz

A palavra se refere a uma lei que delega a monitoração da rotulagem de carne, mas deixou de existir devido a uma mudança nas regulamentações europeias naquele ano, cedendo lugar a outros nomes populares, como ‘viúva de um capitão de uma empresa de barcos a vapor do Danúbio’ (49 caracteres):

Donaudampfschifffahrtsgesellschaftskapitaenswitwe

Em geral, a estrutura sintática do alemão exige uma abordagem diferente das suposições de ordem de palavras que subjazem as práticas de PLN em muitas línguas ocidentais, com o popular (berlinense) framework de PLN spaCY adotando sua própria língua nativa em 2016.

Mapeamentos projetivos em uma frase em inglês e alemão demonstram as complexas inter-relações entre elementos léxicos na língua alemã. Fonte: https://explosion.ai/blog/german-model

Dados e Testes

Para os dados de origem, os pesquisadores usaram o conjunto de dados Multi30k, que contém 30.000 amostras nas línguas francesa, alemã e inglesa.

O primeiro dos dois modelos usados pelos pesquisadores foi o Convolutional Sequence to Sequence (ConvSeq) da Facebook AI, de 2017, uma rede neural que contém camadas convolucionais, mas que carece de unidades recorrentes, e que usa filtros para derivar recursos do texto. Isso permite que todas as operações ocorram de forma paralela e computacionalmente eficiente.

A segunda abordagem usada foi a arquitetura Transformers do Google, também de 2017. Transformers usa camadas lineares, mecanismos de atenção e rotinas de normalização. Admitidamente, o modelo original lançado veio sob crítica por ineficiência de carbono, com alegações de melhorias subsequentes contestadas.

Os experimentos foram realizados no Google Colab, uniformemente em uma GPU Tesla K80. As línguas foram comparadas usando uma métrica de pontuação BLEU (Bilingual Evaluation Understudy) e o CodeCarbon Calculadora de Emissões de Aprendizado de Máquina. Os dados foram treinados durante 10 épocas.

Descobertas

Os pesquisadores encontraram que foi a duração estendida do treinamento para pares de línguas relacionadas ao alemão que desequilibrou a balança para um maior consumo de carbono. Embora alguns outros pares de línguas, como inglês>francês e francês>inglês, tivessem um consumo de carbono ainda maior, eles treinaram mais rapidamente e se resolveram mais facilmente, com esses surtos de consumo caracterizados pelos pesquisadores como ‘relativamente insignificantes’ em relação ao consumo por pares de línguas que incluem o alemão.

Análise dos pares de línguas por emissões de carbono do codificador/decodificador.

Os pesquisadores concluem:

‘Nossas descobertas fornecem uma indicação clara de que alguns pares de línguas são mais intensivos em carbono para treinar do que outros, uma tendência que se estende a diferentes arquiteturas.’

Eles continuam:

‘No entanto, ainda há perguntas sem resposta sobre por que existem diferenças tão acentuadas no treinamento de modelos para um par de línguas em particular em relação a outro, e se diferentes arquiteturas podem ser mais adequadas para esses pares de línguas intensivos em carbono, e por que isso seria o caso se for verdadeiro.’

O artigo enfatiza que as razões para a disparidade do consumo de carbono nos modelos de treinamento não estão completamente claras. Eles antecipam desenvolver essa linha de estudo com línguas não baseadas em latim.

13h20 GMT+2 – Erro de texto corrigido.