L’empreinte carbone élevée des modèles d’auto-traduction allemands

De nouvelles recherches sur l’empreinte carbone créée par les modèles de traduction par apprentissage automatique indiquent que l’allemand peut être la langue la plus intensive en carbone à former, bien que les raisons ne soient pas entièrement claires. Le nouveau rapport vise à ouvrir de nouvelles voies de recherche sur des méthodes de formation d’IA plus efficaces en carbone, dans le contexte d’une prise de conscience croissante de la mesure dans laquelle les systèmes d’apprentissage automatique consomment de l’électricité.

Le pré-imprimé est intitulé Curb Your Carbon Emissions: Benchmarking Carbon Emissions in Machine Translation, et provient de chercheurs de l’Institut de technologie de Manipal en Inde.

Les auteurs ont testé les temps de formation et calculé les valeurs d’émissions de carbone pour divers modèles de traduction inter-langues possibles, et ont constaté « une disparité notable » entre le temps nécessaire pour traduire les trois paires de langues les plus intensives en carbone et les trois modèles les plus économiques en carbone.

Moyenne des émissions de carbone libérées sur 10 époques de formation. À gauche, résultats utilisant ConvSeq (voir ci-dessous), à droite, Transformers. Source: https://arxiv.org/pdf/2109.12584.pdf

Le document a constaté que les paires de langues les plus « écologiques » à former sont l’anglais>français, le français>anglais et, de manière paradoxale, l’allemand vers l’anglais, tandis que l’allemand figure dans toutes les paires à plus forte consommation: le français>allemand, l’anglais>allemand et l’allemand>français.

Intérêt composé

Les résultats suggèrent que la diversité lexicale « est directement proportionnelle au temps de formation pour atteindre un niveau de performance adéquat », et notent que la langue allemande a le score de diversité lexicale le plus élevé parmi les trois langues testées, estimé par son Type-Token Ratio (TTR) – une mesure de la taille du vocabulaire basée sur la longueur du texte.

Les exigences accrues de traitement de la langue allemande dans les modèles de traduction ne sont pas reflétées dans les données sources utilisées pour l’expérience. En fait, les jetons de langue allemande générés à partir des données sources ont moins (299445) de jetons dérivés que l’anglais (320108), et beaucoup moins que le français (335917).

Le défi, du point de vue du traitement automatique des langues, est de décomposer les mots composés allemands en mots constitutifs. Les systèmes TAL doivent souvent le faire pour l’allemand sans aucune des pré-clauses de grammaire ou d’indices contextuels qui peuvent être trouvés dans les langues à scores TTR plus bas, comme l’anglais. Le processus est appelé division de mots composés ou décomposition.

La langue allemande a certains des mots les plus longs du monde, bien qu’en 2013, elle ait perdu la reconnaissance officielle de son ancien record de 65 caractères, qui est suffisamment long pour nécessiter sa propre ligne dans cet article:

Rindfleischetikettierungsueberwachungsaufgabenuebertragungsgesetz

Le mot fait référence à une loi déléguant la surveillance de l’étiquetage de la viande de bœuf, mais a disparu en raison d’un changement dans les réglementations européennes cette année-là, concédant la place à d’autres vedettes populaires, telles que « veuve d’un capitaine de compagnie de bateau à vapeur du Danube » (49 caractères):

Donaudampfschifffahrtsgesellschaftskapitaenswitwe

En général, la structure syntaxique de l’allemand nécessite un écart par rapport aux hypothèses d’ordre des mots qui sous-tendent les pratiques TAL dans de nombreuses langues occidentales, avec le cadre TAL populaire (basé à Berlin) spaCY adoptant sa propre langue native en 2016.

Les mappings projectifs dans une phrase anglaise et allemande démontrent les relations complexes entre les éléments lexicaux de la langue allemande. Source: https://explosion.ai/blog/german-model

Données et tests

Pour les données sources, les chercheurs ont utilisé l’ensemble de données Multi30k, contenant 30 000 échantillons dans les langues française, allemande et anglaise.

Le premier des deux modèles utilisés par les chercheurs était Facebook AI’s 2017 Convolutional Sequence to Sequence (ConvSeq), un réseau neuronal qui contient des couches convolutionnelles mais qui manque d’unités récurrentes, et utilise des filtres pour dériver des fonctionnalités à partir du texte. Cela permet à toutes les opérations de se dérouler de manière parallèle et computationnellement efficace.

La deuxième approche utilisée l’architecture Transformers influente de Google, également de 2017. Les Transformers utilisent des couches linéaires, des mécanismes d’attention et des routines de normalisation. Admettons que le modèle original publié est sous critique pour son inefficacité carbone, avec des allégations de progrès ultérieurs contestés.

Les expériences ont été menées sur Google Colab, de manière uniforme sur un Tesla K80 GPU. Les langues ont été comparées à l’aide d’un BLEU (Bilingual Evaluation Understudy) score métrique, et le CodeCarbon Machine Learning Emissions Calculator. Les données ont été formées sur 10 époques.

Résultats

Les chercheurs ont constaté que c’était la durée prolongée de la formation pour les paires de langues liées à l’allemand qui a fait basculer l’équilibre vers une consommation de carbone plus élevée. Bien que certaines autres paires de langues, telles que l’anglais>français et le français>anglais, aient eu une consommation de carbone plus élevée, elles se sont formées plus rapidement et se sont résolues plus facilement, avec ces sursauts de consommation caractérisés par les chercheurs comme « relativement insignifiants » par rapport à la consommation des paires de langues qui incluent l’allemand.

Analyse des paires de langues par émissions de carbone d’encodeur/décodeur.

Les chercheurs concluent:

‘Nos résultats fournissent une indication claire que certaines paires de langues sont plus intensives en carbone à former que d’autres, une tendance qui se poursuit sur différentes architectures.’

Ils poursuivent:

‘Cependant, il reste des questions sans réponse concernant les raisons de ces différences marquées dans la formation de modèles pour une paire de langues particulière par rapport à une autre, et si différentes architectures pourraient être plus adaptées pour ces paires de langues intensives en carbone, et pourquoi cela serait le cas si c’est vrai.’

Le document souligne que les raisons de la disparité de la consommation de carbone entre les modèles de formation ne sont pas entièrement claires. Ils prévoient de développer cette ligne d’étude avec des langues non basées sur le latin.

13h20 GMT+2 – Erreur de texte corrigée.