L’elevato impatto carbonico dei modelli di traduzione automatica tedeschi

Una nuova ricerca sulle emissioni di carbonio generate dai modelli di traduzione automatica indica che il tedesco potrebbe essere la lingua più intensiva in termini di carbonio tra le lingue più popolari, anche se non è del tutto chiaro il motivo. Il nuovo rapporto ha lo scopo di aprire nuove vie di ricerca per metodi di formazione dell’AI più efficienti in termini di carbonio, nel contesto di una crescente consapevolezza dell’impatto ambientale dei sistemi di apprendimento automatico.

La bozza del documento si intitola Limita le tue emissioni di carbonio: valutazione delle emissioni di carbonio nella traduzione automatica e proviene da ricercatori dell’Istituto di Tecnologia di Manipal, in India.

Gli autori hanno testato i tempi di formazione e calcolato i valori di emissione di carbonio per una varietà di possibili modelli di traduzione interlinguistica e hanno trovato ‘una notevole disparità’ tra il tempo necessario per tradurre le tre coppie di lingue più intensive in termini di carbonio e le tre coppie di lingue più efficienti in termini di carbonio.

Media delle emissioni di carbonio rilasciate in 10 epoche di formazione. A sinistra, risultati utilizzando ConvSeq (vedi sotto), a destra, Transformers. Fonte: https://arxiv.org/pdf/2109.12584.pdf

Il documento ha scoperto che le coppie di lingue più ‘ecologiche’ da formare sono inglese>francese, francese>inglese e, paradossalmente, tedesco>inglese, mentre il tedesco figura in tutte le coppie di lingue più intensive in termini di carbonio: francese>tedesco, inglese>tedesco e tedesco>francese.

Interesse composto

I risultati suggeriscono che la diversità lessicale ‘è direttamente proporzionale al tempo di formazione necessario per raggiungere un livello di prestazione adeguato’ e notano che la lingua tedesca ha il punteggio di diversità lessicale più alto tra le tre lingue testate, come stimato dal suo Rapporto di tipo-token (TTR) – una misura della dimensione del vocabolario basata sulla lunghezza del testo.

Le richieste aumentate di elaborazione del tedesco nei modelli di traduzione non sono riflesse nei dati di origine utilizzati per l’esperimento. In effetti, i token della lingua tedesca generati dai dati di origine hanno meno token derivati (299445) rispetto all’inglese (320108) e molti meno rispetto al francese (335917).

La sfida, dal punto di vista dell’elaborazione del linguaggio naturale, è quella di decomporre le parole composte tedesche in parole costituenti. I sistemi di elaborazione del linguaggio naturale spesso devono farlo per il tedesco senza alcun segno di grammatica o di contesto che possa essere trovato in lingue con punteggi TTR più bassi, come l’inglese. Il processo è chiamato divisone di parole composte o decomposizione.

La lingua tedesca ha alcune delle parole individuali più lunghe del mondo, anche se nel 2013 ha perso il riconoscimento ufficiale della sua parola da 65 caratteri, che è abbastanza lunga da richiedere una propria riga in questo articolo:

Rindfleischetikettierungsueberwachungsaufgabenuebertragungsgesetz

La parola si riferisce a una legge che delega il monitoraggio dell’etichettatura della carne di manzo, ma è caduta in disuso a causa di un cambiamento nelle norme europee quell’anno, concedendo il posto ad altri popolari esempi, come ‘vedova di un capitano di una compagnia di battelli a vapore del Danubio’ (49 caratteri):

Donaudampfschifffahrtsgesellschaftskapitaenswitwe

In generale, la struttura sintattica del tedesco richiede una deviazione dalle ipotesi sull’ordine delle parole che sottostanno alle pratiche di elaborazione del linguaggio naturale in molte lingue occidentali, con il popolare framework di elaborazione del linguaggio naturale spaCY che adotta la propria lingua nel 2016.

Mapping proiettivi in una frase inglese e tedesca dimostrano le complesse interrelazioni tra elementi lessicali nella lingua tedesca. Fonte: https://explosion.ai/blog/german-model

Dati e test

Per i dati di origine, i ricercatori hanno utilizzato il dataset Multi30k, che contiene 30.000 campioni nelle lingue francese, tedesca e inglese.

Il primo dei due modelli utilizzati dai ricercatori è stato il modello Convolutional Sequence to Sequence (ConvSeq) di Facebook AI del 2017, una rete neurale che contiene layer convoluzionali ma che manca di unità ricorrenti e utilizza invece filtri per derivare caratteristiche dal testo. Ciò consente a tutte le operazioni di essere eseguite in modo parallelo e computazionalmente efficiente.

Il secondo approccio utilizzato è stato l’architettura Transformer di Google, anch’essa del 2017. I Transformer utilizzano layer lineari, meccanismi di attenzione e routine di normalizzazione. Ammettendo che il modello originale rilasciato sia stato criticato per l’inefficienza in termini di carbonio, con affermazioni di miglioramenti successivi contestate.

Gli esperimenti sono stati condotti su Google Colab, uniformemente su una Tesla K80 (TSLA ) GPU. Le lingue sono state confrontate utilizzando una metrica di punteggio BLEU (Bilingual Evaluation Understudy) e il CodeCarbon Machine Learning Emissions Calculator. I dati sono stati formati su 10 epoche.

Risultati

I ricercatori hanno scoperto che è stata la durata prolungata della formazione per le coppie di lingue che includono il tedesco a spostare l’equilibrio verso un consumo di carbonio più elevato. Anche se alcune altre coppie di lingue, come inglese>francese e francese>inglese, avevano un consumo di carbonio ancora più elevato, si sono formate più velocemente e si sono risolte più facilmente, con questi picchi di consumo caratterizzati dai ricercatori come ‘relativamente insignificanti’ in relazione al consumo delle coppie di lingue che includono il tedesco.

Analisi delle emissioni di carbonio delle coppie di lingue per encoder/decoder.

I ricercatori concludono:

‘I nostri risultati forniscono una chiara indicazione che alcune coppie di lingue sono più intensive in termini di carbonio da formare rispetto ad altre, una tendenza che si estende a diverse architetture.’

Continuano:

‘Tuttavia, rimangono domande senza risposta riguardo al motivo per cui ci sono differenze così nette nella formazione di modelli per una particolare coppia di lingue rispetto a un’altra, e se diverse architetture potrebbero essere più adatte per queste coppie di lingue intensive in termini di carbonio, e perché questo sarebbe il caso se vero.’

Il documento sottolinea che le ragioni della disparità del consumo di carbonio tra i modelli di formazione non sono del tutto chiare. Anticipano di sviluppare questa linea di studio con lingue non basate sul latino.

13.20 – Corretto errore di testo.