Amprenta de carbon ridicată a modelelor de traducere automată germană

Noi cercetări privind amprenta de carbon creată de modelele de traducere prin mașini indică faptul că limba germană ar putea fi cea mai intensivă din punct de vedere al carbonului pentru a fi antrenată, deși nu este complet clar de ce. Noul raport are scopul de a deschide noi direcții de cercetare pentru metode de antrenare a inteligenței artificiale mai eficiente din punct de vedere al carbonului, în contextul unei conștientizări crescânde a extinderii consumului de electricitate de către sistemele de învățare automată.

Articolul preprintat se intitulează Reducerea emisiilor de carbon: evaluarea emisiilor de carbon în traducerea mașinilor și provine de la cercetători de la Institutul de Tehnologie Manipal din India.

Autorii au testat timpul de antrenare și au calculat valorile emisiilor de carbon pentru o varietate de posibile modele de traducere interlimbaj și au găsit “o disparitate notabilă” între timpul necesar pentru a traduce cele trei perechi de limbi mai intense din punct de vedere al carbonului și cele trei modele mai economice din punct de vedere al carbonului.

O medie a emisiilor de carbon eliberate pe parcursul a 10 epoci de antrenare. În stânga, rezultatele utilizând ConvSeq (a se vedea mai jos), în dreapta, Transformers. Sursă: https://arxiv.org/pdf/2109.12584.pdf

Articolul a constatat că cele mai “ecologice” perechi de limbi pentru a fi antrenate sunt engleză-franceză, franceză-engleză și, paradoxal, germană-engleză, în timp ce germana este prezentă în toate perechile cu consum ridicat de carbon: franceză-germană, engleză-germană și germană-franceză.

Dobânda compusă

Rezultatele sugerează că diversitatea lexicală “este direct proporțională cu timpul de antrenare pentru a atinge un nivel adecvat de performanță” și notează că limba germană are cel mai ridicat scor de diversitate lexicală dintre cele trei limbi testate, estimat prin Raportul Tip-Token (TTR) – o măsură a dimensiunii vocabularului pe baza lungimii textului.

Cererea crescută de procesare a limbii germane în modelele de traducere nu este reflectată în datele sursă utilizate pentru experiment. De fapt, tokenurile limbii germane generate din datele sursă au mai puține (299445) tokenuri derivate decât engleza (320108) și mult mai puține decât franceza (335917).

Provocarea, din punct de vedere al Procesării Limbajului Natural (NLP), constă în a descompune cuvintele compuse germane în cuvinte constitutive. Sistemele NLP trebuie adesea să facă acest lucru pentru germană fără niciun fel de indicii gramaticale sau contextuale care pot fi găsite în limbi cu scoruri TTR mai scăzute, cum ar fi engleza. Procesul se numește descompunere compusă sau decompunere.

Limba germană are unele dintre cele mai lungi cuvinte individuale din lume, deși în 2013 a pierdut recunoașterea oficială a cuvântului său record de 65 de caractere, care este suficient de lung pentru a necesita propria linie în acest articol:

Rindfleischetikettierungsueberwachungsaufgabenuebertragungsgesetz

Cuvântul se referă la o lege care deleagă monitorizarea etichetării cărnii de vită, dar a dispărut din cauza unei schimbări în reglementările europene din acel an, cedând locul altor cuvinte populare, cum ar fi “văduva unui căpitan de companie de vaporașe pe Dunăre” (49 de caractere):

Donaudampfschifffahrtsgesellschaftskapitaenswitwe

În general, structura sintactică a limbii germane necesită o abatere de la ipotezele privind ordinea cuvintelor care stau la baza practicilor NLP în multe limbi occidentale, cu cadrul NLP popular (Berlin-based) spaCY adoptând propria limbă nativă în 2016.

Hărți proiective într-o frază engleză și germană demonstrează relațiile complexe între elementele lexicale în limba germană. Sursă: https://explosion.ai/blog/german-model

Date și testare

Pentru datele sursă, cercetătorii au utilizat setul de date Multi30k, care conține 30.000 de exemple în limbile franceză, germană și engleză.

Primul dintre cele două modele utilizate de cercetători a fost modelul Convolutional Sequence to Sequence (ConvSeq) al Facebook AI din 2017, o rețea neuronală care conține straturi convoluționale, dar care lipsește unități recurente și utilizează filtre pentru a deriva caracteristici din text. Acest lucru permite ca toate operațiunile să aibă loc într-un mod paralel eficient din punct de vedere computațional.

Abordarea a doua a utilizat arhitectura influentă a lui Google, Transformers, din 2017. Transformers utilizează straturi liniare, mecanisme de atenție și rutine de normalizare. Se admite că modelul original lansat a fost criticat pentru ineficiența din punct de vedere al carbonului, cu afirmații privind îmbunătățirile ulterioare contestate.

Experimentele au fost efectuate pe Google Colab, uniform pe un Tesla K80 GPU. Limbile au fost comparate utilizând o BLEU (Bilingual Evaluation Understudy) scor metric și CodeCarbon Calculatorul de emisii de mașini de învățare. Datele au fost antrenate pe parcursul a 10 epoci.

Rezultate

Cercetătorii au constatat că a fost durata prelungită de antrenare pentru perechile de limbi germane care a înclinat balanța spre un consum mai mare de carbon. Deși unele alte perechi de limbi, cum ar fi engleză-franceză și franceză-engleză, au avut un consum și mai mare de carbon, ele s-au antrenat mai repede și s-au rezolvat mai ușor, cu aceste izbucniri de consum caracterizate de cercetători ca “relativ insignificante” în raport cu consumul de către perechile de limbi care includ germana.

Analiza perechilor de limbi prin emisiile de carbon ale encoderului/decoderului.

Cercetătorii concluzionează:

‘Rezultatele noastre oferă o indicație clară că unele perechi de limbi sunt mai intense din punct de vedere al carbonului pentru a fi antrenate decât altele, o tendință care se extinde asupra diferitelor arhitecturi.’

Ei continuă:

‘Cu toate acestea, rămân întrebări fără răspuns cu privire la de ce există astfel de diferențe izbitoare în antrenarea modelelor pentru o anumită pereche de limbi față de alta și dacă arhitecturi diferite ar putea fi mai potrivite pentru aceste perechi de limbi intense din punct de vedere al carbonului, și de ce acest lucru ar fi valabil dacă este adevărat.’

Articolul subliniază că motivele disparității consumului de carbon în modelele de antrenare nu sunt complet clare. Ei anticipează dezvoltarea acestei linii de studiu cu limbi non-latine.

13.20 – Corectată eroarea de text.