ドイツ語自動翻訳モデルの高炭素足跡

機械学習翻訳モデルによって生じる炭素足跡に関する新しい研究によると、ドイツ語は最も炭素を多く消費する人気言語である可能性が高いことが示唆されています。しかし、その理由は完全には明らかではありません。この新しい報告書は、機械学習システムが電気を大量に消費していることが明らかになる中で、より炭素効率の良いAIトレーニング方法に関する研究を進めることを目的としています。

このプレプリント論文は、炭素排出量を抑制せよ：機械翻訳における炭素排出量のベンチマークというタイトルで、インドのマニパル工科大学の研究者によって発表されました。

著者は、さまざまな言語間翻訳モデルのトレーニング時間と炭素排出量を計算し、3つの最も炭素を多く消費する言語ペアと3つの最も炭素を少なく消費するモデル之间に「注目すべき差」があることを発見しました。

10エポックのトレーニングで発生する炭素排出量の平均。左側はConvSeq（以下参照）、右側はTransformersを使用した結果。 ソース：https://arxiv.org/pdf/2109.12584.pdf

この論文では、最も「環境に優しい」言語ペアは、英語からフランス語、フランス語から英語、そしてドイツ語から英語であることがわかりました。一方、フランス語からドイツ語、英語からドイツ語、ドイツ語からフランス語などの言語ペアは、最も炭素を多く消費するペアでした。

複利

研究結果は、語彙の多様性が「適切なパフォーマンスレベルに到達するためのトレーニング時間」と直接比例することを示唆しています。また、ドイツ語の語彙多様性スコアは、Type-Token Ratio（TTR）によって推定された3つのテスト言語の中で最高であることも示しています。

実験で使用されたソースデータは、ドイツ語のトークンが299,445個生成されたのに対し、英語は320,108個、フランス語は335,917個生成されたため、ドイツ語のトレーニングに必要なリソースは実際には少ないと考えられます。

自然言語処理（NLP）の観点から、ドイツ語の複合語を構成要素に分解することが課題です。NLPシステムは、英語などのTTRスコアが低い言語では見られる文脈や文法的ヒントがなくても、ドイツ語の複合語を分解する必要があります。このプロセスは、複合語分解または分割と呼ばれます。

ドイツ語には、世界で最も長い単語の1つがあります。2013年には、65文字の最長単語が公式に認められていましたが、ヨーロッパの規制変更により、現在はその地位を失っています。その単語は、

Rindfleischetikettierungsueberwachungsaufgabenuebertragungsgesetz

でした。この単語は、牛肉のラベル監視を委任する法律を指しますが、現在は使用されていません。その代わりに、

Donaudampfschifffahrtsgesellschaftskapitaenswitwe

のような単語が使用されています。

一般に、ドイツ語の構文は、多くの西洋言語で使用されているNLPの前提となる単語の順序から逸脱しています。ベルリンを拠点とするspaCY NLPフレームワークは、2016年に独自の言語モデルを採用しました。

英語とドイツ語の文における投影的マッピング。 ソース：https://explosion.ai/blog/german-model

データとテスト

研究者は、Multi30kデータセットを使用しました。このデータセットには、フランス語、ドイツ語、英語の30,000サンプルが含まれています。

研究者が使用した最初のモデルは、Facebook AIの2017年のConvolutional Sequence to Sequence（ConvSeq）でした。このモデルは、再帰ユニットを含まないニューラルネットワークで、代わりにフィルタを使用してテキストから特徴を抽出します。これにより、すべての操作を並列に実行できます。

2番目のアプローチは、Googleの影響力のあるTransformersアーキテクチャを使用しました。Transformersは、線形層、注意メカニズム、正規化ルーチンを使用します。ただし、元のモデルは炭素効率が低いと批判されており、改善が行われたと主張されています。

実験は、Google Colabで、Tesla K80 GPUを使用して行われました。言語は、BLEU（Bilingual Evaluation Understudy）スコアメトリックと、CodeCarbon Machine Learning Emissions Calculatorを使用して比較されました。データは10エポックでトレーニングされました。

結果

研究者は、ドイツ語関連の言語ペアのトレーニング時間が長いため、炭素消費量が高くなったことを発見しました。英語からフランス語やフランス語から英語などの言語ペアは、より高い炭素消費量を示しましたが、トレーニング時間は短く、解決も容易でした。研究者は、これらの消費量を「相対的に重要でない」と評価しました。

エンコーダー/デコーダーによる炭素排出量の分析。

研究者は、次のように結論付けています。

「私たちの研究結果は、ある言語ペアは他の言語ペアよりも炭素を多く消費することを示唆しており、これはさまざまなアーキテクチャにも当てはまります。」

さらに、次のように述べています。

「しかし、特定の言語ペアのトレーニングモデル間の炭素消費量の差異に関する未解決の疑問があります。さらに、さまざまなアーキテクチャがこれらの炭素を多く消費する言語ペアに適しているかどうか、またその理由が何であるかについても疑問があります。」

論文では、トレーニングモデル間の炭素消費量の差異の理由は完全には明らかではなく、非ラテン語系言語を使用した研究を進める予定であると述べています。

1.20pm GMT+2 – テキストのエラーを修正しました。