多言語LLMの現状: 英語を超えて

マイクロソフトの研究によると、世界の言語の約88%、12億人が話す言語が、大規模言語モデル（LLM）へのアクセスが不足しています。これは、ほとんどのLLMが英語中心であり、英語のデータで構築され、英語を話す人向けに設計されているためです。この英語の優位性はLLMの開発でも続いており、デジタル言語ギャップを生み出し、多くの人をLLMの利点から除外する可能性があります。LLMのこの問題を解決するには、異なる言語でトレーニングできるLLMと、異なる言語でタスクを実行できるLLMが必要です。多言語LLMの登場です！

多言語LLMとは?

多言語LLMは、複数の言語でテキストを理解し、生成できます。異なる言語のデータセットでトレーニングされ、ユーザーのプロンプトから複数の言語でタスクを実行できます。

多言語LLMの応用例は膨大であり、文学を地元の方言に翻訳したり、リアルタイムの多言語コミュニケーション、多言語コンテンツの作成などが含まれます。これらは、誰でもが簡単に情報にアクセスし、会話をすることができるようにします。

また、多言語LLMは、文化的なニュアンスとコンテキストの欠如、トレーニングデータの制限、翻訳時の知識の潜在的な損失などの課題に対処します。

多言語LLMのしくみ

多言語LLMを構築するには、さまざまな言語のテキストでバランスのとれたコーパスを慎重に準備し、トレーニングのための適切なアーキテクチャとテクニックを選択する必要があります。たとえば、Transformerモデルは、多言語学習に適しています。

ソース: 著者による画像

1つのテクニックは、単語の意味をさまざまな言語で共有することです。これにより、LLMは各言語の類似性と相違性を学習し、さまざまな言語をよりよく理解することができます。

この知識により、LLMはさまざまな言語タスク、たとえば言語の翻訳やスタイルの書き込みなどに適応することができます。別のテクニックは、クロスリンガル・トランスファー・ラーニングで、モデルは多言語データの大規模コーパスで事前トレーニングされた後、特定のタスクでファインチューニングされます。

この2段階のプロセスにより、モデルは多言語言語理解に強固な基礎を持ち、さまざまなダウンストリーム・アプリケーションに適応できるようになります。

多言語LLMの例

ソース: Ruder.io

いくつかの注目すべき多言語LLMの例があり、それぞれが特定の言語的ニーズと文化的背景に対応しています。いくつかを紹介します：

1. BLOOM

BLOOMは、多様な言語とアクセシビリティを優先するオープンアクセスの多言語LLMです。176億のパラメータを持ち、BLOOMは46の自然言語と13のプログラミング言語でタスクを実行できます。これにより、BLOOMは最大で最も多様なLLMの1つになります。

BLOOMのオープンソース性により、研究者、開発者、言語コミュニティがその機能を利用し、改善に貢献できます。

2. YAYI 2

YAYI 2は、特にアジアの言語の複雑さと文化的ニュアンスを考慮して設計されたオープンソースのLLMです。16以上のアジア言語で構成されるコーパスからスクラッチで事前トレーニングされ、2.65兆のフィルタリングされたトークンを含みます。

これにより、モデルはアジアの言語と文化の特定の要件を満たす優れた結果をもたらします。

3. PolyLM

PolyLMは、低リソース言語の課題に対処するために適応機能を提供するオープンソースの「ポリグロット」LLMです。約640億トークンのデータセットでトレーニングされ、1.7Bと13Bの2つのモデルサイズで利用できます。PolyLMは16以上の言語をサポートします。

これにより、高リソース言語でトレーニングされたモデルを、限られたデータを持つ低リソース言語でファインチューニングできます。この柔軟性により、LLMはさまざまな言語状況とタスクでより有用になります。

4. XGLM

XGLMは、7.5億のパラメータを持つ多言語LLMで、20以上の言語をカバーするコーパスでトレーニングされ、ファイナチューニングのテクニックを使用しています。XGLMは、大規模な多言語LLMのファミリーの一部であり、テキストとコードの大量のデータセットでトレーニングされています。

XGLMは、多くの言語を完全にカバーすることを目指しており、言語的多様性と包摂性に重点を置いています。XGLMは、さまざまな言語コミュニティのニーズに応えるモデルを構築するための潜在性を示しています。

5. mT5

mT5（マルチ言語テキスト・ツー・テキスト・トランスファー・トランスフォーマー）は、Google AIによって開発されました。mT5は、コモン・クロール・データセットでトレーニングされた、101の言語をサポートする最先端の多言語LLMです。スペイン語や中国語などの広く話される言語から、バスク語やケチュア語などの低リソース言語まで、幅広い言語を扱うことができます。

mT5は、翻訳、要約、質問回答などの多言語タスクでも優れています。

万能LLMは可能か?

特定の言語への偏見なく、言語を理解し生成できる言語中立のLLMの概念は、魅力的です。

完全な万能LLMの開発はまだ遠い将来の話ですが、現在の多言語LLMはすでに大きな成功を収めています。完全に開発されれば、代表されていない言語や多様なコミュニティのニーズに対応できるようになります。

たとえば、研究によると、多くの多言語LLMは、リソース豊富な言語からリソース不足な言語へのゼロショット・クロスリンガル・トランスファーを、タスク固有のトレーニングデータなしで実現できます。

また、YAYIやBLOOMのようなモデルは、特定の言語やコミュニティに焦点を当て、進歩と包摂性を促進する言語中心のアプローチの潜在性を実証しています。

万能LLMまたは現在の多言語LLMを改善するには、個人や組織は以下のことを行う必要があります：

• ネイティブ・スピーカーをクラウドソーシングして、言語データセットのキュレーションとコミュニティ・エンゲージメントを行います。
• 多言語研究と開発へのオープンソース・コントリビューションと資金提供をサポートします。

多言語LLMの課題

多言語LLMの概念は大きな期待を持たれていますが、以下の課題もあります。

1. データ量

多言語モデルは、単言語モデルよりも多くの語彙を必要とし、多くの言語では大規模なデータセットが不足しています。これにより、モデルを効果的にトレーニングすることが困難になります。

2. データ品質の懸念

多言語LLMの出力の正確性と文化的適切性を確保することは、重大な懸念事項です。モデルは、偏見や不正確性を避けるために、言語的および文化的ニュアンスに注意を払いながらトレーニングおよびファインチューニングする必要があります。

3. リソース制約

多言語モデルをトレーニングおよび実行するには、NVIDIA A100 GPUなどの大量の計算リソースが必要です。高コストは、特に計算インフラへのアクセスが限られている低リソース言語やコミュニティにとって、課題となります。

4. モデルアーキテクチャ

さまざまな言語構造や複雑さに対応できるモデルアーキテクチャを開発することは、継続的な課題です。モデルは、単語の順序、形態論的変異、文字体系の違いを処理しながら、高いパフォーマンスと効率性を維持する必要があります。

5. 評価の複雑さ

英語のベンチマークを超えて多言語LLMのパフォーマンスを評価することは、英語以外の言語の文化的ニュアンス、言語的特異性、ドメイン固有の要件を考慮する必要があります。

多言語LLMは、言語の壁を打ち破り、低リソース言語をエンパワーメントし、多様なコミュニティ間の効果的なコミュニケーションを促進する可能性があります。

最新のAIとMLのニュースや分析を逃さないでください。今日unite.aiを訪問してください。