ディープマインド、JESTアルゴリズムを導入：AIモデルトレーニングを高速化、低コスト化、環境に優しい

生成的なAIは、医療、教育、金融、芸術、スポーツなどの分野で驚くべき進歩を遂げています。この進歩は、主にAIがより大きなデータセットから学び、数十億のパラメータを持つより複雑なモデルを構築する能力の向上から来ています。ただし、これらの進歩は、科学的発見、ビジネス機会の創出、産業の成長につながりましたが、高いコスト、特に財政的および環境的影響を伴うものです。生成的なAIモデルをトレーニングするための学習アルゴリズムは、トレーニングに大量の計算資源を必要とし、多大なエネルギーを消費し、注目すべき炭素足跡を残します。

生成的なAIを持続可能にするための以前の努力は、AIトレーニングのためのハードウェアの効率を向上させ、小さいモデルと少ないパラメータを開発することに重点を置いてきました。しかし、Google DeepMindは、生成的なAIトレーニングアルゴリズムの効率を向上させることを目指す革新的なアプローチを取りました。彼らは、JEST（ジョイントエクサンプルセレクション）と呼ばれる新しいアルゴリズムを開発しました。これは、現在の技術よりも13倍高速で、10倍の電力効率を実現します。

この記事では、AIトレーニングの課題とJESTがこれらの問題に対処する方法について探ります。さらに、JESTアルゴリズムの将来の研究方向と、より速く、低コストで、環境に優しいAIトレーニングを超えた潜在的な影響について考えてみます。

AIトレーニングの課題：高コストと環境への影響

生成的なAIモデルをトレーニングすることは、多大なコストと環境への影響を伴う課題です。

• 財政的コスト： 生成的なAIモデルをトレーニングすることは、高いコストがかかる作業です。最近の推定では、OpenAIのGPT-3のような大規模なモデル（175億パラメータ）をトレーニングするコストは、約460万ドルです。ChatGPT-4をトレーニングするコストは、OpenAIに約1億ドルかかったと推定されています。これらの費用は、主に大量の計算資源、広範なデータ処理、長時間のトレーニング時間の必要性に起因します。
• エネルギー消費： 生成的なAIトレーニングプロセスは、非常にエネルギーを消費します。モデルをトレーニングするには、数千のGPUが必要で、数ギガワット時（GWh）のエネルギーを消費します。これにより、プロセスは非常にエネルギーを消費します。データセンターは、AIトレーニングのためのコンピューティングインフラストラクチャを収容し、約200テラワット時（TWh）の電力を年間消費します。これは、世界の電力需要の約1%に相当します。マッキンゼーの報告書によると、米国のデータセンターの電力消費量は、2017年の17ギガワット（GW）から2030年までに35 GWに増加する可能性があり、追加の需要を満たすために9つのフーバーダムに相当する出力が必要になります。
• 炭素足跡： 生成的なAIモデルをトレーニングするための高エネルギー消費は、温室効果ガスの排出を大幅に増加させ、気候変動を悪化させます。マサチューセッツ大学アマースト校の研究によると、大規模なAIモデルをトレーニングすることは、5台の車のライフタイムに相当する量の二酸化炭素を排出する可能性があります。具体的には、単一のAIモデルをトレーニングすることで、626,000ポンドの二酸化炭素を排出する可能性があり、315回の米国横断飛行に相当する炭素足跡を残します。

これらの課題は、主に2つの主要な源から生じます。高エネルギー消費の計算ハードウェアへの依存と、現在のトレーニングアルゴリズムの非効率性です。AIコミュニティは、エネルギー効率の高いハードウェアの開発に進歩を遂げてきましたが、データの使用を最適化し、トレーニング時間を削減することができるスマートなアルゴリズムの開発に重点を置く必要があります。Googleの最近導入されたJESTアルゴリズムは、トレーニングアルゴリズムをスマートにするための先駆的な研究です。重要なデータを選択することで、JESTはAIトレーニングの効率性を大幅に高め、生成的なAIモデルのトレーニングをより持続可能で低コストなものにする道を開きます。

JESTアルゴリズムの理解

JESTは、多モーダル生成的なAIモデルをより効率的にトレーニングするための学習アルゴリズムです。JESTのしくみを理解するには、AIトレーニングを複雑なパズルとして考えてみましょう。各ピース（データポイント）は、完全な絵（AIモデル）を構築するのに役立ちます。JESTは、経験豊富なパズルソルバーのように動作し、プロセスをより効率的にします。パズルソルバーが最も重要で特徴的なピースを選択するように、JESTはデータセットから最も貴重なデータバッチを特定し、選択します。各バッチは、AIの開発において重要な役割を果たします。

JESTは、小さいAIモデルを使用してデータバッチの品質を評価します。これらのバッチは、モデルトレーニングにおける有効性に基づいてランク付けされます。JESTは、慎重に選択されたバッチを戦略的に組み合わせてモデルをトレーニングします。パズルソルバーがパズルピースを効率的に配置するように、JESTは最も情報の多いバッチを優先して選択することで、トレーニングプロセスを大幅に高速化します。

JESTのアプローチの重要な部分は、多モーダル対比学習です。このテクニックは、テキストや画像などの異なるデータタイプ間の対応関係を学習することに焦点を当てています。JESTは、多モーダル対比学習に基づく方法を使用して、多モーダルデータサンプルのモデルトレーニングにおける有効性を評価します。個々のデータサンプルの有効性に加えて、JESTはデータサンプルの集団的な学習可能性も評価して、より大きな「スーパーバッチ」から小さなデータバッチを選択します。このプロセスにより、JESTは、学習の機会を提供するバッチを選択して優先順位付けできます。

将来への展望：JESTの可能性

JEST（ジョイントエクサンプルセレクション）の将来の影響を探るにつれて、JESTの貢献は、AIトレーニングの高速化、コスト削減、環境への配慮の向上にとどまらないことが明らかになります。ここでは、JESTが生成的なAIの分野を変革する可能性について掘り下げます：

• モデルパフォーマンスと精度の向上： JESTの革新的なデータ選択と優先順位付けのアプローチにより、トレーニング時間の短縮とモデルパフォーマンスの向上が実現します。最も情報の多いデータバッチに焦点を当てることで、JESTはAIモデルが高品質の入力でトレーニングされることを保証し、精度と堅牢性を向上させます。これは、医療診断、金融予測、自律システムなどの分野で、精度と信頼性が重要です。
• データの偏りの特定と軽減： AIは、特定のグループや視点が欠如している、または不正確に表現されているデータセットに敏感です。JESTのデータ選択アプローチには、データバッチの品質と情報量の評価が含まれます。多様で代表的なデータサンプルを優先することで、JESTはAIシステムがよりバランスの取れたデータセットから学習することを支援し、トレーニングデータの偏りを軽減することができます。たとえば、医療AIアプリケーションの場合、JESTはさまざまな人口統計要因を包含するデータバッチを選択することで、医療診断モデルが多様な患者集団でトレーニングされることを保証できます。これにより、人種、性別、または社会経済的地位に基づいて特定のグループに不均衡な影響を与える可能性のある偏りを軽減できます。
• イノベーションと研究の促進： AIモデルをトレーニングするために必要な計算資源と時間を大幅に削減することで、JESTは研究者とイノベーターにとっての障壁を低減します。これにより、より活発なAI開発のエコシステムが生まれ、小規模チームや組織でも先進的なAIソリューションを実験し、展開することができます。さらに、JESTが提供する効率性の向上により、リソースが新しいAIのフロンティア、たとえば新しいアーキテクチャ、先進的なアルゴリズム、倫理的なAIフレームワークの探索に向けて再配分される可能性があります。
• 包括的なAI開発の促進： AI開発には、偏りや倫理的な懸念を効果的に軽減するために、多様な視点と入力が必要です。JESTのデータ選択能力は、情報量と代表性に基づいてデータを選択することで、包括的なデータセットキュレーションの実践を促進します。AI開発者は、JESTが偏りや倫理的な懸念に対処するために効果的に機能することを保証するために、データ選択基準の定義に、倫理、社会科学、ドメイン固有の分野の専門家を含む多学際的なチームを関与させることができます。この共同アプローチにより、AIテクノロジーの開発がより包括的で責任あるものになります。

まとめ

DeepMindのJESTアルゴリズムの導入は、生成的なAIトレーニングの分野で重要な進歩を表します。トレーニングプロセスを大幅に高速化し、エネルギー消費を削減することで、JESTは大幅なコスト削減と環境への配慮を提供します。さらに、JESTはモデル精度の向上、データ偏りの軽減、イノベーションの促進、包括的なAI開発の促進に貢献する可能性があります。JESTの継続的な改良と応用は、より効率的、持続可能、倫理的に責任のあるAIソリューションに向けたAIの未来を再定義するでしょう。