DeepMind が JEST アルゴリズムを導入: AI モデルのトレーニングをより高速、安価、環境に優しいものに

生成 AI は驚異的な進歩を遂げており、医療、教育、金融、芸術、スポーツなどの分野を変革しています。この進歩は主に、AI がより大きなデータセットから学習し、数十億のパラメータを持つより複雑なモデルを構築する能力が向上したことによるものです。これらの進歩は重要な科学的発見を促し、新しいビジネス チャンスを生み出し、産業の成長につながっていますが、特にこれらの大規模モデルのトレーニングによる経済的および環境的影響を考慮すると、コストは高くなります。学習アルゴリズムは、生成 AI モデルを大規模なデータセットでトレーニングするためにかなりの計算能力を必要とし、これは高いエネルギー消費と顕著な二酸化炭素排出量につながります。

生成AIを持続可能にするためのこれまでの取り組みは、AIトレーニングのハードウェア効率の向上と、パラメータの少ない小型モデルの開発に重点を置いていたが、Google DeepMindは革新的なアプローチを採用し、生成AIトレーニングアルゴリズムの効率向上を目指している。彼らは新しいアルゴリズムを開発した。 JEST (共同例選択)これは、現在の技術よりも 13 倍高速に動作し、XNUMX 倍の電力効率を実現します。

この記事では、AI トレーニングの課題と、JEST がこれらの問題にどのように取り組んでいるかについて説明します。さらに、JEST アルゴリズムのより広範な影響と将来の研究の方向性を検討し、AI トレーニングの速度、コスト効率、環境への配慮の向上を超えた潜在的な影響を予測します。

AIトレーニングの課題：高コストと環境への影響

生成 AI モデルのトレーニングは、コストが高く、環境に大きな影響を与えるため、大きな課題となります。

• 財務費用: 生成AIモデルのトレーニングはコストのかかる取り組みです。最近の推定によると、3億のパラメータを持つOpenAIのGPT-175のような単一の大規模モデルをトレーニングするには、 約$ 4.6百万ChatGPT-4のトレーニングにはOpenAIが約 100万ドルこれらの費用は、主に、膨大な計算リソース、広範囲にわたるデータ処理、および長時間のトレーニングに必要となることに起因します。
• エネルギー消費： 生成型AIのトレーニングプロセスは、非常にエネルギーを消費します。これらのモデルのトレーニングには数千のGPUが関与し、数ギガワット時のエネルギーを消費するため、プロセスは非常にエネルギーを消費します。AIトレーニング用のコンピューティングインフラストラクチャを収容するデータセンターは、年間約200テラワット時（TWh）の電力を消費します。 世界の電力需要の1%マッキンゼーのレポートでは、米国のデータセンターの電力消費量は17年の2017ギガワット（GW）からXNUMX年にはXNUMX万GWに増加する可能性があると予測されています。 35 年までに 2030 GWこの追加需要を満たすには、フーバーダム 9 基に相当する水力が必要になります。
• カーボンフットプリント： 生成AIモデルのトレーニングには大量のエネルギーが消費されるため、温室効果ガスの排出に大きく寄与し、気候変動を悪化させています。マサチューセッツ大学アマースト校の研究では、大規模なAIモデルのトレーニングでは、その寿命中に自動車5台分に相当する量の二酸化炭素が排出されることがわかりました。具体的には、1つのAIモデルのトレーニングで、 626,000ポンドのCO2これは、アメリカ大陸横断飛行315回分の二酸化炭素排出量に相当します。

これらの課題は、主に 2 つの原因から生じています。それは、エネルギーを大量に消費する計算ハードウェアへの依存と、現在のトレーニング アルゴリズムの非効率性です。AI コミュニティはエネルギー効率の高いハードウェアの開発で大きな進歩を遂げていますが、データの使用を最適化し、トレーニング時間を短縮できる、よりスマートなアルゴリズムの作成にさらに重点を置く必要があります。Google が最近導入した JEST アルゴリズムは、トレーニング アルゴリズムをよりスマートにするための先駆的な研究です。重要なデータをインテリジェントに選択することで、JEST は AI トレーニングの効率を大幅に向上させ、より持続可能でコスト効率の高い生成 AI モデルのトレーニングへの道を開きます。

JESTアルゴリズムを理解する

JEST は、マルチモーダル生成 AI モデルをより効率的にトレーニングするために設計された学習アルゴリズムです。JEST の仕組みを理解するには、AI トレーニングを複雑なパズルを解くことと考えてください。各ピース (データ ポイント) が全体像 (AI モデル) の構築に役立ちます。JEST は熟練したパズル ソルバーのように動作し、プロセスをより効率的にします。パズル ソルバーが最も重要で特徴的なピースを選ぶのと同じように、JEST はデータセットから最も価値のあるデータ バッチを識別して選択し、各バッチが AI 開発で重要な役割を果たすようにします。

JEST は、より小さな AI モデルを使用してデータ バッチの品質を評価します。これらのバッチは、モデル トレーニングにおける有効性に基づいてランク付けされます。慎重に選択されたバッチを使用して、JEST は戦略的にそれらを組み立て、モデルをトレーニングします。パズルを解く人がパズルのピースを配置して効率と一貫性を最大化するのと同じように、JEST は最も有益なバッチを優先して選択することで、トレーニング プロセスを大幅に高速化します。

JEST のアプローチの重要な部分は、マルチモーダル対照学習です。この手法は、テキストや画像など、異なるデータ タイプ間の対応関係を学習することに重点を置いています。JEST は、マルチモーダル対照学習ベースの方法を採用して、モデルのトレーニングにおけるマルチモーダル データ サンプルの有効性を評価します。個々のデータ サンプルの有効性に加えて、JEST はデータ サンプルの集合的な学習可能性も評価して、より大きな「スーパー バッチ」から小さなデータ バッチを選択します。このプロセスにより、JEST は課題と豊富な学習機会を提供するバッチを選択して優先順位を付けることができます。

将来展望: JEST はより速く、より安く、より環境に優しい AI トレーニングの先へ

JEST (Joint Example Selection) の将来的な影響について検討すると、その貢献は AI トレーニングの高速化、コスト削減、環境の持続可能性の促進だけにとどまらないことが明らかです。ここでは、JEST が生成 AI の分野をどのように改善し、変革し続けることができるかについて詳しく説明します。

• 強化されたモデルのパフォーマンスと精度: JEST のデータ選択と優先順位付けに対する革新的なアプローチにより、トレーニング時間が短縮され、モデルのパフォーマンスが向上します。最も有益なデータ バッチに重点を置くことで、JEST は AI モデルが高品質の入力でトレーニングされることを保証し、精度と堅牢性を向上させます。この利点は、医療診断、財務予測、自律システムなど、精度と信頼性が最も重要となるアプリケーションでは非常に重要です。
• データの偏りの特定と軽減: AIは、特定のグループや視点が過小評価されたり、誤って評価されたりする偏ったデータセットになりがちです。JESTのデータ選択アプローチでは、データバッチの品質と情報量を評価します。多様で代表的なデータサンプルを優先することで、JESTはAIシステムがよりバランスの取れたデータセットから学習できるように支援します。 トレーニングデータのバイアスを減らすたとえば、ヘルスケア AI アプリケーションでは、JEST はさまざまな人口統計学的要因を網羅するデータ バッチを選択できるため、医療診断モデルが多様な患者集団でトレーニングされることが保証されます。この選択により、人種、性別、社会経済的地位に基づいて特定のグループに不均衡な影響を与える可能性のあるバイアスのリスクが軽減されます。
• イノベーションと研究の促進: JEST は、AI モデルのトレーニングに必要な計算リソースと時間を大幅に削減することで、研究者やイノベーターにとっての参入障壁を下げます。このアクセシビリティにより、より活発な AI 開発エコシステムが促進され、小規模なチームや組織が高度な AI ソリューションを試して導入できるようになります。さらに、JEST によって効率性が向上することで、新しいアーキテクチャ、高度なアルゴリズム、倫理的な AI フレームワークなど、AI の新たな領域を探求するために再配分できるリソースが解放されます。
• 包括的なAI開発の推進: AI 開発には、偏見や倫理的懸念を効果的に軽減するために、多様な視点と入力を取り入れる必要があります。情報価値と代表性に基づいてデータを選択できる JEST の機能は、データセットのキュレーションにおける包括的な実践を促進します。AI 開発者は、倫理、社会科学、ドメイン固有の分野の専門家を含む学際的なチームをデータ選択基準の定義に参加させることで、JEST が偏見や倫理的考慮事項に効果的に対処していることを保証できます。この共同アプローチにより、より包括的で責任ある AI テクノロジの開発が促進されます。

ボトムライン

DeepMind による JEST アルゴリズムの導入は、生成型 AI トレーニングの大きな飛躍を表しています。トレーニング プロセスを大幅に高速化し、エネルギー消費を削減することで、JEST は大幅なコスト削減を実現し、AI 開発に関連する環境問題に対処します。これらの利点以外にも、JEST はモデルの精度を向上させ、データの偏りを軽減し、イノベーションを促進し、包括的な AI 開発を促進する可能性があります。JEST の継続的な改良と適用は、AI の未来を再定義し、より効率的で持続可能で倫理的に責任ある AI ソリューションへと前進する準備ができています。