Microsoft の Orca-2 AI モデルが持続可能な AI において大きな進歩を遂げるのはなぜですか?

過去 XNUMX 年間に人工知能が顕著な進歩を遂げたにもかかわらず、その中には次のような戦略的なゲームで人間のチャンピオンを破ることも含まれます。 チェスと囲碁 および タンパク質の3D構造を予測する、広く普及している 大規模言語モデル (LLM) パラダイムシフトを意味します。 これらのモデルは、人間とコンピューターの対話を変革する態勢を整えており、教育、顧客サービス、情報検索、ソフトウェア開発、メディア、ヘルスケアなどのさまざまな分野で不可欠なものとなっています。 こうした技術の進歩は科学の進歩をもたらし、産業の成長を促進しますが、地球にとっては注目すべきマイナス面も存在します。

LLM のトレーニングと利用のプロセスでは膨大な量のエネルギーが消費され、その結果、二酸化炭素排出量と温室効果ガス排出量の増加によって顕著な環境への重大な影響が生じます。 マサチューセッツ大学アマースト校の情報コンピュータ科学部による最近の研究では、LLM をトレーニングすると、 626,000ポンドの二酸化炭素これは、車 XNUMX 台の生涯排出量にほぼ相当します。 AI スタートアップの Hugging Face は、今年初めにリリースされた大規模な言語モデルである BLOOM のトレーニングが、 25メートルトン 二酸化炭素の排出量。 同様に、Facebook の AI モデル Meena は、車の運転による環境への影響と同等の二酸化炭素排出量を蓄積します。 240,000マイル トレーニングプロセス全体を通して。

LLM のトレーニングにもかかわらず、LLM にとって不可欠なクラウド コンピューティングの需要が現在、 より多くの排出量 航空業界全体よりも。 単一のデータセンターは、次の量の電力を消費する可能性があります。 50,000ホームズ。 別の研究では、単一の大規模な言語モデルをトレーニングすると、同じくらい多くのことが解放されることが強調されています。 車2台分のCOXNUMX 一生を通じてエネルギーを使い続けるのです。 予測によると、AI の排出量は 300％by 2025、AIの進歩と環境への責任のバランスをとることの緊急性を強調し、AIをより環境に優しいものにするための取り組みを促進します。 AI の進歩による環境への悪影響に対処するために、持続可能な AI が重要な研究分野として浮上しています。

持続可能なAI

持続可能な AI は、環境への影響、倫理的配慮、長期的な社会的利益の最小化に焦点を当てた、人工知能システムの開発と展開におけるパラダイム シフトを表しています。 このアプローチは、エネルギー効率が高く、環境に責任があり、人間の価値観と一致するインテリジェント システムを作成することを目的としています。 サステイナブル AI は、コンピューターにクリーン エネルギーを使用すること、消費電力が少ないスマート アルゴリズム、公正で透明な意思決定を確保するための倫理ガイドラインに従うことに重点を置いています。 には違いがあることに注意することが重要です 持続可能性のための AI と持続可能な AI; 前者では、環境や社会への影響を必ずしも考慮することなく、AI を使用して既存のプロセスを最適化することが考えられます。一方、後者では、持続可能性の原則を設計から展開に至る AI 開発のあらゆる段階に積極的に組み込んで、地球と社会にプラスの永続的な影響を生み出します。社会。

LLM から Small Language Model (SLM) へ

持続可能な AI の追求において、Microsoft は大規模言語モデル (LLM) の機能と連携する小言語モデル (SLM) の開発に取り組んでいます。 この取り組みの中で、彼らは最近導入した オルカ-2、次のように推論するように設計されています GPT-4。 1 億のパラメータを誇る前世代の Orca-13 とは異なり、Orca-2 には 7 つの重要な技術を使用した XNUMX 億のパラメータが含まれています。

1. 命令チューニング: Orca-2 は例から学習することで改善し、コンテンツの品質、ゼロショット機能、さまざまなタスクにわたる推論スキルを強化します。
2. 説明 チューニング: 命令チューニングの限界を認識し、Orca-2 では説明チューニングを導入しました。 これには、教師モデルの詳細な説明を作成し、推論シグナルを強化し、全体的な理解を向上させることが含まれます。

Orca-2 は、これらのテクニックを使用して、LLM がより多くのパラメーターを使用して達成するものと同等の、非常に効率的な推論を実現します。 主なアイデアは、モデルがすぐに答えを与えるか、段階的に検討するかにかかわらず、問題を解決するための最適な方法を見つけられるようにすることです。 Microsoft はこれを「慎重な推論」と呼んでいます。

Orca-2 をトレーニングするために、Microsoft は FLAN アノテーション、Orca-1、および Orca-2 データセットを使用して新しいトレーニング データのセットを構築します。 彼らは簡単な質問から始めて、いくつかのトリッキーな質問を追加し、その後、トーキングモデルからのデータを使用してさらにスマートにします。

Orca-2 は、推論、テキストの完成、根拠、真実性、安全性を含む徹底的な評価を受けています。この結果は、合成データに対する特殊なトレーニングを通じて SLM 推論を強化できる可能性を示しています。いくつかの制限があるにもかかわらず、Orca-2 モデルは推論、制御、安全性の将来の改善が期待できることを示しており、トレーニング後のモデルを改良する際に合成データを戦略的に適用することの有効性を証明しています。

持続可能なAIに向けたOrca-2の意義

Orca-2 は、持続可能な AI に向けた大きな飛躍を表しており、エネルギーを大量に消費する大型のモデルだけが AI 機能を真に進化させることができるという一般的な考えに挑戦します。 この小規模な言語モデルは別の視点を示しており、言語モデルで優れた成果を達成するには、必ずしも巨大なデータセットや広範な計算能力が必要ではないことを示唆しています。 むしろ、インテリジェントな設計と効果的な統合の重要性を強調しています。

このブレークスルーは、単に AI を拡大することから AI の設計方法に集中するという焦点の変化を提唱することで、新たな可能性を開きます。 これは、高度な AI をより幅広いユーザーが利用できるようにするための重要なステップであり、イノベーションが包括的であり、より幅広い人々や組織に届くことを保証します。

Orca-2 は、将来の言語モデルの開発に大きな影響を与える可能性があります。自然言語処理に関連するタスクを改善する場合でも、さまざまな業界でより高度な AI アプリケーションを可能にする場合でも、これらの小規模なモデルは、大きな前向きな変化をもたらす準備ができています。さらに、彼らはより持続可能な AI の実践を推進する先駆者としての役割を果たし、技術の進歩と環境への責任への取り組みを連携させています。

一番下の行：

Microsoft の Orca-2 は、持続可能な AI に向けた画期的な動きであり、大規模なモデルのみが AI を進歩させることができるという考えに挑戦します。 Orca-2 はサイズよりもインテリジェントなデザインを優先することで新たな可能性を開き、高度な AI 開発に対するより包括的で環境に責任のあるアプローチを提供します。 この変化は、インテリジェント システム設計における新しいパラダイムに向けた重要な一歩を示しています。