マイクロソフトのOrca-2 AIモデルが持つ、持続可能なAIへの重要な一歩

過去10年間で人工知能は著しい進歩を遂げており、チェスや囲碁などの戦略ゲームで人間のチャンピオンに勝利したり、タンパク質の3D構造を予測したりしている。しかし、大規模言語モデル（LLM）の広範な採用は、パラダイムシフトを示唆している。これらのモデルは、教育、カスタマーサービス、情報検索、ソフトウェア開発、メディア、ヘルスケアなど、さまざまな分野で不可欠になっている。技術的な進歩は科学的ブレークスルーをもたらし、産業の成長を促進するが、地球への悪影響もある。

LLMのトレーニングと使用には大量のエネルギーが必要であり、炭素排出量と温室効果ガスの排出量の増加につながる。マサチューセッツ大学アマースト校の情報・コンピュータ科学大学院の最近の研究によると、LLMのトレーニングにより、626,000ポンドの二酸化炭素が排出される可能性があり、これは5台の車のライフタイム排出量に相当する。AIスタートアップのHugging Faceは、今年初めに発売された大規模言語モデルBLOOMのトレーニングにより、25メートルトンの二酸化炭素が排出されたと報告した。同様に、FacebookのAIモデルMeenaは、トレーニングプロセス中に、240,000マイル以上の車の運転に相当する炭素排出量を蓄積する。

LLMのトレーニングに加えて、LLMに不可欠なクラウドコンピューティングの需要は、現在、航空業界よりも多くの排出量をもたらしている。単一のデータセンターは、50,000戸の家と同じ量の電力を消費する可能性がある。別の研究によると、単一の大規模言語モデルのトレーニングにより、5台の車と同じ量のCO2が排出される可能性がある。予測によると、AIの排出量は2025年までに300%増加することが予想されており、AIの進歩と環境責任のバランスを取る必要性を強調し、AIをよりエコフレンドリーにする取り組みを促している。AIの進歩の悪影響を緩和するために、持続可能なAIが重要な研究分野として登場している。

持続可能なAI

持続可能なAIは、人工知能システムの開発と展開におけるパラダイムシフトを表し、環境への影響、倫理的配慮、長期的な社会的利益を最小限に抑えることを目的としている。このアプローチは、エネルギー効率の高い、環境に優しい、人間の価値観と一致したインテリジェントシステムを作成することを目的としている。持続可能なAIは、コンピューターのクリーンエネルギー、電力消費を少なくするスマートアルゴリズム、公平で透明性のある決定を保証するための倫理ガイドラインの使用に焦点を当てている。AIの持続可能性と持続可能なAIの違いを理解することが重要である。前者は、環境や社会的影響を考慮せずに既存のプロセスを最適化するためにAIを使用することを伴うが、後者は、設計から展開までのAI開発のすべての段階で持続可能性の原則を積極的に統合し、地球と社会に肯定的な影響を与えることを目的としている。

LLMから小規模言語モデル（SLM）への移行

持続可能なAIを目指して、マイクロソフトは、大規模言語モデル（LLM）と同等の能力を持つ小規模言語モデル（SLM）を開発している。最近、マイクロソフトは、Orca-2を導入した。これは、GPT-4と同等の推論能力を持つ。Orca-1と比較して、Orca-2は13億のパラメータに対して7億のパラメータを使用し、2つの重要なテクニックを使用している。

1. インストラクションチューニング: Orca-2は、例から学習することで改善し、コンテンツの品質、ゼロショット能力、推論スキルを向上させている。
2. 説明チューニング: インストラクションチューニングの限界を認識し、Orca-2は、教師モデルに対する詳細な説明を提供し、推論シグナルを強化し、全体的な理解を向上させている。

Orca-2は、これらのテクニックを使用して、高度に効率的な推論を実現し、LLMが多くのパラメータを使用して達成するのと同等の能力を実現している。主な目的は、モデルが問題を解決するための最良の方法を決定することを可能にすることである。マイクロソフトはこれを「慎重な推論」と呼んでいる。

Orca-2のトレーニングには、FLANアノテーション、Orca-1、Orca-2データセットを使用した新しいトレーニングデータセットの構築が必要である。簡単な質問から始めて、難しい質問を追加し、会話モデルからのデータを使用してさらに賢くする。

Orca-2は、推論、テキストの完了、グラウンディング、真実性、安全性をカバーする徹底的な評価を受ける。結果は、合成データを使用したSLMの推論の向上の潜在性を示している。いくつかの限界があるものの、Orca-2モデルは、将来の推論、制御、安全性の向上のための約束を示している。

Orca-2が持続可能なAIへの重要性

Orca-2は、持続可能なAIへの重要な一歩を表し、大規模モデルだけがAIの能力を向上させることができるという一般的な信念に挑戦している。この小規模言語モデルは、言語モデルの優秀性を達成するために、巨大なデータセットと大量のコンピューティングパワーが必要ではないことを示唆している。代わりに、インテリジェントな設計と有効な統合の重要性を強調している。

このブレークスルーは、新しい可能性をもたらす重要なステップであり、AIの開発をより包括的で環境に優しいアプローチで行うことを可能にする。マイクロソフトのOrca-2は、AIの進歩と環境責任のバランスを取るための重要なステップであり、AIをより幅広いオーディエンスにアクセス可能で、革新がより幅広い人々や組織に到達することを保証する。

Orca-2は、将来の言語モデルの開発に大きな影響を与える可能性がある。自然言語処理やさまざまな業界でのAIアプリケーションの向上に関連するタスクの改善を可能にするだけでなく、より持続可能なAIの実践を促進する先駆的な役割を果たす。

結論:

マイクロソフトのOrca-2は、持続可能なAIへの重要な一歩を表し、大規模モデルだけがAIの能力を向上させることができるという一般的な信念に挑戦している。サイズよりもインテリジェントな設計を優先することで、Orca-2は、新しい可能性をもたらす重要なステップであり、AIの開発をより包括的で環境に優しいアプローチで行うことを可能にする。このシフトは、技術の進歩と環境責任のバランスを取るための重要なステップであり、AIをより幅広いオーディエンスにアクセス可能で、革新がより幅広い人々や組織に到達することを保証する。 (MSFT )