ポケットサイズのパワーハウス: 携帯電話に適合する言語モデル、Microsoft の Phi-3 を発表

急速に進化する人工知能の分野では、トレンドがより大規模で複雑なモデルに傾くことが多い中、Microsoft は Phi-3 Mini で異なるアプローチを採用しています。これ 小規模言語モデル (SLM)は現在第 3.8 世代で、大型モデルの堅牢な機能をスマートフォンの厳しいリソース制約内に収まるフレームワークに詰め込んでいます。 3 億のパラメータを備えた Phi-XNUMX Mini は、 大規模な言語モデル (LLM) は、言語処理、推論、コーディング、数学などのさまざまなタスクにわたって機能し、量子化を通じてモバイル デバイスで効率的に操作できるように調整されています。

大規模言語モデルの課題

Microsoft の Phi SLM の開発は、民生用デバイスで通常利用できるよりも多くの計算能力を必要とする LLM によってもたらされる重大な課題に対応するものです。この需要の高さにより、標準的なコンピューターやモバイル デバイスでの使用が複雑になり、トレーニングや操作中のエネルギー消費による環境への懸念が生じ、大規模で複雑なトレーニング データセットによるバイアスが永続化するリスクが生じます。これらの要因により、リアルタイム アプリケーションでのモデルの応答性が損なわれ、更新がより困難になる可能性があります。

Phi-3 Mini: 個人デバイス上の AI を合理化し、プライバシーと効率を強化

当学校区の ファイ-3 ミニ は、高度な AI を電話やラップトップなどの個人用デバイスに直接統合するための、費用対効果が高く効率的な代替手段を提供するように戦略的に設計されています。この設計により、より迅速かつ即時の応答が促進され、日常のシナリオにおけるテクノロジーとのユーザー インタラクションが強化されます。

Phi-3 Mini を使用すると、高度な AI 機能をモバイル デバイス上で直接処理できるようになり、クラウド サービスへの依存が軽減され、リアルタイム データ処理が強化されます。この機能は、モバイル ヘルスケア、リアルタイム言語翻訳、個別化された教育など、即時データ処理を必要とするアプリケーションにとって極めて重要であり、これらの分野の進歩を促進します。このモデルのコスト効率により、運用コストが削減されるだけでなく、ウェアラブル テクノロジーやホーム オートメーションなどの新興市場を含む、さまざまな業界にわたる AI 統合の可能性が広がります。 Phi-3 Mini は、ローカル デバイス上で直接データ処理を可能にし、ユーザーのプライバシーを強化します。これは、個人の健康や金融サービスなどの分野で機密情報を管理する場合に不可欠となる可能性があります。さらに、このモデルのエネルギー要件が低いため、世界的な持続可能性の取り組みと連携して、環境的に持続可能な AI 運用に貢献します。

Phi の設計哲学と進化

ファイの設計哲学 の概念に基づいています カリキュラム学習、これは、子供たちが徐々により困難な例を通じて学習する教育的アプローチからインスピレーションを得ています。主なアイデアは、より簡単な例で AI のトレーニングを開始し、学習プロセスが進むにつれてトレーニング データの複雑さを徐々に増大させることです。 Microsoft は、研究で詳しく説明されているように、教科書からデータセットを構築することでこの教育戦略を実装しました。必要なのは教科書だけ」 Phiシリーズは、2023億パラメータを誇るコンパクトモデルのPhi-1を皮切りに、1.3年XNUMX月に発売されました。このモデルは、特に Python コーディング タスクでその有効性がすぐに実証され、大規模で複雑なモデルよりも優れたパフォーマンスを発揮しました。この成功に基づいて、マイクロソフトは最近、 ファイ-1.5、同じ数のパラメータを維持しながら、常識的な推論や言語理解などの領域で機能を拡張しました。シリーズは、のリリースで上回りました ファイ-2 2023 億のパラメータを備えた Phi-2.7 は、推論と言語理解において優れたスキルを発揮し、大幅に大規模なモデルに対する強力な競争相手としての地位を確立しました。

Phi-3 と他の小規模言語モデルの比較

Phi-3 Mini は、前任者を拡張して、次のような他の SLM を上回ることで Phi-2 の進歩を拡張します。 Googleのジェマ, ミストラルのミストラル, Meta の Llama3-Instruct, GPT3.5、さまざまな産業用途に使用されます。これらのアプリケーションには、言語の理解と推論、一般知識、常識的推論、小学校の算数の文章問題、医療の質問応答などが含まれており、これらのモデルと比較して優れたパフォーマンスを示しています。 Phi-3 Mini は、コンテンツの作成や特定の場所に合わせたアクティビティの提案の提供など、さまざまなタスクについて iPhone 14 でオフライン テストも行われました。この目的のために、Phi-3 Mini は、と呼ばれるプロセスを使用して 1.8GB に圧縮されています。 量子化、モデルの数値データを 32 ビット浮動小数点数から 4 ビット整数などのよりコンパクトな形式に変換することで、リソースが限られたデバイス向けにモデルを最適化します。これにより、モデルのメモリ使用量が削減されるだけでなく、モバイル デバイスにとって不可欠な処理速度と電力効率も向上します。開発者は通常、次のようなフレームワークを利用します。 TensorFlow Lite or PyTorchモバイル、このプロセスを自動化および洗練するための組み込みの量子化ツールが組み込まれています。

機能の比較: Phi-3 Mini と Phi-2 Mini

以下では、Phi-3 の機能の一部をその前身である Phi-2 と比較します。

• モデルアーキテクチャ: Phi-2 は、次の単語を予測するように設計されたトランスベースのアーキテクチャで動作します。 Phi-3 Mini もトランスフォーマー デコーダー アーキテクチャを採用していますが、語彙サイズ 2 の同じトークナイザーを使用することで、Llama-320,641 モデル構造とより緊密に連携しています。この互換性により、Llama-2 用に開発されたツールを Phi-3 Mini での使用に簡単に適合させることができます。
• コンテキストの長さ: Phi-3 Mini は 8,000 トークンのコンテキスト長をサポートします。これは、Phi-2 の 2,048 トークンよりもかなり大きいです。この機能の向上により、Phi-3 Mini はより詳細なインタラクションを管理し、長いテキストを処理できるようになります。
• モバイルデバイス上でローカルに実行する: Phi-3 Mini は 4 ビットに圧縮でき、Phi-1.8 と同様に約 2 GB のメモリを占有します。 A14 Bionic チップを搭載した iPhone 16 でオフラインで実行するテストが行​​われ、12 秒あたり 2 トークンを超える処理速度を達成し、同様の条件下で Phi-XNUMX のパフォーマンスに匹敵しました。
• モデルサイズ: Phi-3.8 Mini は 3 億のパラメータを持ち、2 億のパラメータを持つ Phi-2.7 よりも規模が大きくなります。これは、その機能の向上を反映しています。
• トレーニングデータ: 2 兆のトークンでトレーニングされた Phi-1.4 とは異なり、Phi-3 Mini は 3.3 兆のはるかに大きなトークンのセットでトレーニングされており、複雑な言語パターンをより適切に把握できるようになります。

Phi-3 Mini の制限への対処

Phi-3 Mini は、小規模言語モデルの領域で大きな進歩を示していますが、限界がないわけではありません。 Phi-3 Mini の主な制約は、大規模な言語モデルに比べてサイズが小さいため、広範な事実知識を保存できる容量が限られていることです。これは、特定の事実に基づくデータや詳細な専門知識を必要とするクエリを独自に処理する能力に影響を与える可能性があります。ただし、これは Phi-3 Mini を検索エンジンと統合することで軽減できます。このようにして、モデルはリアルタイムでより広範囲の情報にアクセスでき、固有の知識の限界を効果的に補うことができます。この統合により、Phi-3 Mini は、言語と文脈を包括的に把握しているにもかかわらず、正確で最新の応答を提供するために情報を「検索」する必要がある場合がある、非常に有能な会話者のように機能することができます。

利用状況

Phi-3 は現在、以下を含むいくつかのプラットフォームで利用できます。 Microsoft Azure AIスタジオ, ハグ顔, オラマ。 Azure AI では、モデルに展開、評価、微調整のワークフローが組み込まれており、Ollama ではラップトップでローカルに実行できます。モデルは、 ONNXランタイム とサポート Windows DirectMLGPU、CPU、モバイル デバイスなど、さまざまな種類のハードウェアで適切に動作することを保証します。さらに、Phi-3 はマイクロサービスとして提供されます。 NVIDIA NIM、さまざまな環境に簡単に導入できる標準 API が装備されており、特に NVIDIA GPU 向けに最適化されています。 Microsoft は、近い将来、Phi-3-small (3B) および Phi-7-medium (3B) モデルを追加することで Phi-14 シリーズをさらに拡張し、品質とコストのバランスをとるための追加の選択肢をユーザーに提供する予定です。

ボトムライン

Microsoft の Phi-3 Mini は、大規模な言語モデルのパワーをモバイル用途に適応させることで、人工知能の分野で大きな進歩を遂げています。このモデルは、より高速なリアルタイム処理と強化されたプライバシー機能により、ユーザーとデバイスの対話を改善します。クラウドベースのサービスの必要性を最小限に抑え、運用コストを削減し、ヘルスケアやホームオートメーションなどの分野での AI アプリケーションの範囲を広げます。カリキュラム学習を通じて偏見を軽減し、競争力のあるパフォーマンスを維持することに焦点を当てた Phi-3 Mini は、効率的で持続可能なモバイル AI のための重要なツールへと進化しており、私たちが日々テクノロジーとやり取りする方法を微妙に変えています。