Llama 3 について知っておくべきことすべて |これまでで最も強力なオープンソース モデル |概念から使用方法まで

メタは最近リリースされました ラマ3、最先端のオープンソース大規模言語モデル (LLM) の次世代です。この記事の包括的なレビューで概説されているように、Llama 3 は、前任者によって確立された基盤を基にして、Llama 2 を ChatGPT の重要なオープンソース競合他社として位置づける機能を強化することを目指しています。 Llama 2: ChatGPT に対するオープンソースの挑戦者についての詳細.

この記事では、Llama 3 の背後にある中心的な概念について説明し、その革新的なアーキテクチャとトレーニング プロセスを調査し、この画期的なモデルに責任を持ってアクセス、使用、展開する方法に関する実践的なガイダンスを提供します。あなたが研究者、開発者、または AI 愛好家であっても、この投稿では、プロジェクトやアプリケーションで Llama 3 のパワーを活用するために必要な知識とリソースを得ることができます。

ラマの進化: ラマ 2 からラマ 3 へ

メタ社CEOのマーク・ザッカーバーグ氏は、 発表の Meta AI が開発した最新の AI モデルである Llama 3 のデビュー。現在オープンソース化されているこの最先端のモデルは、Messenger や Instagram を含む Meta のさまざまな製品を強化する予定です。ザッカーバーグ氏は、Llama 3がメタAIを最も先進的なものとして位置付けていることを強調した 無料で利用できるAIアシスタント.

Llama 3 の詳細について説明する前に、その前身である Llama 2 について簡単に振り返ってみましょう。2022 年に導入された Llama 2 は、オープンソース LLM 環境における重要なマイルストーンであり、消費者向けハードウェアで実行できる強力で効率的なモデルを提供しました。 。

ただし、Llama 2 は注目すべき成果でしたが、限界もありました。ユーザーは、誤った拒否 (無害なプロンプトへの応答を拒否するモデル)、有用性の制限、および推論やコード生成などの領域での改善の余地に関する問題を報告しました。

Llama 3 の登場: これらの課題に対するメタの対応とコミュニティのフィードバック。 Meta は、Llama 3 を使用して、責任ある開発と展開の実践を優先しながら、現在利用可能な最上位の独自モデルと同等の最高のオープンソース モデルの構築に着手しました。

ラマ 3: アーキテクチャとトレーニング

Llama 3 の主要な革新の XNUMX つはトークナイザーであり、大幅に拡張された語彙を特徴としています。 128,256トークン (Llama 32,000 の 2 から増加)。このより大きな語彙により、入力と出力の両方でテキストのより効率的なエンコードが可能になり、多言語対応の強化と全体的なパフォーマンスの向上につながる可能性があります。

Llama 3 にも組み込まれています グループ化されたクエリのアテンション (GQA) は、スケーラビリティを強化し、モデルがより長いコンテキストをより効率的に処理できるようにする効率的な表現手法です。の 8B Llama 3 のバージョンは GQA を利用しますが、両方の 8B & 70B モデルは最大でシーケンスを処理できます 8,192トークン.

トレーニングデータとスケーリング

Llama 3 に使用されるトレーニング データは、パフォーマンス向上の重要な要素です。メタは、以上の大規模なデータセットを厳選しました 15兆 公開されているオンライン ソースからのトークンで、ラマ 2 に使用されるデータセットの 5 倍の大きさです。このデータセットには、英語以外の高品質データのかなりの部分 (XNUMX% 以上) も含まれており、 30言語、将来の多言語アプリケーションに備えて。

データ品質を確保するために、Meta はヒューリスティック フィルター、NSFW フィルター、セマンティック重複排除、データ品質を予測するために Llama 2 でトレーニングされたテキスト分類子などの高度なフィルター技術を採用しました。チームはまた、事前トレーニングに最適なデータ ソースの組み合わせを決定するために広範な実験を実施し、トリビア、STEM、コーディング、歴史的知識を含む幅広いユースケースで Llama 3 が適切に動作することを確認しました。

事前トレーニングのスケールアップは、Llama 3 開発のもう XNUMX つの重要な側面でした。 Meta は、コード生成などの主要なタスクにおける最大のモデルのパフォーマンスを実際にトレーニングする前に予測できるようにするスケーリング則を開発しました。これにより、データの組み合わせとコンピューティングの割り当てに関する決定が行われ、最終的にはより効率的かつ効果的なトレーニングにつながります。

Llama 3 の最大のモデルは、データ並列化、モデル並列化、パイプライン並列化手法の組み合わせを活用して、24,000 つのカスタム構築された 2 GPU クラスターでトレーニングされました。 Meta の高度なトレーニング スタックは、エラーの検出、処理、メンテナンスを自動化し、GPU の稼働時間を最大化し、Llama XNUMX と比較してトレーニング効率を約 XNUMX 倍向上させます。

命令の微調整とパフォーマンス

Llama 3 のチャットおよび対話アプリケーションの可能性を最大限に引き出すために、Meta は命令を微調整するアプローチを革新しました。その手法は、 監視付き微調整 (SFT)、リジェクションサンプリング、 近位ポリシーの最適化 (PPO)、および 直接的な好みの最適化 (DPO)。

SFT で使用されるプロンプトの品質と、PPO および DPO で使用される優先順位ランキングは、調整されたモデルのパフォーマンスにおいて重要な役割を果たしました。 Meta のチームはこのデータを慎重に精選し、人間のアノテーターによって提供されたアノテーションに対して複数回の品質保証を実行しました。

PPO および DPO を介した優先順位のトレーニングにより、推論およびコーディング タスクにおける Llama 3 のパフォーマンスも大幅に向上しました。 Meta は、モデルが推論の質問に直接答えるのに苦労している場合でも、正しい推論トレースを生成できる可能性があることを発見しました。好みのランキングに関するトレーニングにより、モデルはこれらのトレースから正しい答えを選択する方法を学習できるようになりました。

結果はそれ自体を物語っています。Llama 3 は、一般的な業界ベンチマークで多くの利用可能なオープンソース チャット モデルを上回り、8B および 70B パラメーター スケールで LLM の新しい最先端のパフォーマンスを確立しました。

責任ある開発と安全性への配慮

Meta は、最先端のパフォーマンスを追求する一方で、Llama 3 の責任ある開発と展開の実践も優先しました。同社はシステム レベルのアプローチを採用し、開発者が運転席に座って設計できるようにする、より広範なエコシステムの一部として Llama 3 モデルを構想しました。特定のユースケースと安全要件に合わせてモデルをカスタマイズします。

Meta は、広範なレッドチーム演習を実施し、敵対的評価を実施し、命令調整モデルの残留リスクを低減するための安全軽減技術を実装しました。ただし、同社は残留リスクが残る可能性が高いことを認めており、開発者が特定のユースケースに照らしてこれらのリスクを評価することを推奨しています。

責任ある展開をサポートするために、Meta は責任ある使用ガイドを更新し、開発者がアプリケーションのモデルおよびシステム レベルの安全性のベスト プラクティスを実装するための包括的なリソースを提供します。このガイドでは、コンテンツの管理、リスク評価、Llama Guard 2 や Code Shield などの安全ツールの使用などのトピックを取り上げています。

Llama Guard 2 は、MLCommons 分類法に基づいて構築されており、LLM 入力 (プロンプト) と応答を分類し、安全でないか有害であると考えられるコンテンツを検出するように設計されています。 Cyber​​SecEval 2 は、モデルのコード インタプリタの悪用、攻撃的なサイバーセキュリティ機能、およびプロンプト インジェクション攻撃に対する脆弱性を防止するための対策を追加することにより、前モデルを拡張しています。

Llama 3 で新たに導入された Code Shield は、LLM によって生成された安全でないコードの推論時のフィルタリングを追加し、安全でないコードの提案、コード インタプリタの悪用、安全なコマンド実行に関連するリスクを軽減します。

Llama 3 へのアクセスと使用

Meta AI の Llama 3 のリリースに続いて、Mac、Windows、Linux などのさまざまなオペレーティング システムでローカルに展開できるいくつかのオープンソース ツールが利用可能になりました。このセクションでは、Ollama、Open WebUI、LM Studio という 3 つの注目すべきツールについて詳しく説明します。各ツールは、個人のデバイスで Llama XNUMX の機能を活用するための独自の機能を提供します。

オラマ: Mac、Linux、Windows で利用可能、 オラマ 堅牢性の低いハードウェアを備えたパーソナル コンピュータでも、Llama 3 やその他の大規模な言語モデルの操作が簡素化されます。これには、モデルを簡単に管理するためのパッケージ マネージャーが含まれており、モデルをダウンロードして実行するためのプラットフォーム全体にわたるコマンドがサポートされています。

Docker で WebUI を開く: このツールは、ユーザーフレンドリーな、 デッカーMac、Linux、Windows と互換性のある -ベースのインターフェイス。 Ollama レジストリのモデルとシームレスに統合され、ユーザーはローカル Web インターフェイス内で Llama 3 などのモデルを展開して操作できるようになります。

LMスタジオ: Mac、Linux、Windows のユーザーをターゲットとし、 LMスタジオ はさまざまなモデルをサポートしており、llama.cpp プロジェクトに基づいて構築されています。チャット インターフェイスを提供し、Llama 3 8B Instruct モデルを含むさまざまなモデルとの直接対話を容易にします。

これらのツールを使用すると、ユーザーは個人のデバイスで Llama 3 を効率的に利用でき、さまざまな技術スキルや要件に対応できます。各プラットフォームはセットアップとモデルの対話のための段階的なプロセスを提供し、開発者や愛好家が高度な AI をより利用しやすくします。