Llama 3.1：Metaの最も高度なオープンソースAIモデル – すべての必要な情報

Metaは、Llama 3.1を発表しました。これは、最新で最も高度な大規模言語モデルであり、AIの能力とアクセシビリティの面で大きな飛躍を示しています。この新しいリリースは、MetaがAIをオープンにアクセス可能にするというコミットメントと一致しています。マーク・ザッカーバーグは、オープンソースAIは開発者、Meta、そして社会全体にとって有益であると強調しています。

Llama 3.1を紹介するために、マーク・ザッカーバーグは、「オープンソースAIは未来への道」というタイトルの詳細なブログ投稿を書きました。そこでは、UnixからLinuxへの進化と現在のAIのトラジェクトリーを比較し、オープンソースAIが最終的に業界を牽引することを強調しています。ザッカーバーグは、オープンソースAIの利点、たとえばカスタマイズ、コスト効率、データセキュリティ、ベンダーロックインの回避について説明しています。

彼は、オープンソース開発がイノベーションを促進し、強固なエコシステムを作り出し、AI技術への公平なアクセスを保証することを信じています。ザッカーバーグは、安全性に関する懸念にも対処し、オープンソースAIは透明性とコミュニティの監視を通じて、クローズドモデル（たとえば、OpenAIのGPTモデル）よりも安全であると主張しています。

MetaのオープンソースAIへのコミットメントは、閉じたエコシステムの制約から解放されたベストな体験とサービスを構築することを目的としています。彼は、開発者や組織に、AIがすべての人々に利益をもたらす未来を構築することに参加するよう呼びかけ、コラボレーションと継続的な進歩を促進しています。

重要なポイント

• オープンアクセシビリティへのコミットメント：MetaはオープンソースAIへのコミットメントを続け、AIへのアクセスとイノベーションを民主化することを目指しています。
• 高度な機能：Llama 3.1は、コンテキスト長の拡張（128K）、8つの言語のサポート、そしてLlama 3.1 405B（最初のフロンティアレベルのオープンソースAIモデル）を備えています。
• 無比の柔軟性と制御：Llama 3.1 405Bは、先端のクローズドソースモデルと比較可能な状態のまま、シンセティックデータ生成やモデル蒸留などの新しいワークフローを可能にします。
• 包括的なエコシステムサポート：25を超えるパートナー、AWS、NVIDIA (NVDA ) 、Google (GOOGL ) Cloudを含む主要テクノロジー企業と協力して、Llama 3.1はさまざまなプラットフォームで即時使用可能です。

Llama 3.1の概要

最先端の機能

Llama 3.1 405Bは、現在利用可能な最高のAIモデルと競合するように設計されています。一般知識、操作性、数学、ツールの使用、多言語翻訳で優れています。このモデルは、シンセティックデータ生成やモデル蒸留などの分野でイノベーションを推進することが期待されています。

モデルアップグレード

このリリースには、8Bと70Bモデルの強化版が含まれており、これらは複数の言語をサポートし、最大128Kのコンテキスト長を備えています。これらの改善により、長文の要約、多言語の会話エージェント、コードアシスタントなどの高度なアプリケーションが可能になります。

オープンソースでの利用

オープンソースの哲学に従って、MetaはこれらのモデルをMetaとHugging Faceでダウンロード可能にします。開発者は、これらのモデルをさまざまなアプリケーションに利用でき、オンプレミスからクラウド、ローカルデプロイまで、さまざまな環境で実行できます。

モデル評価とアーキテクチャ

徹底的な評価

Llama 3.1は、150以上のベンチマークデータセットで厳格にテストされ、GPT-4やClaude 3.5 Sonnetなどのリーディングモデルと比較されました。結果は、Llama 3.1が幅広いタスクで競合することを示しています。

高度なトレーニング手法

405Bモデルのトレーニングには、16,000以上のH100 GPUを使用して15兆トークン以上を処理することが必要でした。Metaは、標準のデコーダーのみのトランスフォーマーモデルと、教師ありのファインチューニングや直接の好み最適化などの反復的なポストトレーニング手法を採用して、高品質のシンセティックデータと優れたパフォーマンスを実現しました。

効率的な推論

大規模なプロダクション推論をサポートするために、Llama 3.1モデルは16ビットから8ビットの数値に量子化され、計算要件が削減され、単一のサーバーノードで効率的に実行できるようになりました。

指示とチャットのファインチューニング

Metaは、モデルが詳細な指示に従い、高い安全性を維持する能力を強化することに重点を置きました。これには、事前トレーニング済みモデル上での複数のアライメントラウンドが含まれ、シンセティックデータ生成と厳格なデータ処理手法を使用して、すべての機能に対して高品質の出力を保証しました。

Llamaシステム

Llama 3.1は、外部ツールを含むさまざまなコンポーネントと連携するように設計されたより広範なシステムの一部です。Metaは、開発者にカスタムアプリケーションと動作を作成するための柔軟性を提供することを目指しています。このリリースには、Llama Guard 3とPrompt Guardが含まれており、安全性とセキュリティが強化されています。

LlamaスタックAPI

Metaは、LlamaスタックAPIに関するコメントのリクエストをリリースしています。これは、サードパーティプロジェクトがLlamaモデルを使用するための標準インターフェースです。この取り組みは、相互運用性を容易にし、開発者やプラットフォーム提供者への障壁を低減することを目的としています。

Llama 3.1 405Bを使用した構築

Llama 3.1 405Bは、開発者に、リアルタイムおよびバッチ推論、教師ありのファインチューニング、モデル評価、継続的な事前トレーニング、リトリーバル増強生成（RAG）、関数呼び出し、シンセティックデータ生成などの幅広い機能を提供します。初日から、開発者はこれらの高度な機能を使用して構築を開始できます。AWS、NVIDIA、Databricksなどのパートナーがサポートします。

今日からLlama 3.1を試す

Llama 3.1モデルはダウンロードと開発のために利用可能です。Metaは、コミュニティに、これらのモデルの潜在を探り、成長するエコシステムに貢献することを奨励しています。堅牢な安全対策とオープンソースアクセスにより、Llama 3.1は次のAIイノベーションの波を牽引することになります。

結論

Llama 3.1は、オープンソースAIの進化における重要な里程標を示しています。Metaのオープンアクセシビリティへのコミットメントにより、より多くの人々がAIの進歩から利益を得ることができます。これにより、イノベーションと技術の公平な展開が促進されます。Llama 3.1では、新しいアプリケーションや研究の可能性は広大であり、Metaはコミュニティがこの強力なツールで達成する画期的な成果に期待しています。

詳細については、マーク・ザッカーバーグの詳細なブログ投稿を参照してください。