オープンソースLLMのベスト5（2025年XNUMX月）

大規模な言語モデル (LLM) は今日の AI の基礎として登場し、イノベーションを推進し、テクノロジーとの関わり方を変革しています。

これらのモデルがますます洗練されるにつれ、それらへのアクセスの民主化がますます重要になっています。特にオープンソースモデルは、この民主化において重要な役割を果たしており、研究者、開発者、そして愛好家に、その複雑な仕組みを深く掘り下げ、特定のタスクに合わせて微調整したり、さらにはその基盤の上に構築したりする機会を提供しています。

このブログでは、AIコミュニティで注目を集めているオープンソースのLLM（法学修士）プログラムをいくつかご紹介します。それぞれのプログラムが独自の強みと機能を備えています。

1. ラマ3

MetaのLlama 3は、同社のオープンソース大規模言語モデルラインナップにおける画期的な飛躍を象徴するものです。2年にリリースされた画期的なLlama 2023の後継となるLlama 3は、8億および70億パラメータスケールにおけるオープン利用可能なモデルにおいて、新たな最先端技術を確立します。これは単なる漸進的なアップデートではなく、開発者が最先端の自然言語アプリケーションを構築できるようにするとともに、AI分野におけるオープンな研究とイノベーションを促進する、変革的な進歩です。

Llama 3の比類なきパフォーマンスは、事前学習プロセスとアーキテクチャの大幅な改善によるものです。このモデルは、公開されているソースから15兆トークンを超える膨大なデータセットを用いて学習されました。これは、Llama 7の2倍という驚異的なデータ量です。これには、Llama 4のコーディング能力を高めるための3倍のコードデータと、将来の多言語版の基盤となる30以上の言語の広範なカバレッジが含まれます。このデータは、徹底的なフィルタリングによってキュレーションされ、Llama 3が最高品質のソースのみから学習できるようにしています。

しかし、Llama 3の機能強化はデータ量の増加だけにとどまりません。モデルのアーキテクチャと学習プロセスに対する最先端の最適化により、推論能力、コード生成、命令追従、そして応答の多様性が大幅に向上しました。改良されたトークナイザーにより、Llama 3は前モデルと比較してトークン効率が最大15%向上しています。グループ化されたクエリアテンションにより、8Bモデルは前モデルの7Bモデルと同等の推論性能を維持できます。

出典：メタ

最終的には、さまざまな複雑な言語タスクに優れた言語モデルが得られます。

• クリエイティブジェネレーション: Llama 3 は、物語、台本、音楽作品、詩などの形式で、一貫性が高く創造的なテキストを生成できます。
• コーディングと推論: 強化されたコード トレーニング データのおかげで、Llama 3 は、複雑な問題に取り組むための信じられないほど強力なコーディング スキルと論理的推論スキルを誇り​​ます。
• 質問応答: Llama 3 は、広範な知識ベース全体で情報を結び付けることで、さまざまなトピックに関する質問に対して深い知識に基づいた回答を提供できます。
• 要約: Llama 3 は、長い記事や事実に基づいた内容の簡潔かつ包括的な要約を作成することに長けています。
• 次の指示Llama 3 の最も印象的な功績の XNUMX つは、オープンエンド タスクの複雑な複数ステップの指示に正確に従う能力です。

Llama シリーズの未来は明るいです。 Meta はすでに、3B を超えるパラメーターを備えた Llama 400 のバージョンを開発中です。これは、より大きいだけでなく、多言語およびマルチモーダルです。初期のテストでは、これらの超大規模モデルが最高の独自システムに匹敵する有望な結果をもたらすことが示されています。

出典：メタ

ラマ 3 にアクセス →

2. ブルーム

AI 企業 Hugging Face が主導し、2022 か国以上から 1,000 人を超えるボランティア研究者が参加した 70 年間にわたる共同作業を経て、176 年に BLOOM プロジェクトが発表されました。 BLOOM (BigScience Large Open-science Open-access Multilingual Language Model) は、自己回帰テキスト生成用に設計された XNUMX 億パラメータの大規模言語モデルで、特定のテキスト プロンプトを拡張して一貫したストーリー、スクリプト、詩、記事などを生成できます。

BLOOM の特徴は、そのオープンアクセスの性質です。ハイテク企業によって開発された他の大規模な言語モデルとは対照的に、モデル、ソース コード、トレーニング データはすべてオープン ライセンスの下で自由に利用できます。このオープン性により、より広範な AI コミュニティによるモデルの継続的な検討、利用、強化が促されます。

BLOOM は、1.6 の自然言語と 46 のプログラミング言語にまたがる 13 TB の広大なデータセット (ROOTS コーパス) でトレーニングされており、データの 30% 以上が英語であるという優れた多言語機能を誇っています。スペイン語やアラビア語などの多くの言語にとって、BLOOM はそのサイズの最初のモデルです。

このモデルは、3.5 個の NVIDIA A384 GPU を使用して、フランスの Jean Zay スーパーコンピューターで 100 か月半にわたってトレーニングされました。これは、フランス政府からのコンピューティング助成金によって可能となり、5 万時間以上のコンピューティングに相当します。 GPT アーキテクチャに基づいて変更を加えた BLOOM は、ベンチマークで競争力のあるパフォーマンスを実現します。

BLOOM の主な強み:

• オープンアクセス： BLOOM のモデル、コード、トレーニング データは無料で利用できるため、強力な言語モデルへのアクセスが民主化され、オープンな研究が可能になります。
• 多言語能力: 46 の自然言語と 13 のプログラミング言語にわたるデータでトレーニングされた BLOOM は、広範な多言語機能を備えています。
• 多彩な言語スキル: テキスト生成から質問応答、要約、翻訳、コード生成まで、BLOOM はさまざまな言語タスクに優れています。
• 責任ある AI 開発: BLOOM は責任ある AI 実践に焦点を当てて開発され、悪意のある使用例を禁止するライセンスに基づいてリリースされています。
• 簡単な導入： 開発者は、Hugging Face Transformers ライブラリを通じて BLOOM にアクセスし、Accelerate を使用してデプロイできます。

今後を見据えて、BigScience チームは、BLOOM をより多くの言語に拡張し、モデルを圧縮し、より高度なアーキテクチャの出発点として使用することを計画しています。 BLOOM は、大規模な言語モデルをより透明性を高め、すべての人がアクセスできるようにするための大きな一歩です。

ブルームを訪問 →

3. MPT-7B

MosaicML Foundations は、最新のオープンソース LLM である MPT-7B の導入により、この分野に多大な貢献をしました。 MPT-7B は MosaicML Pretrained Transformer の頭字語で、GPT スタイルのデコーダー専用トランスフォーマー モデルです。 このモデルには、パフォーマンスが最適化されたレイヤーの実装や、トレーニングの安定性を高めるためのアーキテクチャの変更など、いくつかの機能強化が施されています。

MPT-7B の際立った特徴は、1 兆個のテキストとコードのトークンで構成される大規模なデータセットでのトレーニングです。 この厳しいトレーニングは、MosaicML プラットフォーム上で 9.5 日間にわたって実行されました。

MPT-7B はオープンソースであるため、商用アプリケーションにとって価値のあるツールとして位置付けられています。 これは、企業や組織の予測分析と意思決定プロセスに大きな影響を与える可能性を秘めています。

基本モデルに加えて、MosaicML Foundations は、短い形式の指示に従うための MPT-7B-Instruct、ダイアログ生成のための MPT-7B-Chat、MPT-7B-StoryWriter-65k+ など、特定のタスクに合わせた特殊なモデルもリリースしています。長編小説作成に。

MPT-7B の開発は包括的なもので、MosaicML チームはデータの準備から展開までのすべての段階を数週間以内に管理しました。 データはさまざまなリポジトリから取得され、チームは EleutherAI の GPT-NeoX や 20B トークナイザーなどのツールを活用して、多様で包括的なトレーニング ミックスを確保しました。

MPT-7B の主な機能の概要:

• 商用ライセンス： MPT-7B は商用利用が許可されているため、企業にとって貴重な資産となります。
• 広範なトレーニング データ: このモデルは、1 兆トークンの膨大なデータセットでのトレーニングを誇ります。
• 長い入力の処理: MPT-7B は、非常に長い入力を妥協することなく処理できるように設計されています。
• 速度と効率: モデルは迅速なトレーニングと推論のために最適化されており、タイムリーな結果が保証されます。
• オープンソース コード: MPT-7B には効率的なオープンソース トレーニング コードが付属しており、透明性と使いやすさを促進します。
• 比較優秀性: MPT-7B は、LLaMA-7B と同等の品質を備え、20B ～ 7B 範囲の他のオープンソース モデルよりも優れていることが実証されています。

MPT-7B にアクセス →

4. ファルコン2

※Falcon 180の前身であるFalcon 2Bのビデオ

Falcon 2 は、アブダビの Technology Innovation Institute (TII) が開発した最新世代のオープンソース大規模言語モデルで、7 年にリリースされた初期の Falcon 40B、180B、および 2023B モデルの成功を基礎に構築されています。Falcon 2 シリーズには現在、次のものが含まれています。 :

• ファルコン 2 11B: 11 億のパラメータを持つ因果デコーダーのみのモデルで、Hugging Face リーダーボードで検証されたように、標準ベンチマークでは Meta の LLaMA 3 8B を上回り、Google の Gemma 7B モデルと同等のパフォーマンスを発揮します。
• ファルコン 2 11B VLM: Falcon 2 11B の画期的なマルチモーダル バージョンで、ビジョンから言語への変換機能を備えており、この機能を提供する唯一のオープンソース モデルの XNUMX つとなっています。

出典: TII

Falcon 2 モデルは、Apache 2.0 をベースとする寛容な TII Falcon License 2.0 に基づいて完全にオープンソース化されていますが、責任ある AI 開発を促進するための許容可能な使用ポリシーが適用されます。これにより、研究およびほとんどの商用アプリケーションでモデルを自由に使用できるようになります。

Falcon 2 モデルは、高品質の Web データ、書籍、テクニカル ライティング、コード、会話の多様な組み合わせを含む、強化された RefinedWeb データセットからの 5 兆を超えるトークンでトレーニングされました。最良のデータを抽出するために、広範なフィルタリングと重複排除技術が使用されました。まだ主に英語に焦点を当てていますが、トレーニング データの一部はドイツ語、スペイン語、フランス語、イタリア語などの他の言語もカバーしており、将来の多言語モデルの基礎を築きます。

Falcon 2 は、最適化されたデコーダー専用トランスフォーマー アーキテクチャを利用しており、他のオープン モデルと比較して、小規模で強力なパフォーマンスを実現します。 TII は、今後のリリースで専門家の混合などの手法を使用して効率をさらに高めることを計画しています。

本来の機能という点では、Falcon 2 11B は次のような幅広い自然言語タスクに優れています。

• ストーリーや記事などの一貫した長文コンテンツのテキスト生成
• さまざまなトピックに関する情報を結び付けて知識豊富な質問に答える
• 長い記事や事実に基づいた内容の質の高い要約
• 微調整時に正確な指示に従う
• コーディングと推論のベンチマークで堅実なパフォーマンス

Falcon 2 11B VLM バリアントには、画像を理解し、視覚入力と言語入力の両方に基づいてテキストを生成する独自の機能が追加されています。これにより、視覚的な質問応答、画像キャプション、視覚から言語への推論など、強力なマルチモーダルなユースケースが可能になります。

TII は将来を見据えて、効率とオープンアクセスに重点を置きながら、より大きなモデルサイズで Falcon 2 シリーズを拡張する計画を共有しました。専門家の混合などの手法を活用して、計算要件を大幅に増加させることなく機能をスケールアップできます。

ファルコン 2 にアクセス →

5. ビクーニャ-13B

LMSYS ORGは、Vicuna-13BによってオープンソースLLMの分野において大きな成果を上げました。このオープンソースチャットボットは、ShareGPT.comから公開APIを使用して収集された約70万件のユーザー共有会話に基づいてLLaMAを微調整することで、綿密に学習されました。データ品質を確保するため、会話はHTMLからマークダウン形式に変換され、不適切または低品質のサンプルがフィルタリングされて除去されました。また、長い会話は、モデルの最大コンテキスト長に合わせて短いセグメントに分割されました。

GPT-4 が審査員を務めた予備評価では、Vicuna-13B が OpenAI ChatGPT や Google Bard などの有名なモデルの 90% 以上の品質を達成していることが示されました。印象的なことに、Vicuna-13B は当時、90% 以上のケースで LLaMA や Stanford Alpaca などの他の注目すべきモデルを上回りました。 Vicuna-13B のトレーニング プロセス全体は、スポット インスタンス、勾配チェックポイント、フラッシュ アテンションなどの技術を活用してメモリ使用量を最適化し、コストを削減し、約 300 ドルのコストで実行されました。その機能の探索に興味がある人のために、コード、重み、およびオンライン デモが非営利目的で公開されています。

Vicuna のトレーニング レシピは、スタンフォードの Alpaca モデルをベースに、いくつかの重要な改良が加えられています。

• マルチターン会話: トレーニング損失は、複数ターンの会話を考慮して調整され、チャットボットの出力のみに基づいて微調整損失が計算されます。
• メモリの最適化: コンテキストの最大長が Alpaca の 512 から Vicuna の 2048 に拡張され、GPU メモリ要件が増加しますが、より長いコンテキストを理解できるようになります。これは、勾配チェックポイント設定とフラッシュ アテンションを通じて解決されます。
• コスト削減： 40 倍のデータセットと 4 倍のシーケンス長により、トレーニング費用に課題が生じましたが、SkyPilot 経由でマネージド スポット インスタンスを採用することで、82 億モデルでは 140 ドルから 7 ドルに、135 億モデルでは 300 ドルから 13 ドルにコストが大幅に削減されました。

Vicuna にサービスを提供するために、オンプレミス クラスターまたはクラウドから柔軟に接続できるワーカーを使用して複数のモデルを処理できる分散サービス システムが構築されました。フォールト トレラント コントローラーとマネージド スポット インスタンスを利用することで、このシステムは複数のクラウドの安価なスポット インスタンスとうまく連携して、サービス コストを最小限に抑えることができます。現在は軽量の実装ですが、サービス インフラストラクチャをさらに強化するために最新の研究を統合する作業が進行中です。

Vicuna-13B の主な特徴:

• オープンソースの性質: Vicuna-13B は一般公開されており、透明性とコミュニティの参加を促進します。
• 広範なトレーニング データ: このモデルは、ユーザーが共有する 70 件の会話でトレーニングされており、多様なインタラクションを包括的に理解できます。
• 費用対効果の高いトレーニング: マネージド スポット インスタンス、勾配チェックポイント、フラッシュ アテンションなどの技術により、300 億モデルで約 13 ドルでコスト効率の高いトレーニングが可能になりました。
• 強化されたトレーニングレシピ: Vicuna は Alpaca レシピに基づいて構築されており、複数ターンの会話処理、メモリの最適化、コスト削減が改善されています。
• 分散型サービスインフラストラクチャ: ビクーニャを公的にアクセスできるようにするために、柔軟でコスト効率の高い分散サービス システムが構築されました。
• オンラインデモの利用可能性: ユーザーは、Vicuna-13B の機能をテストおよび体験するためのインタラクティブなオンライン デモを利用できます。

この分析はGPT-4を用いた非科学的な予備評価に基づいていることに留意することが重要です。厳密な評価はまだ必要です。

ビクーニャ-13B を訪問 →

大規模言語モデルの拡大する領域