Snowflake Arctic: エンタープライズ AI 向けの最先端の LLM

今日の企業は、大規模言語モデル (LLM) を活用して生産性を向上させ、インテリジェントなアプリケーションを作成する方法をますます模索しています。ただし、利用可能な LLM オプションの多くは、データ分析、コーディング、タスク自動化などの特殊な企業ニーズに合わせて調整されていない汎用モデルです。入力 スノーフレーク北極 – 企業の中核的なユースケース向けに意図的に設計され、最適化された最先端の LLM。

Snowflake の AI 研究チームによって開発された Arctic は、効率的なトレーニング、費用対効果、比類のないレベルのオープン性によって可能性の限界を押し広げます。この革新的なモデルは、既存の LLM と比較してはるかに少ないコンピューティング能力を必要としながら、主要なエンタープライズ ベンチマークで優れています。 Arctic がエンタープライズ AI にとって大きな変革をもたらす理由を詳しく見てみましょう。

再定義されたエンタープライズ インテリジェンス Arctic は、その中核として、エンタープライズにとって真に重要な指標 (コーディング、SQL クエリ、複雑な命令に従って、根拠のある事実ベースの出力を生成する) で優れたパフォーマンスを提供することに重点を置いています。 Snowflake は、これらの重要な機能を新しい「エンタープライズインテリジェンス」 メトリック。

結果がすべてを物語っています。 Arctic は、エンタープライズ インテリジェンス ベンチマークで LLAMA 7B や LLAMA 70B などのモデルと同等、またはそれを上回っていますが、トレーニングに使用するコンピューティング予算は半分未満です。驚くべきことに、活用しているにも関わらず、 LLAMA 17B と比較してコンピューティング リソースが 70 倍少ない, Arctic は、コーディング (HumanEval+、MBPP+)、SQL 生成 (Spider)、命令追従 (IFEval) などの特殊なテストで同等の性能を実現します。

しかし、Arctic の優れた点は、企業のベンチマークを上回るだけではありません。 DBRX のような飛躍的に高いコンピューティング バジェットでトレーニングされたモデルと比較して、一般的な言語理解、推論、数学的適性にわたって優れたパフォーマンスを維持します。この総合的な機能により、Arctic は企業の多様な AI ニーズに取り組むための無敵の選択肢となります。

イノベーション

Dense-MoE ハイブリッド トランスフォーマー それでは、Snowflake チームはどのようにして、このような信じられないほど有能でありながら効率的な LLM を構築したのでしょうか?その答えは、Arctic の最先端の高密度専門家混合 (MoE) ハイブリッド変圧器アーキテクチャにあります。

従来の高密度トランスフォーマー モデルは、サイズが大きくなるにつれてトレーニングのコストが増大し、計算要件が直線的に増加します。 MoE の設計では、複数の並列フィードフォワード ネットワーク (専門家) を利用し、入力トークンごとにサブセットのみをアクティブにすることで、これを回避できます。

ただし、単に MoE アーキテクチャを使用するだけでは十分ではありません。Arctic は、高密度コンポーネントと MoE コンポーネントの両方の長所を巧みに組み合わせています。これは、10 億パラメータの高密度トランスフォーマ エンコーダと 128 のエキスパート残留 MoE マルチレイヤ パーセプトロン (MLP) レイヤを組み合わせています。この高密度 MoE ハイブリッド モデルには合計 480 億のパラメーターがありますが、トップ 17 ゲーティングを使用すると、常に 2 億のみがアクティブになります。

その意味は深刻です。Arctic は、トレーニングと推論中に顕著な計算効率を維持しながら、前例のないモデルの品質と容量を実現します。たとえば、Arctic では、推論中に DBRX などのモデルよりもアクティブなパラメーターが 50% 少なくなります。

しかし、モデル アーキテクチャはストーリーの一部にすぎません。 Arctic の卓越性は、Snowflake 研究チームによって開発されたいくつかの先駆的な技術と洞察の集大成です。

1. エンタープライズに焦点を当てたトレーニング データ カリキュラム チームは広範な実験を通じて、常識的推論などの一般的なスキルは早期に学習する必要がある一方、コーディングや SQL などのより複雑な専門分野はトレーニング プロセスの後半で習得するのが最適であることを発見しました。 Arctic のデータ カリキュラムは、人間の学習の進行を模倣した 3 段階のアプローチに従っています。

最初のテラトークンは、広範な一般基盤の構築に焦点を当てています。次の 1.5 テラトークンは、SQL やコーディング タスクなどに合わせたデータを通じてエンタープライズ スキルの開発に集中します。最後のテラトークンは、洗練されたデータセットを使用して北極の専門性をさらに洗練させます。

2. 最適なアーキテクチャの選択 MoE はコンピューティングあたりの品質の向上を約束しますが、適切な構成を選択することは重要ですが、十分に理解されていません。詳細な調査を通じて、Snowflake は品質と効率のトレードオフを評価した後、各層にトップ 128 のゲートを設ける 2 人の専門家を雇用するアーキテクチャにたどり着きました。

エキスパートの数を増やすと、より多くの組み合わせが提供され、モデルの能力が向上します。ただし、これにより通信コストも上昇するため、Snowflake は、最適なバランスとして、トップ 128 ゲートを介してアクティブ化される、慎重に設計された 2 人の「凝縮された」エキスパートを採用しました。

3. システムの協調設計 しかし、最適なモデル アーキテクチャであっても、システムのボトルネックによって損なわれる可能性があります。そこで、Snowflake チームはここでも革新を行い、基礎となるトレーニングおよび推論システムと連携してモデル アーキテクチャを共同設計しました。

効率的なトレーニングを実現するために、高密度コンポーネントと MoE コンポーネントは、通信と計算のオーバーラップを可能にし、大幅な通信オーバーヘッドを隠すように構造化されています。推論面では、チームは NVIDIA のイノベーションを活用して、北極の規模にもかかわらず、非常に効率的な展開を可能にしました。

FP8 量子化などの手法を使用すると、インタラクティブな推論のために完全なモデルを単一の GPU ノードに適合させることができます。より大きなバッチでは、複数のノードにわたる Arctic の並列処理機能を活用しながら、コンパクトな 17B アクティブ パラメーターのおかげで驚くほどの計算効率を維持します。

Apache 2.0 ライセンスがあれば、Arctic の重みとコードは、個人、研究、商用目的でゲートなしで利用できます。しかし、Snowflake はさらに進んで、完全なデータ レシピ、モデルの実装、ヒント、北極を支える深い研究の洞察をオープンソース化しました。

「北極クックブック」は、北極のような大規模な環境モデルの構築と最適化のあらゆる側面をカバーする包括的なナレッジ ベースです。データソーシング、モデルアーキテクチャ設計、システム共同設計、最適化されたトレーニング/推論スキームなどにわたって重要な学習内容を抽出します。

最適なデータ カリキュラムの特定から、コンパイラー、スケジューラー、ハードウェアを共同最適化しながらの MoE の構築に至るまで、この広範な知識体系により、これまでエリート AI ラボに限定されていたスキルが民主化されます。 Arctic Cookbook は学習曲線を加速し、世界中の企業、研究者、開発者が、ほぼすべてのユースケースに合わせてコスト効率の高い独自の LLM を作成できるようにします。

北極を始める

北極圏の活用に熱心な企業向けに、Snowflake はすぐに始めるための複数のパスを提供します。

サーバーレス推論: Snowflake の顧客は、同社のフルマネージド AI プラットフォームである Snowflake Cortex 上の北極モデルに無料でアクセスできます。さらに、Arctic は、AWS、Microsoft Azure、NVIDIA などのすべての主要なモデル カタログで利用できます。

ゼロから始める: オープンソース モデルの重みと実装により、開発者は Arctic をアプリやサービスに直接統合できます。 Arctic リポジトリでは、コード サンプル、デプロイメント チュートリアル、微調整レシピなどが提供されます。

カスタム モデルの構築: Arctic Cookbook の網羅的なガイドのおかげで、開発者は、Arctic の開発から学んだことを使用して、特殊なユースケースに最適化された独自のカスタム MoE モデルを最初から構築できます。

オープン エンタープライズ AI の新時代 Arctic は単なる強力な言語モデルではなく、エンタープライズ向けに構築された、オープンでコスト効率の高い特化された AI 機能の新時代の到来を告げるものです。

データ分析とコーディングの生産性の革新から、タスクの自動化とよりスマートなアプリケーションの強化に至るまで、Arctic のエンタープライズファーストの DNA は、汎用 LLM に勝る無敵の選択肢となっています。そして、Snowflake は、モデルだけでなくその背後にある研究開発プロセス全体をオープンソース化することで、AI エコシステム全体を向上させるコラボレーションの文化を育んでいます。

企業による生成 AI の導入が進む中、Arctic は、実稼働ワークロードとエンタープライズ環境にとって客観的に優れたモデルを開発するための大胆な青写真を提供します。最先端の研究、比類のない効率性、そして確固たるオープン精神が融合したものは、AI の変革の可能性を民主化する上で新たなベンチマークを設定します。

Snowflake Arctic モデルの使用方法に関するコード例を含むセクションを次に示します。

北極との実践

Arctic が真に画期的である理由について説明したので、開発者とデータ サイエンティストがこの強力なモデルをどのように機能させ始めることができるかを見ていきましょう。
Arctic は、箱から出してすぐに事前トレーニングされた状態で利用でき、Hugging Face やパートナー AI プラットフォームなどの主要なモデル ハブを通じてすぐに展開できます。ただし、その真の力は、特定の使用例に合わせてカスタマイズおよび微調整するときに現れます。

Arctic の Apache 2.0 ライセンスは、アプリ、サービス、カスタム AI ワークフローに完全に自由に統合できます。まずは、トランスフォーマー ライブラリを使用したコード例をいくつか見てみましょう。
北極での基本的な推論

迅速なテキスト生成のユースケースでは、Arctic をロードして基本的な推論を非常に簡単に実行できます。

from transformers import AutoTokenizer, AutoModelForCausalLM
# Load the tokenizer and model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct")
# Create a simple input and generate text
input_text = "Here is a basic question: What is the capital of France?"
input_ids = tokenizer.encode(input_text, return_tensors="pt")
# Generate response with Arctic
output = model.generate(input_ids, max_length=150, do_sample=True, top_k=50, top_p=0.95, num_return_sequences=1)
generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)

これにより、次のような出力が得られます。

「フランスの首都はパリです。パリはフランス最大の都市であり、国の経済、政治、文化の中心地です。エッフェル塔、ルーブル美術館、ノートルダム大聖堂などの有名なランドマークがあります。」

ご覧のとおり、Arctic はクエリをシームレスに理解し、その堅牢な言語理解機能を活用して、詳細で根拠のある応答を提供します。

特殊なタスクに合わせた微調整

Arctic は、すぐに使用できる状態でも優れていますが、特殊なタスクのために独自のデータに基づいてカスタマイズおよび微調整すると、真の輝きを放ちます。 Snowflake は、以下をカバーする広範なレシピを提供しています。

• ユースケースに合わせた高品質のトレーニング データをキュレーション
• カスタマイズされた多段階のトレーニング カリキュラムの実施
• 効率的な LoRA、P-Tuning、または FactorizedFusion 微調整アプローチの活用
• SQL、コーディング、その他の主要なエンタープライズ スキルを見極めるための最適化

LoRA と Snowflake のレシピを使用して、独自のコーディング データセットで Arctic を微調整する方法の例を次に示します。

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training
# Load base Arctic model
tokenizer = AutoTokenizer.from_pretrained("Snowflake/snowflake-arctic-instruct")
model = AutoModelForCausalLM.from_pretrained("Snowflake/snowflake-arctic-instruct", load_in_8bit=True)
# Initialize LoRA configs
lora_config = LoraConfig(
r=8,
lora_alpha=16,
target_modules=["query_key_value"],
lora_dropout=0.05,
bias="none",
task_type="CAUSAL_LM"
)
# Prepare model for LoRA finetuning
model = prepare_model_for_int8_training(model)
model = get_peft_model(model, lora_config)
# Your coding datasets
data = load_coding_datasets()
# Fine-tune with Snowflake's recipes
train(model, data, ...)

このコードは、Arctic を簡単にロードし、コード生成用に調整された LoRA 構成を初期化し、Snowflake のガイダンスを活用して独自のコーディング データセットでモデルを微調整する方法を示しています。

カスタマイズされ、微調整された Arctic は、企業の中核となるワークフローや関係者のニーズに比類のないパフォーマンスを提供するように調整されたプライベート パワーハウスになります。