アプリケーションに最も適切なAIモデルを選択するためのガイド

最も強力なモデルを選択することは、ある意味で責任があるようです。AIを搭載した製品を開発する際、最も強力なモデルを選択することは、最も論理的な選択のように思えるかもしれません。GPT-4o、Claude Opus、Gemini Ultraは、印象的な技術ですが、最も賢いツールを選択したことによって誰も解雇されることはありません。

しかし、注意する必要があります。プロジェクトは膨張し、コストは増加し、待ち時間が発生します。約3ヶ月後、チームは、シンプルな自動補完機能がAPIクレジットをどのように浪費しているのかについて、不快な質問を始めるでしょう。

重要なのは、「最も能力のある」と「最も適切な」は、2つの異なる基準であるということです。AIアプリ開発サービスを提供する会社は、モデルを選択する際に、ランキングではなく、評価に基づいています。

大きいものは必ずしも良いものではない

フロンティアモデルは、理想的な条件下では非常に優秀に機能しますが、運用コストが高く、不完全な入力に対処できず、シンプルなタスクの要件を超えています。

GPT-4oは、詩を書いたり、法的契約を分析したり、コードをデバッグしたり、10歳の子供に量子エンタングルメントを説明したりすることができます。これは、本当に驚くべきことです。しかし、アプリがカスタマーサポートチケットを要約したり、請求書から構造化されたデータを抽出したりする場合、使用されていない機能に対して支払っていることになります。

小さな、専門化されたモデルは、集中したタスクを驚くべき精度で処理します：

• GPT-4o miniは、ほとんどの言語タスクを、GPT-4oよりも約15倍低いコストでカバーします
• Claude Haikuは、高容量、構造化されたワークロードでの速度と効率に優れています
• Mistral 7BとLlama 3.1 8Bは、オープンソースのオプションで、高速に実行され、ファインチューニングも行えます

タスクが狭く、プロンプトがよく設計されている場合、フロンティアモデルとこれらのモデルの間のギャップは、かなり縮小します。

計画会議で話されないコストの計算

フロンティアモデルのAPI価格は、軽量モデルのトークンあたりのコストよりも10〜30倍高くなることがあります。このギャップは、スケールでモデル化すると、抽象的なものではありません。

アプリが月に50万回のAPI呼び出しを行うとします：

同じ機能ですが、かなり異なるマージンストーリーです。

一部のチームは、ハイブリッドアーキテクチャを実行し、シンプルな分類タスクを軽量モデルにルーティングし、重いモデルを複雑な生成または推論ステップに予約しています。MartianやRouteLLMのような会社は、このようなモデルルーティングのためのツールを作成しています。これは、華麗なエンジニアリングではありませんが、CFOを著しくよりリラックスさせるものです。

待ち時間はユーザー体験の問題である

速い食事は存在します。人々は常に5コースの食事を望んでいないことがあります。時には答えがすぐに欲しい場合があります。

フロンティアモデルは遅いです。常に多くの場合ではありませんが、リアルタイムアプリケーションでは重要です。ユーザーが会話UI、チャットインターフェース、またはライブコーディングアシスタントでAIのレスポンスを待っている場合、レスポンスの待ち時間は直接、製品の感覚を形作ります。4〜6秒でレスポンスするモデルは、技術的には優れているとしても、信頼性が低いと感じられます。

ルールは、ユーザーがローディングスピナーを見た場合、追加の1秒ごとに信頼が低下するというものです。

Haiku、Mistral、Llama 3.1 8Bは、類似の負荷条件下で、はるかに高速に実行されます（時々3〜5倍高速）。ユーザーに直面する機能で、感覚的な速度が重要な場合、これは軽微な考慮事項ではありません。これは、製品の決定です。

プロンプトエンジニアリングの変数（すべてを変える）

ここで、モデル比較スレッドで省略されるものがあります。小さなモデルで作成されたプロンプトは、フロンティアモデルで作成された怠慢なプロンプトよりも優れています。

出力品質は、モデル能力とプロンプト品質の両方の産物です。チームがプロンプトエンジニアリング（明確な指示、構造化された出力形式、少量の例、厳密な制約）に投資すると、小さなモデルは、明らかな上限をはるかに超えてパフォーマンスを発揮します。

ここで知っておくべきツールがいくつかあります：

• LangChainとDSPyを使用して、プロンプトパイプラインを構成および最適化します
• Guidanceを使用して、制約付き生成と構造化された出力を実現します
• PromptFooを使用して、モデル間でシステム的なプロンプト評価を実行します

現在、実稼働中の最も印象的なAI機能のいくつかは、トップ5の能力ランキングに達しないモデルで実行されています。ただし、非常に優れたプロンプトで実行されています。

ファインチューニングが方程式を変える

一般的なフロンティアモデルと小さなオープンソースモデルの比較は、ファインチューニングが考慮されるようになると、かなり異なります。特定のドメインデータ（用語、エッジケース、出力形式）でファインチューニングされたLlama 3.1 8Bモデルは、特定のタスクでGPT-4oを上回ることができます。

これは仮定ではありません。ヘルスケア、法テック、電子商取引の会社は、これを繰り返し実証しています。

ファインチューニングを開始する方法：

• Hugging Faceを使用して、オープンソースモデルのホスティング、データセット、トレーニングインフラストラクチャを実現します
• Together AIを使用して、人気のオープンモデルで迅速かつ費用対効果の高いファインチューニングを実行します
• Replicateを使用して、カスタムモデルをデプロイするために、独自のGPUインフラストラクチャを管理する必要がないようにします

ファインチューニングには、初期投資が必要です。データのキュレーション、コンピューティング時間、評価作業が必要です。しかし、高容量のドメイン固有タスクの場合、経済的には大幅に有利です。

セキュリティとデータ居住は二次的なものではない

一部のアプリケーションは、データを第三者APIに送信することはできません。以下を考慮してください：

• HIPAAの下で運営しているヘルスケアプラットフォーム
• PIIまたは規制取引データを扱う金融ツール
• 厳格なデータ居住要件を持つエンタープライズソフトウェア

これらの環境には、フロンティアモデルAPIが回避できない制約があります。オープンソースモデル（Llama 3、Mistral、Phi-3）を自身のインフラストラクチャで実行することは、唯一の進路です。プロダクションで使用できないフロンティアモデルは、全くの無駄です。

チームがスキップしている評価ステップ

ほとんどのチームは、最も高価なモデルが最良であると仮定してモデルを選択します。実際にしているべきことは、実際の使用例の代表的なサンプルに対して、構造化された評価を実行することです。

ここで機能するプロセスがあります：

1. 100〜200個の代表的な入力と期待される出力を含む評価セットを構築します
2. 2〜3つの候補モデルを現実的な条件下で実行します
3. 実際の基準（精度、形式の準拠、トーン、待ち時間、コスト）でスコアを付ける
4. データに基づいて決定し、直感やランキングに基づいて決定しない

Braintrust、PromptFoo、Weights & Biases Promptsなどのツールは、研究の背景がない場合でも、システム的な評価を実行することを可能にします。設定には数時間かかります。報酬は、6ヶ月間間違ったモデルを選択しないことです。

フロンティアモデルが実際に正しい選択である場合

公平であるために、フロンティアモデルが実際にその価格を正当化するタスクがあることを認める必要があります。

フロンティアモデルを使用する：

• タスクが複雑な、マルチステップの推論を必要とし、明確なテンプレートがない
• 出力品質のバリアンスが高価で、ボリュームが比較的低い
• 広範な世界の知識や、プロンプトで回避できないニュアンスのある判断が必要
• プロトタイピングを行っており、タスクの境界をまだ定義していない

軽量モデルを使用する：

• タスクが明確に定義され、繰り返し実行される
• 速度とコストが重要で、ボリュームが高い
• プロンプトエンジニアリングまたはファインチューニングに投資できる
• データ居住またはコンプライアンスの規則で、第三者APIを使用できない

ポイントは、強力なモデルを避けることではありません。ポイントは、証拠に基づいて、デフォルトで最も大きな名前を選ぶのではなく、意図的に選択することです。

まとめ

AIモデルをアプリケーションに選択することは、威信の競争のように感じるべきではありません。紙上では最も能力のあるモデルは、常に最良のモデルではありません。

モデルをタスクに合わせてください。実際のデータで評価を実行します。待ち時間、コスト、セキュリティ要件、およびチームのプロンプトエンジニアリングまたはファインチューニングの能力を考慮に入れます。最良のAI製品の決定は、これらの具体的な要素に基づいており、先週の四半期に最も華麗な数字を発表した会社に基づいていないものです。

素晴らしいAI製品を出荷しているチームは、必ずしも最も強力なモデルを実行しているわけではありません。最も適切なモデルを実行しているのです。