最も優れたAIモデルがあなたのアプリに適しているわけではない理由

最も強力なモデルを選択することには、ある種の安心感がある。AIを搭載した製品を構築している場合、最も強力なモデルを選択することは、責任がある（ある意味では論理的な）選択のように感じられる。GPT-4o。Claude Opus。Gemini Ultra。これらは印象的な技術であり、誰もが部屋で最も賢いツールを選択したために解雇されたことはない。

しかし、あるがまま。プロジェクトは肥大化する。コストは増加する。待ち時間が増える。そして、約3ヶ月後、チームは、シンプルな自動補完機能が、ベンチャー資金で裏付けられていないスタートアップのようにAPIクレジットを浪費している理由について、不快な質問を開始する。

問題は次のとおりである: 「最も優れた」と「最も適切」は、2つの異なる基準である。AIアプリ開発サービスを提供する会社は、モデルを選択する際に、評価ではなく、ランキングを基準としている。

大きいものが常に優れているわけではない

フロンティアモデルは、理想的な条件下では非常に優れたパフォーマンスを発揮するが、運用コストが高く、不完全な入力に対処できず、シンプルなタスクの要件を超えてしまう。

GPT-4oは、詩を書き、法的契約を推論し、コードのデバッグを行い、10歳の子供に量子エンタングルメントを説明することができる。時には、1つのレスポンスでこれらのタスクを実行する。本当に驚くべきことである。しかし、あなたのアプリが顧客サポートチケットを要約したり、請求書から構造化されたデータを抽出したりしている場合、使用されていない機能に対して支払っていることになる。

小規模で専門化されたモデルは、印象的な精度で集中したタスクを処理することができる:

• GPT-4o miniは、GPT-4oよりも約15倍低いコストで、ほとんどの言語タスクをカバーする
• Claude Haikuは、高速性と効率性を高容量、構造化されたワークロード向けに構築されている
• Mistral 7BとLlama 3.1 8Bは、オープンソースのオプションで、高速に実行され、ファインチューニングが容易である

タスクが狭い範囲で、プロンプトが適切に設計されている場合、フロンティアモデルとこれらのモデル之间のギャップは大幅に縮小される。

計画会議で話されないコストの数学

フロンティアモデルのAPI価格は、軽量モデルの約10〜30倍高くなる。抽象的な数字ではあるが、実際のスケールでモデル化すると、具体的なコストになる。

例えば、あなたのアプリが月に50万回のAPI呼び出しを行うと仮定してみよう:

同じ機能ですが、非常に異なるマージンの物語である。

一部のチームは、シンプルな分類タスクを軽量モデルにルーティングし、複雑な生成または推論ステップには重いモデルを予約するハイブリッドアーキテクチャを実行している。MartianやRouteLLMのような会社は、このようなモデルルーティングのためのツールを作成している。これは華麗なエンジニアリングではないが、CFOが著しくリラックスするようなものである。

待ち時間はユーザー体験の問題である

ファストフードがある理由がある。人々は常に5コースの食事を望むわけではない。時には答えがすぐに欲しい。

フロンティアモデルは遅い。常に大幅に遅くはないが、リアルタイムアプリケーションでは重要である。ユーザーが会話型UI、チャットインターフェイス、またはライブコーディングアシスタントでAIのレスポンスを待っている場合、レスポンスの待ち時間は製品の感覚を直接形成する。4〜6秒でレスポンスが返るモデルは、技術的には優れているかもしれないが、信頼性が低いと感じられる。

ルールは次のとおりである: ユーザーがローディングスピナーを表示すると、追加の1秒ごとに信頼性が低下する。

Haiku、Mistral、Llama 3.1 8Bは、同等の負荷条件下で、実行速度が大幅に速い（時には3〜5倍速い）。ユーザーに直面する機能で、感覚的な速度が重要な場合、これは軽微な考慮事項ではない。製品の決定である。

プロンプトエンジニアリングの変数（すべてを変える）

モデル比較スレッドで省略されるもの: 小規模モデルで作成されたプロンプトは、フロンティアモデルで作成された怠慢なプロンプトを上回ることがある。

出力の品質は、モデル能力とプロンプト品質の両方の産物である。チームがプロンプトエンジニアリングに投資する（明確な指示、構造化された出力形式、少数の例、明確に定義された制約）小規模モデルは、想定される上限を大幅に上回るパフォーマンスを発揮する。

ここで知っておくべきツール:

• LangChainとDSPyを使用して、プロンプトパイプラインを構成および最適化する
• Guidanceを使用して、制約付き生成と構造化された出力を実現する
• PromptFooを使用して、モデル間でシステム的なプロンプト評価を実行する

本日稼働中の最も印象的なAI機能のいくつかは、能力ランキングの上位5位に入ることのできないモデルで実行されている。ただし、実行されているプロンプトは非常に優れている。

ファインチューニングが方程式を変える

フロンティアモデルと小規模オープンソースモデルの比較は、ファインチューニングが導入されると大幅に異なるものになる。あなたの特定のドメインデータ（あなたの用語、あなたのエッジケース、あなたの出力形式）でファインチューニングされたLlama 3.1 8Bモデルは、あなたの特定のタスクでGPT-4oを上回ることができる。

これは仮説ではなく。ヘルスケア、法テック、電子商取引の企業は、これを繰り返し実証している。

ファインチューニングの開始方法:

• Hugging Faceを使用して、オープンソースモデルのホスティング、データセット、トレーニングインフラストラクチャを実現する
• Together AIを使用して、人気のオープンモデルで高速かつ費用効果の高いファインチューニングを実行する
• Replicateを使用して、カスタムモデルをデプロイするために、独自のGPUインフラストラクチャを管理する必要がない

ファインチューニングには、初期投資が必要である: データのキュレーション、コンピューティング時間、評価作業。ただし、高容量のドメイン固有タスクの場合、経済的には大幅に有利になる。

セキュリティとデータ居住性は二次的なものではない

一部のアプリケーションは、データを第三者APIに送信することはできない。以下を考慮してください:

• HIPAAの下で運営しているヘルスケアプラットフォーム
• PIIまたは規制されたトランザクションデータを処理する金融ツール
• 厳格なデータ居住性要件を持つエンタープライズソフトウェア

これらの環境には、フロンティアモデルAPIが回避できない制約がある。ローカルでホストされたモデル、オンプレミスまたはプライベートクラウド上で、Llama 3、Mistral、またはPhi-3を実行している。これは、進むための唯一の道である。プロダクションで使用できないフロンティアモデルは、全くの間違いである。

チームがスキップしている評価ステップ

ほとんどのチームは、最も高価なモデルが最良であると仮定してモデルを選択する。ただし、実際のユースケースの代表的なサンプルに対する構造化された評価を実行することが必要である。

ここで機能するプロセス:

1. 100〜200の代表的な入力と予想出力を持つ評価セットを構築する
2. これらを2〜3つの候補モデルで現実的な条件下で実行する
3. 精度、フォーマットの準拠性、トーン、待ち時間、コストを実際の基準で評価する
4. データに基づいて決定し、直感やランキングに基づいて決定しない

Braintrust、PromptFoo、Weights & Biases Promptsのようなツールは、研究バックグラウンドなしでこのようなシステム的な評価を可能にする。設定には数時間かかる。6ヶ月間で間違ったモデルを選択しないことへの対価である。

フロンティアモデルが実際に正しい選択である場合

公平であるために: フロンティアモデルが実際にその価格を正当化するタスクがある。

フロンティアモデルを使用する:

• タスクが複雑な、マルチステップの推論を必要とし、明確なテンプレートがない
• 出力品質のバリアンスが高価で、ボリュームが相対的に低い
• 広範な世界の知識や、プロンプトで回避できない繊細な判断が必要
• プロトタイプを作成しており、タスクの境界をまだ定義していない

軽量モデルを使用する:

• タスクが明確に定義され、繰り返し
• 速度とコストが重要で、実行ボリュームが高い
• プロンプトエンジニアリングまたはファインチューニングに投資できる
• データ居住性またはコンプライアンスの規則で、第三者APIが除外される

ポイントは、強力なモデルを避けることではなく、証拠に基づいて、ランキングに基づいて最も強力なモデルを選択するのではなく、意図的に選択することである。

まとめ

あなたのアプリケーションにAIモデルを選択することは、プレステージの競争のように感じるべきではない。紙上では最も優れたモデルは、常にあなたの問題、または通常、最も適切なモデルではない。

モデルをタスクに合わせる。実データで評価を実行する。待ち時間、コスト、セキュリティ要件、およびチームのプロンプトエンジニアリングまたはファインチューニング能力を考慮する。最良のAI製品の決定は、これらの具体的な要素に基づいており、前四半期に最も印象的な数字を発表した会社ではない。

最も優れたAI製品を出荷しているチームは、必ずしも最も強力なモデルを実行しているわけではない。最も適切なモデルを実行している。