Shanea Leven, Empromptu AIの創設者兼CEO Shanea Leven Empromptu AIの創設者兼CEO

ヴァイブコーディングは死んだ：実際にスケールするAIツールを作る方法

すべての企業のリーダーは、パターンを見たことがあるはずだ：デモでは印象的なAIツールだが、3ヶ月後には精度が低下してしまい、エッジケースで詰まってしまい、誰もその理由を説明できない。こうしたことは、「ヴァイブコーディング」の遺産である。ヴァイブコーディングとは、試行錯誤によるプロンプトエンジニアリングによってAIシステムを開発することである。ヴァイブコーディングではデモを作るが、製品を作ることはできない。こうしたことが理由で、95パーセントのAIパイロットは本稼働に到達できない。「チャットGPTのウィンドウで動作する」と「実際の顧客と一緒に企業規模で動作する」という間のギャップは、インフラストラクチャーだけの問題ではない。エンジニアリングの規律の問題である。規制された業界の企業顧客、B2B SaaS企業、数百万のインタラクションを処理するレガシーコードベースに対するAIアプリケーションを構築した後、私たちはようやく、どのようなシステムがスケールするかを理解し始めた。ヴァイブコーディングがスケールで失敗する理由ヴァイブコーディングの問題は単純である：チェリーピックされた例ではうまくいくが、実際のデータの無限の変異性の下ではうまくいかない。コンテキストウィンドウはごみの山になる。開発の初期段階では、精度を向上させるためにフレームワークを追加し、エッジケースを処理するために追加のコンテキストを含める。やがて、システムは100,000トークンの無関係な情報で詰まってしまい、パフォーマンスと精度が低下する。モデルの精度は低下し、誰も気づかない。この場合、精度は低下し、誰も気づかない。今日はうまくいくプロンプトが、来週突然失敗し、リーダーたちは同じ質問をする: モデルアップデートだったのか? 新しいユーザーセグメントだったのか? クエリパターンの季節的な変化だったのか? 企業は、必要なシステム的な計測器を持っていないため、盲目的にデバッグを開始する。エッジケースは指数関数的に増える明らかな失敗を修正するごとに、3つのより繊細な問題が生じる。たとえば、小売会社の顧客サポートチケットを完璧に処理するシステムが、製造会社では意味のないものを生成する。現在、私たちが行っていることは、手動でのプロンプトの微調整だが、このスケールでは、追いつくことができない。根本的な欠陥は、AIエンジニアリングを創造的な文章作成として扱うことではなく、システムエンジニアリングとして扱うことである。これが、最初の世代のヴァイブコーディングプラットフォームで書かれたコードがスケールで失敗する理由である。スケールするAIを構築するには、5つのコアエンジニアリング課題を解決する必要がある：コンテキスト管理、最適化、メモリ、データ品質、継続的な評価。アダプティブコンテキストアーキテクチャブレークスルーは、より多くのコンテキストを読み込むことではなく、正しいコンテキストを正しいタイミングで読み込むことである。企業には、コンテキストを静的なダンプではなく、ダイナミックなリソースとして扱うシステムが必要である。すべての可能な情報を事前に読み込むのではなく、システムはコンテキストを学習し、必要な情報をオンデマンドで取得する必要がある。顧客の履歴が必要なクエリの場合、関連するインタラクションを繰り返し取得する。同様に、製品の仕様が必要なクエリの場合、正確な技術的な詳細を取得する。最後に、コンテキストが古くなったとき、技術は忘れるかリセットする方法を知る必要がある。これはプロンプトエンジニアリングではなく、コンテキストエンジニアリングである。認知負荷を管理するインフラストラクチャシステムを構築することである。汎用的なプロンプトは汎用的な結果を生み出す。実稼働システムは、コンテキストの多腕バンディット問題を解決する必要がある。入力ごとに最適なプロンプトを動的に選択する。財務文書を処理している場合、財務最適化プロンプトにルーティングする。技術サポートチケットを処理している場合、トラブルシューティングに焦点を当てたバリアントを使用する。理想的には、システムは継続的に、どのプロンプトがどの入力に最も効果的かを測定し、自動的にルーティングを調整する。実稼働システムでは、A/Bテストではなく、リアルタイムのインスタンスごとの最適化が必要である。無限メモリシステムとゴールデンデータパイプラインほとんどのAIツールには、記憶力が無い。会話を忘れ、学習を失い、同じミスを繰り返す。有意義で実際に無限の記憶を持つシステムを構築するには、チャット履歴を保存するだけでなく、重要なものを保存する必要がある。堅牢な記憶は、起こったことだけではなく、重要なことを保存する。成功したアーキテクチャシステムは、セッションやユーザーをまたいだコンテキストを保存し、パターンを抽出し、関連するコンテキストを表面化する必要がある。実践では、AIシステムは数ヶ月前に提起された問題を認識し、以前の決定を思い出し、組織全体で繰り返される行動から学ぶ。複数のユーザーでパターンが現れると、それから学ぶ。記憶は戦略的な資産であり、ストレージの問題ではない。ほとんどのAIシステムは、開始する前にすでに失敗する。単純な問題が原因である：ゴミが入るとゴミが出る。企業には、すべての場所にデータがある：構造化されたデータベース、汚いスプレッドシート、構造化されていない電子メール、半構造化されたCRMエクスポート。しかし、AIアプリケーションにデータを準備するための体系的な方法がない。こうしたことが、ゴールデンデータパイプラインへの注目を高める原因である。ゴールデンデータパイプラインは、データ準備のライフサイクルを一つのシームレスなワークフローで解決する。システムは、任意のソースからデータを取り込み、自動的に品質の問題を検出し、AIの消費のために構造化し、管理された、実稼働可能なデータセットを提供する必要がある。魔法は自動化にある。ユーザーがデータをアップロードすると、システムは自動的に重複したベンダー、不一致なカテゴリ化、欠けている値を検出する。修正を提案し、プレビューとロールバックの機能を提供する。構造化されていないデータの場合、システムは構造化されたフィールドを抽出する必要がある。AIによるラベル付けを適用し、結果を人間のレビューで検証する必要がある。しかし、すべてのこれらの後でも、本当の革新はパイプラインレベルのガバナンスにある。データがAIアプリケーションに到達する前に、システムはプライバシーコントロール、テナント分離、コンプライアンス要件、監査証跡を適用する。すべての変換はログされ、追跡可能である。機密性の高いフィールドは自動的に検出され、ポリシーに従って処理される。これにより、重要なフィードバックループが作成される：実稼働での使用により、エッジケースが明らかになる。エッジケースはパイプラインでキャプチャされ、パイプラインはより高品質のトレーニングデータを生成する。より良いデータは、より良いAIの結果を生み出し、組織はデータ準備に苦労するのを止め、自信を持ってアプリケーションを構築し始めることができる。実稼働のAIには、障害をパターンになる前に表面化する診断ツールが必要である。評価フレームワークは継続的に実行され、顧客セグメント、クエリタイプ、時間パターンをまたいだ精度を測定する。特定のユースケースの精度が低下した場合、システムはすぐにフラグを立てる。新しいエッジケースが現れた場合、それはキャプチャされ、優先順位が付けられる。これは監視ではなく、活性的な品質管理である。プラットフォームの利点：統合が重要これらの機能 — アダプティブコンテキスト管理、インスタンスごとの最適化、無限メモリ、ゴールデンデータパイプライン、継続的な評価 — は、それぞれ独立して構築するのが難しい。ただし、実際の課題は、それらを個別に構築することではなく、それらをまとめて動作させることである。ほとんどの企業は、ポイントソリューションを組み合わせようとする：ベクターデータベースをメモリに、別のETLツールをデータ準備に、カスタムスクリプトを評価に、手動プロセスをプロンプトの最適化に使用する。結果は、断熱テープと希望で保持される不安定なルーブゴールドバーグマシンである。精度が低下した場合、データ品質の問題、コンテキスト管理の問題、プロンプトの最適化の失敗のどれであるかを判断することはできない。パフォーマンスを改善したい場合、データを切り離されたシステム間で手動で移動させる必要がある。ブレークスルーは統合である。データパイプラインが評価フレームワークを知っている場合、問題のある例を自動的に再トレーニングにルーティングできる。メモリシステムがコンテキストアーキテクチャを理解している場合、正確に何を思い出すべきか、いつ忘れるべきかを知る。最適化エンジンが組織のゴールデンデータにアクセスできる場合、プロンプトのバリアントを本稼働パターンに対してテストすることができる。統一されたプラットフォームは、ポイントソリューションよりも実稼働のAIに優れている。これは、すべての機能を持っていることではなく、機能が相互に作用することである。実稼働のAIを構築することは、最良の個々のコンポーネントを組み合わせることではなく、すべてのパーツが相互に作用する統合システムを作成することである。これが、スケールするAIツールとヴァイブコーディングされたプラットフォームの違いである。2026年にAIで勝っている企業は、最も賢いプロンプトや最大のモデルを持っている企業ではない。AIを魔法のように扱うのを止め、エンジニアリングのように扱い始めた企業である。ヴァイブコーディングの時代は終わった。現在の質問は、組織が実際にスケールするシステムを構築する準備ができているかどうかである。