企業におけるAI：総コストを数える

AIは理論や新しさを超えて、多くの組織でコアシステムの一部としてインフラストラクチャに組み込まれています。多くの人々は、AIを主にパブリックLLMやチャットボットと見なしており、ブラウザで使用して終わったら捨てることができます。AIをこのように見ると、より効率的に結果を改善できる幅広いモデルやテクニックを見逃す可能性があります。

事実は、AIは他のインフラストラクチャ投資と同様に、コスト、利点、運用リスクを最初から明確に評価する必要があるということです。使用可能な状態にするには、高品質のデータパイプライン、観察可能性、ガバナンス、ビジネス目標と一致させるために必要な人々への投資が必要です。この部分を省略すると、請求書は単に将来に移動され、利子が付加されます。

AIコストの実際のスケール

理解できることですが、チームはAIコストが直線的に増加することを想定するかもしれません。実際には、努力、コスト、結果はお互いに独立して驚くほど異なる方法で動作する可能性があります。AIに長いドキュメントを一度に読むように求めると、すべての単語を他の単語と関係付ける必要があります。最も人気のあるLLMでは、作業とコストは、自然に予想されるように、2倍の入力で2倍のコストに増加するのではなく、入力長の2乗に比例して増加します。このような基本的な理解は、AIの展開のボトムラインに実際的な影響を与える可能性があります。大量のテキストを毎日処理する組織（たとえば、規制機関）が、グラフ検索または取得パイプラインを設計することで、モデルに全ドキュメントを送信するのではなく、エンドユーザーは「質問して答えを数秒で取得する」というエクスペリエンスを維持しながら、システムは実際にははるかに少ない無駄な作業を実行し、コンピューティングの請求書も大幅に低減されます。

AI支出が組織全体にどのように分散するか

テクノロジー選択は物語の半分にすぎません。残りは、組織がAIに取り組む方法です。多くの組織では、データ準備はエンジニアリング部門にあり、コンプライアンスのレビューは法務部門にあり、クラウド支出はプラットフォームまたはインフラストラクチャチームにあり、モデル選択、構成、ファインチューニングは数人の専門オペレータにあります。各グループは自分の作業と自分の予算行を見ています。支出はここではコンピューティング、そこでは請負業者時間、そして人の時間が「業務として通常」複数のチームに吸収されています。コストセンターに散在する数字で、単一のAIイニシアチブの総着陸コストはどこにも表示されず、簡単に低く見積もられます。その環境では、AIコストは誰も全体の数字を1つの場所で追跡していないため、静かに螺旋状に増加する可能性があります。

AIコスト管理への実用的なアプローチ

AIを避けることは組織にとって正しい動きではありませんが、AIを万能の技術のように扱うことも正しくありません。良い戦略は、常に目的の結果から始めて逆方向に進むことです。すべてのケースで、最新の、高コストの、大規模な汎用モデルが必要ではありません。多くのタスクは、AIの傘下にあるが、既存のインフラストラクチャで実行できる、よく理解された機械学習テクニックによって処理できます。

パイロットプロジェクトから始めます。モデル使用のみではなく、所有権の総コストを測定します。つまり、コンピューティング、統合作業、エンジニアリング時間、変更管理、コンプライアンス努力を考慮する必要があります。目標は、最も小さく、最も単純なモデルを選択することであり、「より多くのモデル」が「より多くの利点」を意味するわけではありません。

AIは1つのものではありません。AIは、さまざまな方法で使用できるテクニックとツールの組み合わせです。そう見ることで、印象的な結果の周りのミステイクが崩壊し、ビジネスは責任を持って、より効果的にその力を活用できます。

人、時間、AI

すべてのAIデプロイは、実践では人とソフトウェアの共同作業です。正式に認められているかどうかは別として、作業はこのように行われます。よりアジェンティックAI（ツールがステップを連結し、他のシステムを呼び出し、プロンプトなしで動作できる）への移行は、この点を変えません。実際、ワークフローで人間の側面を正しく行うための賭けを上げます。

これらのツールは、簡単に過信できます。システムが流暢に自信を持って答えを提示すると、人々はそれがほとんどの場合正しいと想定するのが自然です。適切なトレーニング、明確な境界、適切なチェックなしにワークフローにドロップされた場合、静かに小さなミスのストリームを生成できます。各ミスは発見され、理解され、人によって修正される必要があります。紙上ではAIは効率的のように見えますが、実践では、AIの後始末に費やされる追加の人間時間の隠れたコストがあります。顧客向けまたは規制された環境では、これらの小さなエラーは評判のコストもかかります。ツールがどのように提供され、使用されるかは関係ありません。出力に対する責任は組織にあり、日常的には、ツールを使用する人間のオペレータにあります。これは、ツールが真正に役立つためには明確に理解する必要があります。

より良いパターンは、意図的なパートナーシップです。熟練した人々が結果に対する責任を明確に負い、AIは作業の適切な部分を加速するために使用されます。たとえば、要約、草案作成、ソート、検索などです。チェックと修正がまだ必要な場合でも、ワークフローに適切に導入され、管理されたAIの全体的な影響は、チームが独自に達成できる以上の、より迅速な、より一貫性のある、より大きな容量になります。

AI予算の一部としてのガバナンス

技術的な選択が健全であっても、使用が効率的であっても、AI支出の増加する割合は、生のコンピューティングではなく、ガバナンスに結びつくことになります。EUで活動する組織にとって、AI法はそれを明確に示しています。AIをリスクベースで見ており、重要な点は、それがパブリック向け製品にのみ適用されるわけではないことです。採用、昇進、労働者管理、労働者監視、および特定の安全関連の意思決定に使用される内部システムは、スコープ内に入る可能性があり、リスク管理、文書化、ログ、人間の監視に関する期待とともに来ます。他の地域も似た方向に進んでいます。規則は少し異なりますが、全体的な傾向は同じです。より大きな組織は、AIがどこで使用されているか、何をしているか、どのように制御されているかを知ることが期待されています。

実際的な影響は、内部AIプロジェクトが独自のガバナンスワークロードを持つ可能性があることです。これは任意ではありません。各新しいユースケースは、新しいリスクまたは影響評価、より多くの監視、コンプライアンス、監査、またはリスクチームからのより多くの質問を意味する可能性があります。モデル使用メトリックには表示されませんが、これは実際の努力であり、支払われる必要があります。

これは、AIを避ける理由ではありません。内部AIプロセスの実行コストは、モデルを呼び出すコストだけでなく、ガバナンスと規制の期待も含まれていることを思い出させるものです。

AIロールアウトの失敗する場所

AIプロジェクトでは、システムがデモでどのように見えているかと、野外で大規模に動作するときの挙動との間のギャップが見られます。制御された環境では、狭い質問のセットとフレンドリーなデータで、結果は完璧に見えるかもしれません。その瞬間には、システムが特定の作業のカテゴリを処理する準備ができていると想定するのが容易です。

問題は、システムが実際の使用の全容と容量に公開されたときに、後で現れることがあります。通常のクエリ、ストレスのあるユーザー、不完全なレコード、汚れたエッジケース。デモでは見えなかった亀裂が、誤った答え、見落とされたニュアンス、サポートループ、より長い処理時間、信頼の損失として現れます。内部メトリックとして「処理されたクエリ」や「節約された時間」は紙上では良好に見えるかもしれませんが、エンドユーザーにとっての実体験は異なる話になります。

ポリッシュされたデモまたは小規模なパイロットプロジェクトから直接ジャンプすることは、制御された条件下での成功を、システムがより広範なロールアウトに準備ができているという証拠として扱うことは、コストのかかる間違いになる可能性があります。実世界のユーザーは、汚れたクエリ、不完全なデータ、およびツールが何ができるかについての独自の仮定をもたらします。期待が管理されず、システムの周りのワークフローがフォールバックやエスカレーションを考慮して設計されていない場合、組織は2回支払います。構築のために1回、サポート、再作業、苦情、失われた信頼のために1回。技術は紙上では印象的ですが、実用的なアプローチがなければ、投資の収益は急速に劣化します。

反対に、明確な境界と人間の所有権が最初から組み込まれた、よく設計されたシステムは、人間のチームが独自に管理できないことを実行できます。大量の情報を秒単位でスキャンし、数年分のデータをまたいだパターンを検出し、人間のチームが到達できない規模でルーチンワークの決定を処理します。ポイントは、組織がそのような利点を得るために、技術の野心と現実的な視点を一致させる必要があるということです。

結論

これは、AIに反対する主張ではありません。AIを、組織の運営に物質的に影響を与える可能性のある他のシステムと同じくらいの重大性で扱う主張です。

AIをうまく使うと、小規模なチームがより大きな規模で動作し、手動では見つけるのが難しいパターンを発見し、専門家の判断をさらに進めることができます。しかし、そこに到達するには、AIの使用場所、総コスト、ガバナンスを明確に把握する必要があります。つまり、モデルとアーキテクチャについて意図的な選択を行い、データと観察可能性に投資し、プロセスを設計して人間がループに留まるようにする必要があります。

「速く動け、ものを壊せ」というスローガンは、人間のチームが人間規模のシステムで作業するために書かれました。何かが壊れた場合、ロールバックして修正し、進みます。AIが顧客、従業員、または市民に関する決定に組み込まれると、同じ態度は、より速く広がり、より深刻で、より難しい問題を引き起こす可能性があります。スピードはまだ重要であり、AIは確かにここで助けになりますが、リスク、コスト、説明責任の明確な理解とバランスを取る必要があります。

コストやリスクを完全に除去する方法はありません。しかし、組織は、試行錯誤の実験に頼るのではなく、AIを測定された方法で運用に組み込むことの違いは明確です。成功へのラインの可視性とともに。組織が直面する問題や成果の多様性の中で、すべてを解決できる単一のAIソリューションはありません。企業でのAIの有効な使用は、常に専門化され、監督され、慎重にスコープ付けられるべきです。