私は職業としてAIシステムを構築しています。ほとんどの人が間違っていること

私は企業のコンタクトセンター向けのAIシステムを構築しています。

デモ、ベンチマーク、研究プロジェクトではありません。顧客とやり取りし、ポリシーをナビゲートし、断片化された企業プラットフォームから情報を取得し、メッセージのノイズや予測不可能な人間の行動に満ちた環境で動作する、実際の運用システムです。

その経験は、私にAI業界で最も大きなギャップの1つを目の前で見る機会を与えました。AIについての一般的な会話は、技術が将来何になるかについて話し合われることが多いのですが、組織は今日、AIをどのようにして成功させるかを知ろうとしています。後者は、全く異なる会話です。

私が時間をかけて答える質問は、人工一般知能や機械が最終的に人間に取って代わるかについてはほとんどありません。より実用的です。システムは顧客のリクエストを一貫して解釈できるか。システムは複数の企業プラットフォームから正確な情報を取得できるか。システムはデータが不完全な場合に回復できるか。システムは信頼性が低い場合に適切にエスカレートできるか。チームはそれを信頼して大規模に展開できるか。

これらの質問は、見出しよりもはるかに面白くないかもしれませんが、企業のAIが成功するかどうかを決定するものです。時間の経過とともに、私は多くの組織がモデルそのものの重要性を過大評価し、モデルを実際のビジネスの中で有用にするために必要なすべてのものを過小評価していることを信じるようになりました。

デモは展開ではない

企業のAIと密接に取り組む人は、制御されたデモと実際の展開の間のギャップを理解しています。

私たちはそのような例に頻繁に遭遇します。私たちが現在取り組んでいるAIシステムは、約半分の時間、16桁の注文番号を単語に変換する際に正しく解釈するのに苦労しています。これらの種の障害は、先日話題になった「いちごにrが何個あるか」という問題に似ており、高度な言語モデルが人間にとってはごく普通の課題に苦労したというものです。同じモデルはMCATのような試験で非常に高いスコアを獲得することができます。その対比は、重要なことを示しています。ベンチマークのパフォーマンスと運用の信頼性は同じではありません。

AIが実際の運用に入ると、周囲の環境のすべての複雑さを継承します。企業システムには不完全なレコード、矛盾する情報、古いプロセス、断片化されたアプリケーション、数十年間にわたって蓄積されたエッジケースがあります。顧客は漠然とした質問をします。ポリシーは変わります。データの品質は変わります。人間の行動は予測不可能なままです。

その現実は、ベンチマークのスコアよりもはるかに多くの結果を形作ります。なぜなら、AIはベンチマークの中で動作しないからです。ビジネスプロセス、システム、ワークフローの中で動作し、モデルが独自に解決できない複雑さを導入するからです。

企業のAIには運用レイヤーがある

人々を驚かせることの1つは、モデルパフォーマンスが制限要因として機能しなくなることです。システムが実際の運用に入ると、運用上の課題がモデル自体よりも重要になることがよくあります。成功したAIイニシアチブは、プロセス設計、組織の整合、データ品質、システム統合、可視性、エスカレーションパス、ガバナンス、信頼性に依存しています。

チームは障害に対処するための明確な手順が必要です。チームはシステムがどのように決定を下すかを把握する必要があります。チームは問題が顧客に影響を与える前に特定され、解決されることを確信する必要があります。組織は、AIシステムの周囲の作業に、AIシステム自体と同じくらいの注意を払う必要があることがよくわかります。

その運用レイヤーは、多くの展開が最終的に成功または苦戦する場所です。

カスタマーサービスは依然として最も難しい課題の1つです

カスタマーエクスペリエンスは、その複雑さの1つの明確な例です。

単純なやり取りは、AIシステムが管理できるようになってきました。口座の残高を確認する。パスワードをリセットする。フライトのステータスを確認する。これらは、予測可能な結果を持つ、高度に構造化されたタスクです。

実際のカスタマーコミュニケーションは、ほとんどの場合、そのような単純さを維持しません。

ロイヤルティポイント、パートナー航空会社、返金紛争、ポリシーの例外、複数の以前のやり取りを含む航空会社の問題を解決しようとしている顧客は、全く異なる課題を提示します。コンテキストは断片化されています。目的は不明確です。ポリシーは矛盾しています。感情が会話に入り込むことがあります。

これらのやり取りは、依然として顧客サービス作業の重要な部分を占めています。それらは、AIにとって依然として難しい課題です。進歩は驚くべきものですが、複雑さは現実です。

企業のデータはついに使えるようになってきました

私が今日、実際の変革を見ている分野の1つは、企業のデータです。

ほとんどの組織は、数十または数百の断片化されたシステムを横断して、数年間にわたって情報を蓄積してきました。貴重な知識がありますが、それを効果的に見つけて使用することは、しばしば困難でした。AIは、その情報をよりアクセスしやすくしています。

組織は、システムを横断してデータを統合し、関連するコンテキストをより効率的に表面化し、従業員が以前は複数のアプリケーションやリポジトリに散在していた情報をナビゲートするのを支援するようになってきました。この企業の知識を活用する能力は、一般的なAIデモよりもはるかに変革的である可能性があります。

次の課題：AIがAIと協力する

次のイノベーションの波は、おそらく複数のAIシステムが協力して動作することです。

組織は、エージェントが情報を共有し、タスクを調整し、より大きなビジネスプロセスに貢献するワークフローを実験しています。これにより、説明責任、信頼性、エスカレーション、コミュニケーション、ガバナンスに関する新しい課題が生じます。

人間は、協力する方法、不確実性を伝える方法、リスクをエスカレートする方法、ミスから回復する方法を、数世紀にわたって身につけてきました。AIシステムにそのような行動を身につけることは、はるかに新しい分野です。

企業のAIの次の章の多くは、システムが組織の目標に沿ったまま、互いに効果的に協力する方法を学ぶことに焦点を当てています。

企業のAIが実際に必要とするもの

AIシステムを構築して展開してきた数年間で、私は組織がモデルインテリジェンスを評価するのに十分な時間を費やし、環境の準備に十分な時間を費やしていないと確信しています。

これらのモデルが示すインテリジェンスは驚くべきものです。毎年、それらはより優れてきており、より有用で、より洗練されてきています。しかし、成功した展開は、信頼できるデータ、よく設計されたプロセス、思慮深いガバナンス、明確な説明責任、新しいテクノロジーを既存の運用に統合する方法を理解している人々に依存しています。

AIから最大の価値を得ている組織は、これらの基本的な要素に注意を払っています。なぜなら、インテリジェンスだけで変革は生み出されないからです。

変革は、テクノロジー、データ、プロセス、人々が協力してより良い結果を生み出すときに起こります。