Kelly Murray, シニアスタッフ・アウトバウンド・プロダクト・マネージャー、ピラミッド from サービスナウ Kelly Murray シニアスタッフ・アウトバウンド・プロダクト・マネージャー、ピラミッド from サービスナウ

マシンラーニングプロジェクトを実験から実装へ

最近の数ヶ月間、エージェントAIが企業の注目を集めているように感じられます。 企業はそれを使用して タスクを自動化し、ワークフローをオーケストレートし、システムや顧客とやり取りするために興奮しています。 しかし、マシンラーニング（ML）は、エージェントAIのワークフローを静的なルールを超えて進めることを可能にする上で、重要な役割を果たしているため、見過ごされている兄としてのMLに注目する必要があります。多くの企業のユースケースでは、MLは、AIエージェントが次にどのような行動を取るかを決定するために、予測、分類、推奨、リスクスコアを提供できます。 たとえば、AIエージェントを使用して顧客の質問に回答する場合、MLは、顧客がすぐに解約する可能性がある兆候をエージェントに通知し、関連するメッセージングフローをトリガーできます。しかし、多くの組織は、基本的なMLプロジェクトを実装するのに苦労しており、その遅れは、エージェントAIの成功を妨げています。 数字は異なりますが、MLプロジェクトの失敗率は、85% まで上昇することがあります。多くのチームは、マシンラーニングを実装する方法、実験をどのように設計するか、どのようにして利害関係者をプロジェクトに参加させるかがわかりません。この記事では、MLプロジェクトを最大限の成功のチャンスに設定するためのいくつかのポイントを共有します。なぜ多くのMLプロジェクトは開始に失敗するのかMLプロジェクトの成否率が低い理由は2つあります。ユースケースが正しい視点で考慮されていないか、利害関係者がプロジェクトに参加していないためです。これらの理由は通常、同時に発生します。マシンラーニングでは、良い結果を得るために慎重な管理が必要です。同時に、ビジネスの世界では、多くの人が変化を恐れ、機械学習を信頼していないか、プロジェクトをテーブルから押し下げたいと思っている人もいます。あなたがパイロットを厳密に設定しない場合、あなたの組織ではサポートを得ることができません。MLの成功には、細かい詳細に焦点を当てる必要があります。細かい詳細が重要MLモデルは、顧客の解約を予測したり、不正を検出したり、需要を予測したりするなど、特定の繰り返しの問題を解決するように設計されています。MLモデルは、広い文脈を理解したり、複数のタスクを実行したりすることができませんが、多くのMLプロジェクトには、壮大な野心と広範な目標があります。これは、懐疑的な人をチャンピオンに変えることができる関連する実験テストケースを設定することを重要にします。成功したパイロットでは、エージェントAIとビジネス上の意思決定を導くために必要なデータ分析の結論と、ビジネス上の価値を証明することができます。多くの組織にとって、最大の障害は、正しいテストユースケースを見つけることです。実現可能な実験概念は、具体的で、ビジネス目標に関連している必要があります。たとえば、不正を検出するために取引を調べる、または、さまざまなタイプの機械のメンテナンスをいつスケジュールするかを決定することです。MLの採用を進めるために正しいユースケースを見つけるために、以下の4つの質問をします。何が賭けられているのか最初の懸念は、間違いを犯すための余地がどれだけあるかです。間違いを犯すための許容度は、モデル性能と同様に重要です。さまざまなユースケースには、モデルが間違った場合に異なる結果があります。間違えるコストが低い場合、モデルロジックを実験するための余地が広がります。たとえば、さまざまなオーディエンスにマーケティングオファーを推奨するモデルは、医療のフォローアップケアを導くモデルよりも低い精度で済みます。リスクが低く、価値が高く、データの基盤が強固で、より広範なビジネスプロセスにおける役割が明確なユースケースから始めるのが最も良いでしょう。ビジネス、規制、評判のリスクが増加するにつれて、人間の監視も増加する必要があります。正しいデータを持っているかデータは、すべての有効なMLプロジェクトに不可欠です。多くの実験は、モデルが弱いことよりも、データが不足していることによって失敗します。したがって、データが洗練され、関連性があり、適切にラベル付けされ、継続的に収集されることを確認する必要があります。ここでは、ビジネスチームとデータチームのコラボレーションが重要です。実験データと実稼働データは異なる場合があり、モデルは実稼働で失敗する可能性があります。時には、実世界のデータは、モデルをサポートするにはあまりにもノイズが多いか、遅延が大きいか、またはアクセスが困難です。データと信号は同じではありません。予測信号は、ビジネス上の問題を解決するために不可欠です。したがって、データには、信頼性の高い予測をサポートするために、歴史的なパターンと関連する機能が含まれている必要があります。 一部の問題は、予測できない可能性があります。したがって、すでに管理された、繰り返し、利用可能なデータソースを持つユースケースを優先する必要があります。成功の指標は何ですかあなたが成功の見方をわからない場合、成功を証明するのは難しいでしょう。したがって、目標を最初に定義する必要があります。あなたは、高い精度のモデルだけではなく、ビジネス上のROIを提供したいと考えています。したがって、モデル性能を実際のビジネスへの影響と結び付けます。ビジネス目標を明確にし、真の成果を示すKPIを特定する必要があります。あなたのML介入によってもたらされた貢献を測定して確認できるようにする必要があります。たとえば、顧客の解約を減らすためにMLプロジェクトをテストしている場合、顧客の保持の増加は、モデルが不満足な顧客を解約する前に長期間にわたって特定できることによるものか、またはその他の要因によるものか（一般的なプロモーション、季節的な需要、価格の変更など）を証明できますか。あなたのプロジェクトの利害関係者にとって、信頼とセキュリティは、パフォーマンスと同様に重要 です。したがって、説明可能性とセキュリティを示す必要があります。また、ROIやその他のビジネスへの影響も示す必要があります。あなたが望む成果の背後にあるものは何ですかMLプロジェクトは、日常のビジネスプロセスに組み込まれている場合に最も成功します。つまり、プロセスを完全に理解する必要があります。決定がどのように行われるかをマッピングし、誰が決定を下し、どのような情報を使用し、どのようなルールに従い、どこでボトルネックが発生するかを追跡する必要があります。ボトルネックは、MLを適用する最も適切な場所です。頻繁に決定が行われるが、認識可能なパターンやガイドラインに従う決定を見つけ、MLの予測がどのようにワークフローに適合するかを考えてみましょう。モデルは、プロセスを容易にしたり、自動化したりする必要がありますが、孤立して動作する必要はありません。プロセスの所有者やドメインの専門家の協力を得るのが最も良いでしょう。彼らは、どのような決定が重要か、どのような例外が発生するか、また、実装が最も大きな影響を与える場所を最もよく知っているからです。これらの人々は、リーダーシップがあなたの実験を本格的に検討するときに、プロジェクトのチャンピオンになる可能性も最も高いからです。あなたのMLプロジェクトを完成させましょう正しいパイロットを構築することは、MLを実験から実装へ進めるために不可欠です。明確な成功指標、低リスク、強力なデータ基盤、広範なビジネスプロセスにおける役割を持つ特定のユースケースを見つけることで、ROIを証明し、利害関係者のサポートを得て、ビジネス上の成功を推進することができます。正しいパイロットを見つけることは、MLを実装するための重要なステップです。正しいデータ、正しいモデル、そして正しいプロセスを持つことで、MLプロジェクトを成功させることができます。