CIOがITにおけるAI作業を評価するためのより良い方法が必要です

過去2年間、CIOはITにおけるAIに対してシンプルな目標を掲げてきました。組織に導入し、チームに実験させ、サービス提供をどこで改善できるかを見ることです。

IT組織はライセンスを購入し、パイロットを実施し、すでに肥大化したソフトウェアスタック全体にAI機能を追加しました。チームがAIの可能性を模索している間は理にかなっていました。現在、その支出は実際の予算に組み込まれ、そして CFOは会社が費用に対して何を得ているかを知りたがっています.

問題は、CIOがAIを測定するために使用する多くの数値がその質問に答えていないことです。CIOは何人の従業員がAIを使用しているか、使用頻度や節約された時間を示すことができますが、財務部門は会社が費用を削減したのか、より多くの仕事をこなしたのか、あるいは人員を増やさずに済んだのかを知りたがります。

従業員が週に5時間を節約できるのは価値があるように思えますが、会社はその5時間がどのように使われたかを知る必要があります。従業員がより多くの仕事を処理したり、チームが追加の人員を雇わずに増大する作業負荷を支援できれば、財務的な結果が見えてきます。 他に変化がなければ、時間の節約は予算に反映されない可能性があります.

企業がAIへの支出を増やすにつれて、CIOはAIが実際に行う作業とその作業のコストについて、はるかに具体的に把握する必要があります。

節約された時間が必ずしもコスト削減につながるわけではない

多くのAI ROI計算は時間を基準に始まります。たとえば、AIが従業員の1日あたり30分を節約すると、数千人の従業員に対してその分を掛け合わせ、非常に大きな数値が得られます。

しかし、ビジネスプロセスはそう単純に進むことは稀です。作業は人から人へと移り、承認を待ち、キューに滞留します。AIがプロセスのある部分で10分を節約しても、その作業が次の担当者の手に渡るまでに6時間待たされるなら、企業は実質的に10分の有効な容量を得たことにはなりません。

CIOにとってより有用な質問は、AIがサービス自体のパフォーマンスを変えるかどうかです。アクセス要求がキューを通過する速度が速くなり、チケットの人手処理が減少したり、1件あたりのコストが下がれば、ITは既に追跡している同じ運用指標を用いて結果を測定できます。

Avivaは良い例です。同社は請求業務の変更の一環として80以上のAIモデルを使用し、責任評価時間を23日短縮し、苦情件数を65％削減したと報告しています。これらの数値は経営陣に業務の変化を示し、財務部門に測定可能な指標を提供します。

CIOはAI投資にも同様の考え方を適用する必要があります。パイロットを拡大する前に、どのビジネス領域を変えることを期待し、そのためにAIがどれだけの作業を担う必要があるかを把握すべきです。

AIが完了する作業から始める方が適切です

一般的なITアクセス要求を考えてみましょう。コパイロットはチケットを要約し回答案を作成するかもしれませんが、ITエージェントは社内ポリシーを確認し、依頼者を検証し、承認を得て、権限を変更し、要求を完了させます。

コパイロットは従業員の数分を節約できるかもしれませんが、作業の大部分は依然として従業員に属しています。

今度は、リクエストを社内ポリシーと照合し、欠落情報を収集し、承認のためにルーティングし、承認を受け取ったら変更を行うAIシステムを考えてみましょう。ITはAIシステムが完了したリクエスト数、従業員が介入する頻度、各リクエストにまだ必要な人的作業量を把握できます。

これによりCIOはAIを評価するより明確な方法を得られます。テクノロジーが何分節約したかを推定するのではなく、完了した作業量とその作業を完了するためにかかったコストを測定できるのです。

同様のアプローチは 従業員のオンボーディング、内部サポート、インシデント対応にも適用できます。重要なのは、企業がすでに理解し測定できる作業にAIに責任を持たせることです。

しかし、人間の作業もカウントする必要があります

AIシステムは1,000件のオンボーディング要求を開始し、そのうち600件で従業員が介入する必要があるかもしれません。すべての1,000件を自動化したとみなすと、実際にAIが処理した作業量について経営陣に誤った印象を与えてしまいます。

これらの介入にはコストがかかります。エージェントが数分間リクエストに取り組んだ後、従業員がさらに20分かけて完了させる場合、その20分はプロセスのコストに含める必要があります。

つまり、ITは 各ジョブで何が起こったかの記録が必要です。AIが何を行ったか、どのシステムにアクセスしたか、どこで承認が必要だったか、従業員がいつ介入したか、作業が実際に完了したかを把握する必要があります。これらの記録は、平均解決時間などの従来のサービスデスク指標に加え、AI固有の介入率や完了タスクあたりのコストといった指標を提供できます。

セキュリティチームは、問題が発生した際にほぼ同じ情報が必要です。AIシステムが誤った権限を変更したり、本来行うべきでない操作を実行した場合、何が起きたのかを再構築し、なぜそうなったのかを理解する必要があります。

その記録を保持することで、CIOは投資の両側面を測定できるようになります。AIの運用コストと、監督や作業完了にまだ必要な人的労働を把握できます。

AIに与える責任の度合いが経済性に影響する

CIOは、AIにどれだけの権限を付与するかも決めなければなりません。

権限が制限されたAIシステムは、多くの操作に対して従業員の承認が必要になることがあります。これにより人が関与し続けますが、同時に企業はより多くの人的労働に対して支払いを続けることになります。

システムにより多くの権限を付与すれば、AIが単独でより多くの作業を完了できるようになりますが、同時にITが管理すべきリスクも増大します。アカウントを作成したり権限を変更できるシステムは、従業員に対して単に提案を行うだけのシステムに比べ、ミスが起きた際に与える被害が大きくなります。また、エージェントがループに陥ったり、同じタスクを再試行したり、指示が曖昧で計算リソースを大量に消費したりすると、コストが予期せず上昇することがあります。これらの失敗も経済性の評価に含める必要があります。

企業は、関わる業務に応じてその線引きを異にします。ROI計算で重要なのは、その線がどこに位置しているか、そしてどれだけの人的関与が生まれるかを把握することです。

AIシステムがプロセスの90％を安全に完了できる場合、従業員が隔てて介入しなければならないシステムとは、経済性が大きく異なる可能性があります。

まずはすでにコストがかかっている業務から始める

次のAI投資を計画するCIOは、すでにかなりの時間や人員を要している業務から取り組むべきです。

アクセス要求、従業員オンボーディング、インシデント対応、内部サポートは、すべてITが具体的に測定できる対象です。企業は、処理するリクエスト数やそれに要する従業員の時間、作業が滞りやすい箇所を大まかに把握しています。

そこから、ITはAIが安全に処理できる部分と、従業員の関与が依然として必要な部分を特定できます。その上で、投資から何を達成したいかを決定できます。

例えば、チームは採用せずにチケット処理件数を30％増やしたいと考えるかもしれません。または、各アクセス要求のコストを削減したい、あるいは従業員がルーチンサポートに費やす時間を減らし、現在バックログになっている業務に取り組ませたい、といった目標があるかもしれません。ITがAIを用いたタスク完了の全コスト（人的介入を含む）を把握すれば、そのタスクの目標コストを設定し、オートメーションが本当に価値があるかどうかを判断できます。

AIが業務を実行し始めたら、CIOは期待していた結果と実際の結果を比較できます。AIがどれだけの作業を完了したか、どれくらいの頻度で人が介入したか、そして全プロセスのコストがいくらかを把握できます。

これにより、CIOは財務部門とAI投資についてよりシンプルに議論できます。数千分の推定節約時間にドル価値を当てはめようとする代わりに、AIが処理した業務、依然として必要だった人的労働量、そしてその業務を実行するために会社が支出した金額が少なかったかどうかを示すことができます。