ディジテートのEfrain Ruh氏とのインタビュー

ディジテートのEMEAチーフテクノロジーオフィサーであるEfrain Ruh氏は、企業のAI、自動化、そして大規模な運用の変革に焦点を当てた地域のテクノロジー戦略をリードしています。彼は、ヨーロッパ、中東、アフリカの顧客と密接に協力して、組織がAIを責任を持って導入するのを支援しています。実践的な実行、ガバナンス、計測可能な成果を重視しています。Ruh氏は、エージェントAI、MLOpsの成熟度、AIの実験から本番システムへの移行の実態についての業界の議論に頻繁に貢献しています。

ディジテートは、Tata Consultancy Services (TCS.BO ) の傘下にある企業ソフトウェア会社で、ITおよびビジネス運用のためのAI駆動型自動化を専門としています。同社のコアプラットフォームであるignioは、機械学習、ノウハウグラフ、インテリジェント自動化を組み合わせて、複雑な企業環境全体で問題を検出、結果を予測、システムを自己修復することで、自律運用を可能にします。ディジテートは、適用されたAIを通じて複雑さを削減し、回復力と効率性を向上させることを目指す大規模なグローバル組織にサービスを提供しています。

ディジテートでの技術的なリーダーシップと、以前のIT運用、構造、企業システムでの実務経験を考えると、説明可能なAIの重要性についてのあなたの見解は、多くの組織がまだ依存しているブラックボックス自動化モデルと比較してどのように進化しましたか？

以前の自動化の世代は、反応的でルールベースだったため、結果は予測可能でした。AIシステムが能動的で推論し、独自のレスポンスを生成するようになると、不透明性の許容度は消えます。ミッションクリティカルなシステムを24時間稼働させる責任があるITリーダーには、システムの推論を検証できないシステムで実験する余地はほとんどありません。説明可能性は、技術的な機能からスケールでの信頼を可能にする運用上の要件に移行しました。信頼できるためには、これらの新しいAIエージェントが推論プロセス（基本的に解決策に到達する方法）と推論結果を共有することが重要です。

なぜ、信頼性と説明可能性が、企業ITでの高度なAI駆動型自動化のより広範な採用の最大の障害として浮上していますか？

企業ITは、常に説明責任とリスクの下で運営されます。AIシステムが自律的に決定を下す場合、特に予防的または自己修復の運用モデルでは、監督チームは、特定のアクションがなぜ取られたのかを理解できる必要があります。証拠、コンテキスト、意思決定ロジックへの可視性がなければ、AIは不確実性を減らすのではなく、増大させます。その透明性と不確実性の欠如は、信頼を損ない、AIの採用を遅らせます。モデル精度やパフォーマンスよりも、ITチームの信頼性を損なうことになります。

AI駆動型IT運用における真正な説明可能性とはどのようなものですか？それが自律的にシステムが動作する前に、チームが決定を検証するのをどのように助けますか？

真正な説明可能性は、実用的でオペレーター中心です。つまり、テクノロジーが推論に使用されるデータを明確に示し、システムが正しい運用コンテキストを理解していることを検証し、推奨される行動方針を人間が読み取れる形式で説明する必要があります。また、歴史的な検証も含まれます。たとえば、同様の決定が以前行われたか、結果はどうだったか。これにより、チームは迅速にアクションを検証し、リスクが低い場合は自律的な実行を自信を持って拡大できます。説明可能性ツールがその目的を果たさない場合は、読み出しを迅速に消化して対応できない場合は、ツールは機能しません。

説明可能性の欠如は、実際の運用上の、財務上の、またはビジネス上のリスクにどのように変換されますか？

工場を運営し、重要な機器がメンテナンス問題を警告するアラートを欠いているとします。そうすると、チームに警告することなく最終的に故障し、品質の低い製品や予定外のダウンタイムにつながります。説明可能性のないAIは、小さなデータ問題を大きなビジネスインシデントに変える可能性があります。不完全なデータで動作するAIベースの容量予測システムは、コストを削減するためにインフラの容量を削減し、ピーク処理期間中に深刻なパフォーマンスの低下を引き起こす可能性があります。企業のAIシステムの場合、説明可能性の悪さの影響は、SLAの遅延、財務的罰金、顧客への影響で見られます。アラートの抑制は、深刻な障害を隠し、本当の緊急事態になるまで検出されないようにする可能性があります。

あなたの観点から、AIプラットフォームは、ミッションクリティカルなシステムを運用するITチームにとって、推論を監査可能で理解可能にする役割を果たすべきですか？

しっかりと設計されたAIエージェントまたはプラットフォームには、説明可能性が組み込まれています。自律システムは、使用されるデータ、適用されるロジック、推奨または実行されたアクション、以及に続く結果を文書化する必要があります。この情報は、ITチームが使用する運用言語で提示される必要があります。たとえば、依存関係、歴史的なインシデント、ビジネスへの影響など、抽象的なAIスコアではなく、監査可能性は説明責任、学習、長期的な信頼のために不可欠です。

企業は、不透明な自動化からより透明性のある、ガラスボックスの意思決定に移行するために、どのようなアーキテクチャまたは設計アプローチを採用していますか？

企業は、AIの決定を高品質の運用データに基づき、データ検証と意思決定ロジックを明確に分離するアーキテクチャを採用しています。透明性のあるシステムでは、AIが正しい入力と仮定で動作することを保証します。多くの組織は、推奨から始めて、自信が高まるにつれて自律的な実行を制限するステージドオートノミーを使用しています。オープンデータアクセスと明確なポリシーレイヤーは、自律性の増大とともにブラックボックスの動作を避けるために重要です。説明可能性の機能については、まだ業界が成長する余地があります。今年、説明可能性のブームが起こるでしょう。

組織は、運用を遅らせることなく、自律的なAIアクションと人間の監視のバランスをとる方法は何ですか？

バランスは、全体的な監視ではなく、リスクベースのコントロールによって達成されます。低リスク、高頻度のタスクは、ガードレールでエンドツーエンドの自動化が可能です。一方、より大きな影響を持つ決定は、システムが信頼性を実証するまで人間によって検証されます。説明可能性が向上し、AIが健全な判断を一貫して示すにつれて、自律性は自然に拡大し、運用上の摩擦を引き起こしません。

CIOやCTOが、IT運用全体にAIを拡大したいと考えているが、可視性と説明責任の懸念により内部抵抗に直面している場合、あなたはどのようなアドバイスをしますか？

透明性から始め、自律性ではなく、設計とロールアウトの両方で可視性を優先し、ITチームを早期に関与させて信頼を構築します。抵抗は、AIの決定に対する洞察の欠如から生じるものであり、革新自体に対する反対から生じるものではありません。次に、ノイズを減らし、アラート疲労を排除し、決定がどのように下されたかを明確に説明するユースケースに焦点を当て、システムが独立して動作することを許可する前に、説明可能性を優先します。

AIシステムがより多くの意思決定の責任を負うようになると、ガバナンス、検証、信頼のモデルをどのように見直すべきですか？

ガバナンスは、静的な承認プロセスから継続的な検証に移行する必要があります。リーダーシップチームは、自律性が許可される場所、必要な証拠、人間の介入が必要なタイミングを定義する必要があります。信頼は、精度、インシデントの削減、解決時間の短縮などの測定可能な成果を通じて獲得され、モデル精度に関する仮定によって獲得されるのではなく、信頼を構築する必要があります。

将来、説明可能で透明性のあるAIが、次の数年で自律的なIT運用の未来をどのように変えるでしょうか？

説明可能なAIは、安全に拡大し、信頼を失わずに、能動的で自律的なIT運用を構築するための重要なピースになります。生成的なAIは、システムが証拠を提示し、事実を検証し、決定を人間が読み取れる形式で説明することを可能にすることで、透明性を向上させています。将来、説明可能性のこのレベルは標準となり、組織は実験を超えて、AIを運用、ガバナンス、ワークフローに信頼できるパートナーとして、そして不透明な意思決定者としてではなく、深く埋め込むことができるようになります。将来、AIエージェントは、組織のさまざまな活動を管理するために配置され、我々の日常生活の一部となりますが、これらを信頼するには、精度と透明性が重要な側面となります。

素晴らしいインタビュー、詳しく知りたい読者はディジテートを訪問してください。