エンタープライズDBのチーフ・リーガル・オフィサー、ロブ・フェルドマン – インタビュー・シリーズ

ロブ・フェルドマン、チーフ・リーガル・オフィサーは、エンタープライズDBの世界中の法務およびコンプライアンス機能を担当しています。経験豊富なエグゼクティブであり、弁護士である彼は、ダイナミックなビジネスおよび規制環境で成長するテクノロジー企業をサポートするために、高パフォーマンスの法務チームを構築しています。最近では、シトリックス・システムズ株式会社の法務部長として、45人の法務チームを率いて、2022年の160億ドル超のプライベート化取引を含む、同社の法務を担当しました。シトリックス以前は、10年以上にわたって、証券詐欺防止、知的財産紛争、政府および内部調査などの分野で、民間でのテクノロジー企業の訴訟を担当していました。ロブはまた、国連グローバル・コンパクトの法務委員会で戦略的な指導を行い、企業が変革的な長期的な影響をもたらすために、グローバルな規制環境に関する指導を行っています。

エンタープライズDBは、オープンソースのPostgreSQLをベースにしたエンタープライズグレードのデータベースソリューションを提供するソフトウェア会社です。2004年に設立されたエンタープライズDBは、クラウドおよびオンプレミス・プラットフォーム、グローバルサポート、Oracle互換性ツールを提供し、Postgres AIオファリングを通じて、AI対応およびハイブリッドデータプラットフォームに重点を置いています。

長年のコーポレート法務リーダーシップの経験と、エンタープライズDBのエンタープライズグレードPostgresおよび主権AIおよびデータプラットフォームへの焦点を考えると、クリティカルなデータインフラストラクチャ内でエージェントAIを運用する企業の責任はどのように進化すると思いますか。

AIとデータの世界は、エンタープライズが長前に従うべきだった基本的な原則に依然として依存しています。つまり、説明責任、自制、責任の明確さです。

過去には、これらの原則は、主に人と、ほとんど無生命のシステム、ダッシュボード、レポート、自動ツールに適用されていました。これらのシステムは、独自の行動を起こすことはできませんでした。エージェントAIは、参加者のようなシステムを導入し、独立して行動し、時間の経過とともに適応し、人間や他のエージェントと相互作用することができます。

組織が強力なガバナンスとコントロールの規律を持っていない場合、苦労することになります。エージェントAIは、新しい責任の問題を生み出すのではなく、既存の問題を明らかにするだけです。健全な基盤を持つエンタープライズにとって、この変化は、すでに従っている慣行を強化するものです。これを「デジタルリーシュ」と呼びます。他の企業にとっては、実用的ガードレールを確立する必要がある明確な信号です。

約13%の企業のみが、エージェントAIを大規模に成功させています。彼らは他の企業よりも2倍のエージェントAIを実行し、5倍のROIを達成しています。しかし、AIシステムが持つ自律性が増すにつれて、企業は説明責任に直面する必要があります。AIエージェントが請求をルーティングしたり、金銭を移動したり、機密データを不正に扱ったりした場合、責任は、環境を定義し、権限を設定し、システムが持つ自由度を決定した企業に帰属します。

これが、企業がエージェントAIの使用例に対する明確な監督をもたらす必要性と、ガバナンス・プログラムに焦点を当てる必要性の理由です。犬の飼育とデジタルリーシュのアナロジーは有用です。犬はある程度の自律性を持っていますが、独立して行動し、時には予測不可能に動きますが、法的には人格を持っていません。エージェントAIシステムは、現在、同様の立場にあります。飼い主は、監督とガバナンスが不十分な場合、悪い結果に対して責任を負うことを理解する必要があります。

企業は、エージェントAIとアシスタントAIを、法的および運用的な観点からどのように区別するべきですか。

単純に言えば、権限の違いです。アシスタントAIは人間の意思決定をサポートしますが、エージェントAIは行動を開始し、決定を実行します。両方のシステムは、ワークフローに影響を与え、行動を形作ることができます。ただし、エージェントシステムのみが、人間のリアルタイムの承認なしに独立して行動します。

システムがワークフローをトリガーしたり、結果を承認したり、システム状態を変更したり、人間の承認なしに行動したりする場合、それはエージェントAIとして扱われるべきです。この決定は、権限がエージェントに与えられる前に行われる必要があります。組織は、この区別に注意を払う必要があります。そうでない場合、意思決定の権限を意図せずに委任し、責任を伴うことになります。

既存の法的原則、たとえば、怠慢な委任やrespondeat superiorは、自律的なAIシステムに現実的に適用できますか。どこでこれらの枠組みが崩壊し始めますか。

これらの原則は、多くの人々が想定するよりも直接適用されます。これらの原則は、権限が委任され、損害が発生した状況に対処するために存在します。これは、エージェントAIが導入する可能性のある課題の1つです。

問題は、法的原則ではなく、組織が自律的なAIを展開する際に負う責任を理解しているかどうかです。組織がスコープ、権限、監督を定義していない場合、法的責任を生み出します。問題は、法律がエージェントAIに対処できないことではなく、企業がシステムが何を許可されているか、どのように管理されるかを明確に定義していないことです。

CIOと法務チームは、AIワークフローが生産環境で学習し、適応し続ける場合に、責任を定義し、軽減するためにどのような実用的なステップを取るべきですか。

第一歩は、AIとデータに対する主権を、ミッションクリティカルなものとして扱うことです。組織は、AIシステムとデータが断片化し、完全に観察または管理できない環境にある場合、責任を有意義に管理することはできません。エージェントAIを大規模に成功させた13%の企業は、この基盤から始めています。

実践では、データへのアクセスを制限し、エージェントが自律的に実行できるアクションを明確に定義し、高い影響力をもたらす決定の周りに人間の監督を配置することを意味します。また、行動が必要な場合にレビューできるように、ログと追跡可能性も必要です。組織がこれらの措置を早期に採用すると、法的責任と運用上の摩擦を将来軽減できます。

企業は、ポリシー、技術的なコントロール、または契約上の安全対策を通じて、エージェントAIをどのようにリーシュまたは管理して、意図しない損害のリスクを軽減することができますか。

出発点は、主権です。企業は、AIシステム、データ、実行コンテキストが観察可能で、拡大して適用可能な環境が必要です。ガバナンスは、ポリシーだけに依存することはできません。ポリシーは期待を設定しますが、技術的なコントロールがシステムが実行できることを決定し、データが静止または移動中であるか、モデルがどのように操作されるかを決定します。

一部のエージェントは、生産環境へのアクセスが制限されたフェンス環境内に属します。他のエージェントは、限定的な権限と承認しきい値で動作します。完全に自律的なエージェントは稀で、慎重に監督されるべきです。契約は責任を明確にするのに役立ちますが、内部コントロールと説明責任の必要性を置き換えるものではありません。

企業が管理する、または主権を持つAI環境への移行は、AIエージェントが財務的または運用上の損害を引き起こした場合に、最終的に責任を負うのは誰かを変えるでしょうか。

責任を負う者は変わりません。説明責任がより明確になり、リスクが軽減されます。企業がデータ、インフラストラクチャ、実行コンテキストを管理する場合、第三者がデータとツールを管理する場合に導入される変数を除去します。

データとAIツールへのコントロールは強みです。主権は、企業がリスクを責任を持って管理するために必要な可視性と権限を提供します。そのコントロールがなければ、企業はリスクプロファイルを拡大します。

あなたの観点から、透明性と監査可能性は、自律的なAIアプリケーションを実行する場合に法的責任を軽減する上でどのような役割を果たしますか。

基盤的なものです。監査可能性は、自律的なシステムを守備可能なシステムに変えます。

事件が発生した場合、規制機関や裁判所は、実用的で具体的な質問をします。システムが何を知っていたか、システムが何を実行することができたか、そしてなぜシステムが行動したか。これらの質問に答えることができる企業は、答えが見つからない企業よりもはるかに強い立場にあります。

連邦AIガイダンスが進化し続ける中で、企業は、AIの責任に関連する州レベルの法的義務の違いに対してどのように準備すべきですか。

企業は、規制機関がAIに特有の詳細なルールを提示するのを待つことはできません。既存の州および連邦法は、AIを責任を持って使用し、重大な責任事項を避けるために必要な明確さの95%を提供しています。

その明確さには、製品責任の厳格な基準を満たすシステムを設計することが含まれます。これには、AI機能の責任ある開発、事前テスト、透明性とリスク開示、事後監査、人間の監督、AI機能のユーザー向けトレーニングなどが含まれます。これらの基本的なステップは、特定の規制結果を予測するよりも重要です。

テクノロジー・バイアーの場合、エージェントAIシステムを採用する前に、ベンダーに自律性、監督、責任についてどのような質問をすべきですか。

エージェントAIの場合、説明責任は最終的に、自律性を許可する当事者に帰属します。したがって、4つの主要な質問に答える必要があります。

1. 誰がシステムを管理していますか。
2. 権限はどのようにテストおよび適用されますか。
3. 学習はどのように制限されますか。
4. 何かが間違った場合に、どのような監査証拠が利用可能ですか。

ベンダーが明確な答えを提供できない場合、企業は慎重に進めるべきです。犬のアナロジーに戻ります。ブリーダーは重要ですが、何かが間違った場合、責任は所有者に帰属する可能性があります。

素晴らしいインタビュー、詳しく知りたい読者は、エンタープライズDBを訪問してください。