イヴァナ・バートレットは、WiproのグローバルプライバシーおよびAIガバナンス責任者です。Wiproは、AIを活用したテクノロジーサービスおよびコンサルティングの先駆的な企業です。プライバシー、AIガバナンス、責任あるテクノロジーの分野で国際的に認められたリーダーであるイヴァナは、欧州評議会の専門家として活動し、人工知能がジェンダー平等に与える影響を調査した重要な研究を共同で著しています。
エージェント型AIは、ファンファーレとともに登場するのではなく、日常の業務の中にすみゆくように現れてきています。人間のプロンプトを待っていたシステムが、自ら行動を起こすようになっています。この進化は、すでに組織の内部で起こっています。しかし、AIのガバナンスについての議論は、まだ前の時代に留まっているようです。私たちの法律や組織構造は、自律的で非人間のエージェントを念頭に置いて作られたものではありません。GDPRに従う会社にとって、これは理論的な懸念ではなく、現実的な課題です — そして、それはほとんどのコンプライアンスチームが扱えるよりも速く進んでいます。AIツールが応答し始めたときガバナンスについて議論するとき、焦点は通常、コンプライアンス、リスク管理、害を防ぐことにあるようです。しかしながら、これらは非常に重要ですが、AIがほとんど静的な世界で作られたものです: 訓練された、テストされた、リリースされた、そして予測可能なサイクルで監視されたものです。AIエージェントが意思決定プロセスに組み込まれるようになると、中央の課題は、行動と信頼についてのものになります。幹部は、行動できるシステムが信頼できるものであることをどうすれば確実にできるか、自分自身に問いかける必要があります。信頼は、説得によって設計されるものではなく、意図的に選択されたものです。GDPRのガイドラインに従う組織は、コンプライアンスが重要であり、法的結果をもたらすことを理解しています。エージェント型AIが今日のGDPRの仮定を破壊する3つの方法GDPRが設計されたとき、自律的エージェントは念頭に置かれていませんでした。しかし、GDPRの3つの核心原則 — 目的の限定、データの最小化、透明性と説明責任 — は重要です。エージェント型AIは、これらの原則に新しい方法で影響を与え、3つの重要な分野が対処される必要があります。最初のリスクは、AIエージェントがタスクを「考える」方法です。1つの固定プロセスを実行するのではなく、作業を多くの小さなステップに分割し、外部ツールを呼び出し、データベースからデータを取得し、推測を行い、個人データを処理します。多くの場合、これらは見えません。どのデータが使用されたか、どのステップで、どのような理由で使用されたかを正確に把握することは、実践的には難しいです — しかし、これはGDPRが期待する透明性と説明責任の種類です。2番目のリスクは、エージェントがメモリを使用する方法です。エージェントは、タスクを完了するために短期的なメモリを使用し、また複数のセッションにわたって長期的なメモリを使用することができます。メモリが慎重に分離されていない場合、1人の個人のインタラクションからの情報が別の個人のものに漏洩する可能性があります。明確な保持制限を施行しない場合、個人データは削除されるべき時期を過ぎても保持されたままになる可能性があります。GDPRの削除権の下では、データがデータベースではなくエージェントのメモリ内に埋もれている場合、これを管理することは非常に難しいことになります。3番目のリスクは、プロンプトインジェクション — つまり、エージェントを欺くことです。エージェントがドキュメントを読んだり、ウェブを閲覧したり、受信メッセージを処理したりするとき、ソース内の悪意のあるコンテンツによってエージェントの動作が乗っ取られ、個人データが漏洩したり、承認されていないアクションを実行したりする可能性があります。これは、エージェント型システムに特有の既知の攻撃パターンです。これは、コアシステムがハッキングされたのではなく、AIエージェントが作業中に悪意のあるコンテンツに遭遇したために、データ漏洩が発生する可能性があることを意味します — そして、GDPRの下では、組織は依然として責任を負います。信頼できるインターフェースではなく、真正な信頼を構築する信頼を設計することと、信頼を得ることの違いを理解することが重要です。設計された信頼は、感情的な共感、人間のようなシグナル、または説得的な設計によってユーザーを説得するのに役立ちます。しかし、持続可能な信頼は、人間が理解し、予測し、評価できるシステムの行動についてです。エージェントの推論、限界、意図は正当です。これは、GDPRに準拠した設計の前提条件です。ここでは、透明性は有意義でなければなりません。信頼スタックとは何を意味するのか組織にとっての1つの戦略は、信頼スタックを活用することです。これは、人間と機械の間で説明責任を明確にすることを意味します。 明確な推論パス: エージェントは、結果を生み出した方法と理由を説明できるはずです — 深い技術的な詳細ではなく、人間が理解し、確認できる方法でです。これは、GDPRの透明性のルールと、第22条の自動化された決定に対する説明の権利と一致しています。 明確な権限の限界: エージェントが行うこと、決定すること、または推奨することの明確な境界が必要です。時間の経過とともに、静かに権限を拡大することはありません。GDPRの目的では、人間が決定を下し、エージェントはコントローラーではなくツールであることを意味します。 オープンな目標: エージェントの目標は、公開されていなければなりません。エージェントが精度、安全性、速度、または商業的利益を最適化しているかどうかを、ユーザーは知るべきです — そして、その目標は書き留められ、理解されなければなりません。 簡単な質問と停止ボタン: ユーザーは、エージェントの決定に疑問を持ち、修正する、または停止することができるはずです。簡単な方法でオプトアウトすることは、信頼のために不可欠です...
