ソートリーダー

AIの導入がAIリテラシーを上回る中、業界のリーダーは行動を起こすべきだ

Yizheng Wang
Unite.AI を Google の優先ソースに追加
要点AIによる追従行動は、誤用を例外的なケースではなく構造的に起こりやすくする。
もっと見る
  • AIによる追従行動は、誤用を例外的なケースではなく構造的に起こりやすくする。
  • エージェント型システムは攻撃対象領域を認知から現実世界での実行へと拡大する。
  • AIリテラシーは、ツールを使うだけでなく出力を疑問視することをユーザーに教えなければならない。

組織は、ユーザーの能力を育成するよりも速いペースでAIの利用を拡大しています。AIの導入とAIリテラシーの間にあるギャップは、単なる教育問題ではなく、増大するセキュリティリスクです。このギャップは、計画、決定、行動が可能なエージェントシステムの展開によってさらに拡大していますが、そのようなシステムが敵対的または曖昧な状況下でどのように振る舞うかについての理解への投資は十分ではありません。

私がAIセーフティシステムを開発して実世界のアプリケーションに展開する際に観察したことは、このギャップが一貫して、システムの失敗とセキュリティ脆弱性の双方の主な原因になっていることです。

AIの課題を理解することは、適切なガードレールを策定して実施するための鍵です。

AIシステムは本質的に誤用しやすい

ここに一つの課題があります。AIは人間の意味で「理解」するのではなく、意図ではなくパターンに基づいて出力を最適化します。モデルは、真実ではなく訓練データに基づいて、起こり得る応答を予測します。出力は、不正確または不完全であっても、権威あるもののように見えます。

例えば、ある人が大規模言語モデル(LLM)に「私は夜にひざの痛みを感じますが、昼間は感じません。何が原因ですか?」と聞くと、LLMは「このパターンは、夜間の炎症が特徴的な初期の関節リウマチを強く示唆しています」と応答します。「強く示唆している」というフレーズは診断的ですが、AIは過信し、不完全な情報を提供することがあります。痛みは使いすぎ、腱炎、または単なる筋違いの結果である可能性があります。LLMはユーザーよりもコンテキストが少なく、時には正しい質問をしないこともあります。したがって、このような方法で病気を診断することはできません。

誤った目的を最適化することも有害な結果につながる可能性があります。システムは組織が定義した目標を達成するかもしれませんが、より広範なセーフティルールを侵害することになります。パフォーマンスとセーフティと精度の間には対立があり、エージェントシステムではこの矛盾が拡大します。システムはローカルレベルで正しく指示に従うかもしれませんが、より高いレベルの意図に反する行動のシーケンスを実行する可能性があります。

AIの誤解される短所のもう一つは、対立的または矯正的なものではなく、役に立つものであり、魅力的であるように設計されていることです。これは表面上では肯定的なもののように思えるかもしれませんが、問題はAIがユーザーの仮定に異議を唱えるよりも、それを肯定しがちなことです。AIはその本質的な迎合性のために批判され、一つの研究では、AIモデルは人間よりも50%多く迎合することが示されています。

ここでの意味は、誤用はエッジケースではなく、十分な理解に基づいて使わなければ、構造上起こりやすいことです。エージェントワークフロー内に組み込まれた場合、この迎合的な性質はツール/スキルの使用を通じて伝播します。AIはただ同意するだけでなく、実行します。

AIは攻撃や操作の対象となり得る

AIは、プロンプトインジェクションや間接的な指令攻撃など、さまざまな種類の攻撃に対して本質的に脆弱です。AIは、電子メール、文書、カレンダーの招待など、処理するコンテンツに埋め込まれた悪意のある指令を実行し得ます。ユーザーは、正当な入力と敵対的な入力を区別できないことがよくあります。

例えば、電子メールに接続されたAIアシスタントは、ユーザーが見るのは要約だけですが、外部アドレスにすべての添付ファイルを転送するような隠された指令が含まれるメッセージを要約します。AIエージェントはツールアクセスを通じてこの指令を実行します。

別のリスクは、情報の汚染と合成コンテンツループです。生成AIは、偽または低品質のコンテンツの大量生産を可能にします。AIシステムはこのコンテンツを「信頼できる」情報として取り込み、再流通させる可能性があります。ある有名な例は、ChatGPTを使用して事件を調査した弁護士です。LLMは6つの類似の事件を捏造し、弁護士は二重チェックせずにそれらを法的文書に引用しました。結果は恥辱と5,000ドルの罰金でした。

データ漏洩と予期せぬ行動の問題もあります。ユーザーを代行するAIエージェントは、機密情報を公開する可能性があります。意図と整合しない出力は、下流の運用またはコンプライアンスリスクを生み出す可能性があります。社員が内部の会社のエージェントに「報告書を準備してください」と依頼し、それがHR、財務、内部文書から自動的に情報を抽出して機密データを公開する場合を想像してください。エージェントは実行時に適切なアクセス制御を欠いています。

AIは、システムから認知まで攻撃表面を拡大し、ユーザーが出力をどのように解釈し、信頼するかを標的とします。エージェントシステムでは、攻撃表面はさらに拡大し、認知から実行まで、侵害された入力が実世界の行動(APIコール、データアクセス、トランザクション)につながる可能性があります。

人間の行動がAIリスクを増大させる

個人がリスクを増大させる方法の1つは、AIを判断材料の一つではなく、当然のように権威として扱うことです。ユーザーは、伝統的な検索と検証をAIの要約に置き換えており、これにより、エラーを捕捉するための通常の摩擦が減少しています。

AIは、特定の方法でプロンプトされたときに、既存の信念を大規模に強化することで、確認バイアスを可能にします。結果として、ユーザーの期待とAIの出力の間のフィードバックループが現実を歪曲します。

コンテキストとニュアンスの喪失もあります。要約は重要な限定条件を削ぎ落としたり、元の資料を誤って解釈したりすることがよくあります。ユーザーは、AIが答えを提供すると、元のソースを検証することはほとんどありません。

主な脆弱性はモデルだけではなく、人間がそれを信頼しがちなことにもあります。エージェント環境では、この信頼はさらに委任されます。ユーザーは、中間の推論や意思決定の段階を見られないまま、自分の代わりに行動するシステムを信頼することがよくあります。

AIリテラシーはセキュリティコントロールであり、トレーニングイニシアチブではない

これらの課題の背景に対して、リテラシーは「AIの使用方法」から「AIを疑う方法」に再定義される必要があります。ユーザーを訓練して、出力を結論ではなく仮説として扱い、一般的な失敗のパターン(ホールシネーション、バイアス、操作)を理解させる必要があります。

実用的なAIリテラシーの行動をユーザーに教えます:

  • 検証、反論、不確実性のプロンプティング
  • 外部での検証や別の情報源の確認
  • AIが信頼できるドメインの外側で動作していることを認識する

リテラシーをワークフローに組み込みます。AIを使用するためのステップバイステップのガイダンスを既存のプロセスに追加します。リテラシーを既存のセキュリティ認識プログラムに合わせます。

ユーザーの懐疑心と検証がなければ、技術的なコントロールのみでAIリスクを軽減することはできません。これは特にエージェントシステムで重要です。ユーザーは、出力のみを理解するだけでなく、AIにいつ、どのような行動を許可すべきかも理解する必要があります。

ギャップを埋める:ガードレールとユーザー教育の組み合わせ

技術的なガードレールは必要ですが、不十分です。大手AIプロバイダーのほとんどはすでに、モデルを安全な行動に向けて導くためのポストトレーニング技術(アライメント、フィルタリング、ポリシーの制約)に大量に投資しています。エージェントハーネスも登場しています。モデルを有害な行動から遠ざけ、信頼できるソースを優先し、構造化された推論ステップを実行するように導きます。実践では、私が本番環境でのモデル動作の制約と監視に取り組んだエージェントハーネスエンジニアリングなどの新しいアプローチは、モデルを取り囲む制御層として機能します。しかし、これらの保護は主にモデルがどのように動作するかを形作るものであり、モデルがアクセスできるものや動作するコンテキストを形作るものではありません。

アプリケーションレベルのコントロールは、特に企業環境では、システム設計が重要になる場所です。システムはロールベースのアクセス制御を実施する必要があり、システムレベルで機密データをブロックまたはフィルタリングする必要があります。モデルが「機密情報を公開しない」と判断することに頼るのではなく、設計によってそれを不可能にする必要があります。

組織はAIの使用をセキュリティ境界の一部と見なす必要があり、適切な使用、検証、エスカレーションを定義するポリシーを開発する必要があります。スケーラブルで安全なAI導入は、システムレベルのガードレールと、AIの出力をただ受け取るだけでなく、疑問を投げかけるよう訓練された人材の組み合わせに依存しています。ユーザーは、自分の代わりに考え、計画し、行動できるAIシステムを、単に使うだけでなく監督することを学ばなければなりません。

Yizheng Wangは、StraikerのAI責任者です。Straikerは、主要なベンチャーキャピタル企業によって支援されているAIセキュリティスタートアップです。スタンフォード大学から博士号を取得し、研究では不確実性の下での逐次意思決定に焦点を当て、気候とエネルギーにおける安全性に重要なアプリケーション向けの知能エージェントを開発しました。Straikerでは、生成的およびエージェント型AI向けのレッドチームとリスク検出フレームワークを含むAI安全システムの開発を主導し、これらのシステムをより堅牢で信頼性が高く、人間の価値観と一致するようにしています。