AI監査の実施方法（2023年）

AI監査とは、AIシステムが予想どおりに動作し、偏見や差別がないことを確認し、倫理および法律基準に準拠していることを確認するプロセスです。AIは過去10年で急成長を遂げてきました。したがって、AI関連のリスクは組織にとって懸念事項となりました。エロン・マスクは次のように述べています。

「AIは、反応的なのではなく、積極的に規制する必要がある稀なケースです。」

組織は、AIを使用する従業員のためのガバナンス、リスク評価、コントロール戦略を開発する必要があります。AIの説明責任は、警察を一部の地域に配置し、他の地域には配置しないような、高い賭けのある意思決定において重要になります。

この記事では、AI監査、AI監査のためのフレームワークと規制、およびAIアプリケーションの監査チェックリストの概要を紹介します。

考慮すべき要素

• コンプライアンス: AIシステムの法的、規制的、倫理的、社会的考慮事項に関するリスク評価。
• テクノロジー: 機械学習、セキュリティ基準、モデルパフォーマンスなどの技術的能力に関するリスク評価。

AIシステムの監査の課題

• 偏見: AIシステムは、トレーニングデータの偏見を増幅させ、不公平な決定を下す可能性があります。スタンフォード大学のHuman Centered AI（HAI）研究所は、AI監査の改善を目的とした71,000ドルのイノベーション・チャレンジを立ち上げました。このチャレンジの目的は、AIシステムでの差別を禁止することでした。
• 複雑性: 特にディープラーニングを使用するAIシステムは、複雑で解釈が難しいため、監査が困難です。

AI監査のための既存の規制とフレームワーク

規制とフレームワークは、AIの監査の指針となります。以下に、重要な監査フレームワークと規制を紹介します。

監査フレームワーク

1. COBITフレームワーク（Control Objectives for Information and related Technology）: 企業のITガバナンスと管理のためのフレームワークです。
2. IIA（Institute of Internal Auditors）のAI監査フレームワーク: このAIフレームワークは、AIシステムの設計、開発、動作、および組織の目標との整合性を評価することを目的としています。IIAのAI監査フレームワークの3つの主要コンポーネントは、戦略、ガバナンス、人間要因です。7つの要素があります。

• サイバー耐性
• AIコンペテンシー
• データ品質
• データアーキテクチャとインフラストラクチャ
• パフォーマンス測定
• 倫理
• ブラックボックス

3. COSO ERMフレームワーク: このフレームワークは、組織内のAIシステムのリスクを評価するためのフレームを提供します。内部監査のための5つのコンポーネントがあります。

• 内部環境: 組織のガバナンスと管理がAIリスクを管理していることを確認する。
• 目標設定: 利害関係者と協力してリスク戦略を策定する。
• イベント識別: AIシステムのリスクを識別する、たとえば予期せぬ偏見、データ漏洩など。
• リスク評価: リスクの影響は何ですか?
• リスク対応: 組織はリスク状況、たとえばサブオプティマルなデータ品質に対してどのように対応するのでしょうか?

規制

一般データ保護規則（GDPR）は、EUの規制であり、組織に個人データの使用に関する義務を課します。7つの原則があります。

• 合法性、公平性、透明性: 個人データの処理は法律に従って行われる必要があります。
• 目的制限: データは特定の目的のみに使用される必要があります。
• データ最小化: 個人データは必要な限りだけ収集され、制限される必要があります。
• 正確性: データは正確で最新である必要があります。
• 保存制限: 必要なくなった個人データは保存されません。
• 整合性と機密性: 個人データは安全に処理される必要があります。
• 責任: データを責任を持って処理する必要があります。

その他の規制には、CCPAとPIPEDAがあります。

AI監査のチェックリスト

データソース

データソースの特定と検証は、AIシステムの監査における第一の考慮事項です。監査員はデータの品質と会社がデータを使用できるかどうかを確認します。

クロスバリデーション

モデルの適切なクロスバリデーションを確保することは、監査員のチェックリストの1つです。バリデーションデータはトレーニングに使用してはならず、バリデーションテクニックはモデルの汎用性を確保する必要があります。

セキュアホスティング

一部のAIシステムは個人データを使用します。情報セキュリティ要件、たとえばOWASP（Open Web Application Security Project）ガイドラインを満たすホスティングまたはクラウドサービスを評価することが重要です。

説明可能なAI

説明可能なAIとは、AIシステムによって下された決定とそれに影響を与える要因を解釈し、理解することを指します。監査員は、LIMEやSHAPなどのテクニックを使用して、モデルが十分に説明可能かどうかを確認します。

モデル出力

公平性は、監査員がモデル出力で最初に確認することです。モデル出力は、性別、人種、宗教などの変数が変更されても一貫性を保つ必要があります。また、適切なスコアリング方法を使用した予測の品質も評価されます。

社会的フィードバック

AI監査は継続的なプロセスです。展開後、監査員はAIシステムの社会的影響を確認する必要があります。AIシステムとリスク戦略は、フィードバック、使用状況、結果、影響などの要素に基づいて変更および監査される必要があります。

AIパイプラインとアプリケーションの監査を行う会社

AIを監査する5つの主要企業は以下のとおりです。

• Deloitte: Deloitteは世界最大のプロフェッショナルサービス会社であり、監査、税務、財務アドバイザリに関するサービスを提供しています。Deloitteは、RPA、AI、分析を使用して、組織がAIシステムのリスク評価を行うのを支援しています。
• PwC: PwCは、収益ベースで2番目のプロフェッショナルサービスネットワークです。組織がAIシステムの説明責任、信頼性、透明性を確保するのを支援するための監査方法論を開発しています。
• EY: 2022年、EYは、AIを活用したテクノロジープラットフォームに10億ドルの投資を発表しました。このプラットフォームは、高品質の監査サービスを提供するために設計されています。AIを活用した企業は、AIシステムの監査を行うために十分な情報を得ています。
• KPMG: KPMGは、4番目の会計サービス会社です。KPMGは、AIガバナンス、リスク評価、コントロールに関するカスタマイズされたサービスを提供しています。
• Grant Thronton: 彼らは、AIの展開とAI倫理および規制への準拠に関するリスクを管理するのを支援しています。

AIシステムの監査のメリット

• リスク管理: 監査により、AIシステムに関連するリスクを防止または軽減できます。
• 透明性: 監査により、AIアプリケーションが偏見や差別から自由であることを保証できます。
• コンプライアンス: AIシステムの監査により、法的および規制上のコンプライアンスを確保できます。

AI監査：将来の展開

組織、規制当局、監査員は、AIの進歩を注視し、潜在的な脅威を認識し、規制、フレームワーク、戦略を頻繁に改訂して、AIの使用を公平でリスクのないものにする必要があります。

2021年、193のUNESCO加盟国は、AIの倫理に関する世界的な合意を採択しました。AIは、継続的に進化するエコシステムです。

より多くのAI関連コンテンツをご覧になりたい場合は、unite.aiを訪問してください。