人工智能
如何在 2023 年进行 AI 审计
AI 审计指的是评估 AI 系统，以确保它们按照预期工作，而不带有偏见或歧视，并符合道德和法律标准。过去十年中，AI 经历了指数级的增长。因此，AI 相关的风险已成为组织的担忧。正如埃隆·马斯克所说：
“AI 是一个罕见的案例，我认为我们需要在监管方面采取主动，而不是被动。”
组织必须为使用 AI 的员工开发治理、风险评估和控制策略。AI 责任在决策中变得至关重要，例如在某个地区部署警力而不是在另一个地区部署，招聘和拒绝候选人。
本文将概述 AI 审计、AI 审计的框架和法规，以及审计 AI 应用的检查清单。
需要考虑的因素
- 合规性：与 AI 系统的合规性相关的风险评估，包括法律、监管、道德和社会考虑。
- 技术：与技术能力相关的风险评估，包括机器学习、安全标准和模型性能。
审计 AI 系统的挑战
- 偏见：AI 系统可以放大它们所训练的数据中的偏见，并做出不公平的决定。认识到这个问题，斯坦福大学的一个研究机构，Human Centered AI (HAI)，启动了一项 71,000 美元的创新挑战，以设计更好的 AI 审计。这个挑战的目标是禁止 AI 系统中的歧视。
- 复杂性：AI 系统，尤其是那些使用深度学习的系统，复杂且缺乏解释性。
现有的法规和框架用于 AI 审计
法规和框架是审计 AI 的指南。以下讨论了一些重要的审计框架和法规。
审计框架
- COBIT 框架（信息和相关技术的控制目标）：这是企业 IT 治理和管理的框架。
- IIA（内部审计师协会）的 AI 审计框架：该 AI 框架旨在评估 AI 系统的设计、开发和运行，以及它们与组织目标的对齐。IIA 的 AI 审计框架有三个主要组件：战略、治理和人因。它有七个元素，如下所示：
- 网络弹性
- AI 能力
- 数据质量
- 数据架构和基础设施
- 性能测量
- 道德
- 黑盒
- COSO ERM 框架：该框架提供了一个参考框架，用于评估组织中 AI 系统的风险。它有五个内部审计组件：
- 内部环境：确保组织的治理和管理正在管理 AI 风险
- 目标设定：与利益相关者合作制定风险策略
- 事件识别：识别 AI 系统中的风险，例如意外偏见、数据泄露
- 风险评估：风险的影响是什么？
- 风险响应：如何响应风险情况，例如次优数据质量？
法规
通用数据保护条例（GDPR）是欧盟法规，要求组织使用个人数据。它有七个原则：
- 合法性、公平性和透明度：个人数据处理必须遵守法律
- 目的限制：仅将数据用于特定目的
- 数据最小化：个人数据必须是充分和有限的
- 准确性：数据应是准确和最新的
- 存储限制：不要存储不再需要的个人数据
- 完整性和保密性：个人数据应以安全的方式处理
- 责任：控制器应按照合规性负责处理数据
AI 审计检查清单
数据来源
识别和审查数据来源是审计 AI 系统的主要考虑因素。审计员检查数据质量和公司是否可以使用数据。
交叉验证
确保模型得到适当的交叉验证是审计员的检查清单之一。验证数据不应用于训练，并且验证技术应确保模型的普遍适用性。
安全托管
在某些情况下，AI 系统使用个人数据。评估托管或云服务是否符合信息安全要求（如 OWASP 指南）至关重要。
可解释的 AI
可解释的 AI 指的是解释和理解 AI 系统做出的决定以及影响它的因素。审计员检查模型是否使用技术（如 LIME 和 SHAP）进行了充分的解释。
模型输出
公平性是审计员在模型输出中首先要确保的。模型输出应在变量（如性别、种族或宗教）发生变化时保持一致。此外，使用适当的评分方法还评估预测的质量。
社会反馈
AI 审计是一个持续的过程。一旦部署，审计员应查看 AI 系统的社会影响。AI 系统和风险策略应根据反馈、使用、后果和影响（无论是积极还是消极）进行修改和审计。
审计 AI 流水线和应用的公司
五家主要的审计 AI 的公司如下：
- 德勤：德勤是世界上最大的专业服务公司，提供审计、税务和财务咨询服务。德勤使用 RPA、AI 和分析技术帮助组织评估其 AI 系统的风险。
- 普华永道：普华永道是第二大专业服务网络。他们开发了审计方法论，以帮助组织确保其 AI 系统的责任、可靠性和透明度。
- 安永：2022 年，安永宣布投资 10 亿美元用于 AI 启用的技术平台，以提供高质量的审计服务。AI 驱动的公司非常了解如何审计 AI 系统。
- 凯捷：凯捷是第四大会计服务公司。凯捷提供定制的 AI 治理、风险评估和控制服务。
- 格兰特·桑顿：他们帮助客户管理与 AI 部署和遵守 AI 道德和法规相关的风险。
审计 AI 系统的益处
- 风险管理：审计可以防止或减轻与 AI 系统相关的风险。
- 透明度：审计可以确保 AI 应用程序不带有偏见和歧视。
- 合规性：审计 AI 应用程序意味着系统遵守法律和法规的要求。
AI 审计：未来展望
组织、监管机构和审计员应跟上 AI 的进步，认识到其潜在威胁，并经常修订法规、框架和策略，以确保 AI 的使用是公平、无风险和合乎道德的。
2021 年，193 个联合国成员国通过了一项全球 AI 道德协议。AI 是一个不断演变的生态系统。
想要更多与 AI 相关的内容？请访问unite.ai。
