AI 모델 및 플랫폼
2023 AI 감사 수행 방법
Unite.AI를 Google의 선호 소스에 추가
AI 감사는 기대하는 대로 작동하는지, 편견이나 차별 없이 윤리적이고 법적 기준에 따라 작동하는지 확인하기 위해 AI 시스템을 평가하는 것을 의미합니다. 지난 10년 동안 AI는指数적으로 성장했습니다. 결과적으로 AI 관련 위험이 조직들에게 문제가 되었습니다. 일론 머스크는 다음과 같이 말했습니다:
“AI는 예방적으로 규제해야 하는 경우가 드문 경우입니다.”
조직은 AI와 관련된 위험에 대한 거버넌스, 위험 평가, 통제 전략을 개발해야 합니다. 높은 위험을 가진 의사 결정에서 AI 책임성이 중요해집니다. 예를 들어, 특정 지역에 경찰을 배치하고 다른 지역에는 배치하지 않는 경우, 지원자들을 선발하고 거절하는 경우 등이 있습니다.
이 기사에서는 AI 감사, AI 감사를 위한 프레임워크 및 규정, AI 애플리케이션을 감사하기 위한 체크리스트에 대한 개요를 제공합니다.
고려해야 할 요소
- 준수: AI 시스템의 법적, 규제, 윤리적, 사회적 고려와 관련된 위험 평가.
- 기술: 기계 학습, 보안 표준, 모델 성능을 포함한 기술 능력과 관련된 위험 평가.
AI 시스템 감사를 위한 도전
- 편향: AI 시스템은 훈련 데이터에 있는 편향을 증폭시키고 불공정한 결정을 내릴 수 있습니다. 이 문제를 인식하고, 스탠퍼드 대학의 연구 기관인 HAI(Human Centered AI)는 71,000달러의 AI 감사 도전을 시작했습니다. 이 도전의 목적은 AI 시스템에서 차별을 금지하는 것이었습니다.
- 복잡성: 특히 深層 학습을 사용하는 AI 시스템은 복잡하고 해석할 수 없습니다.
AI 감사를 위한 기존 규정 및 프레임워크
규정 및 프레임워크는 AI 감사를 위한 북극성 역할을 합니다. 몇 가지 중요한 감사 프레임워크 및 규정에 대해 아래에서 논의합니다.
감사 프레임워크
- COBIT 프레임워크 (Control Objectives for Information and related Technology): 이 프레임워크는 기업의 IT 거버넌스 및 관리를 위한 것입니다.
- IIA의 AI 감사 프레임워크 (Institute of Internal Auditors): 이 AI 프레임워크는 AI 시스템의 설계, 개발, 작동 및 조직의 목표와의 일치성을 평가하는 것을 목표로 합니다. IIA의 AI 감사 프레임워크의 세 가지 주요 구성 요소는 전략, 거버넌스, 인간 요인입니다. 일곱 가지 요소가 있습니다.
- サイバーセキュリティ
- AI 역량
- 데이터 품질
- 데이터 아키텍처 및 인프라
- 성능 측정
- 윤리
- 블랙박스
- COSO ERM 프레임워크: 이 프레임워크는 조직에서 AI 시스템의 위험을 평가하는 데 대한 참조 프레임을 제공합니다. 내부 감사를 위한 다섯 가지 구성 요소가 있습니다.
- 내부 환경: 조직의 거버넌스 및 관리가 AI 위험을 관리하는지 확인
- 목표 설정: 위험 전략을 만들기 위해 이해관계자와 협력
- 이벤트 식별: AI 시스템에서 예기치 못한 편향, 데이터 침해 등 위험을 식별
- 위험 평가: 위험의 영향은 무엇입니까?
- 위험 대응: 조직은 위험 상황에 어떻게 대응합니까? 예를 들어, 최적화되지 않은 데이터 품질과 같은 경우
규정
일반 데이터 보호 규정(GDPR)은 개인 데이터를 사용하는 조직에 의무를 부과하는 EU 규정입니다. 일곱 가지 원칙이 있습니다.
- 합법성, 공정성, 투명성: 개인 데이터 처리는 법률을 준수해야 합니다
- 목적 제한: 데이터를 특정 목적으로만 사용
- 데이터 최소화: 개인 데이터는 충분하고 제한되어야 합니다
- 정확성: 데이터는 정확하고 최신의 상태여야 합니다
- 저장 제한: 더 이상 필요하지 않은 개인 데이터를 저장하지 마십시오
- 무결성 및 기밀성: 개인 데이터는 안전하게 처리되어야 합니다
- 책임: 데이터를 책임 있게 처리하기 위한 컨트롤러
AI 감사를 위한 체크리스트
데이터 소스
AI 시스템을 감사할 때 데이터 소스를 식별하고 검증하는 것이 주요 고려 사항입니다. 감사人は 데이터 품질과 회사가 데이터를 사용할 수 있는지 확인합니다.
교차 검증
모델이 적절하게 교차 검증되었는지 확인하는 것이 감사의 하나입니다. 검증 데이터는 훈련에 사용되어서는 안 되며, 검증 기법은 모델의 일반화 가능성을 보장해야 합니다.
보안 호스팅
일부 경우에 AI 시스템은 개인 데이터를 사용합니다. 정보 보안 요구 사항을满足하는지 확인하는 것이 중요합니다. 예를 들어, OWASP(Open Web Application Security Project) 지침과 같은 경우입니다.
해석 가능한 AI
해석 가능한 AI는 AI 시스템이 내린 결정과 영향을 미치는 요인을 해석하고 이해하는 것을 의미합니다. 감사人は 모델이 충분히 해석 가능한지 확인합니다. LIME 및 SHAP와 같은 기법을 사용합니다.
모델 출력
공정성이 모델 출력에서 가장 먼저 확인하는 것입니다. 모델 출력은 성별, 인종 또는 종교와 같은 변수가 변경되더라도 일관성을 유지해야 합니다. 또한 적절한 평가 방법을 사용하여 예측의 품질도 평가합니다.
사회적 피드백
AI 감사는 지속적인 과정입니다. 배포된 후에 감사人は AI 시스템의 사회적 영향을 확인해야 합니다. AI 시스템과 위험 전략은 피드백, 사용, 결과, 영향에 따라 수정되고 감사되어야 합니다.
AI 파이프라인 및 애플리케이션을 감사하는 회사
AI를 감사하는 다섯 가지 주요 회사입니다.
- Deloitte: Deloitte는 세계에서 가장 큰 전문 서비스 회사로 감사, 세무, 재무 자문 서비스를 제공합니다. Deloitte는 RPA, AI, 분석을 사용하여 조직이 AI 시스템의 위험을 평가하는 데 도움을 줍니다.
- PwC: PwC는 수익 기준으로 두 번째로 큰 전문 서비스 네트워크입니다. 그들은 조직이 책임, 신뢰성, 투명성을 보장하기 위한 감사 방법론을 개발했습니다.
- EY: 2022년 EY는 AI 기반 기술 플랫폼에 10억 달러를 투자하여 고품질의 감사를 제공했습니다. AI 기반 회사들은 AI 시스템을 감사하는 데 잘 알고 있습니다.
- KPMG: KPMG는 네 번째로 큰 회계 서비스 제공 회사입니다. KPMG는 AI 거버넌스, 위험 평가, 통제와 관련된 맞춤형 서비스를 제공합니다.
- Grant Thronton: 그들은 고객이 AI 배포와 관련된 위험을 관리하고 AI 윤리 및 규정 준수를 도와줍니다.
AI 시스템을 감사하는 이점
- 위험 관리: 감사는 AI 시스템과 관련된 위험을 예방하거나 완화합니다.
- 투명성: 감사는 AI 애플리케이션이 편향이나 차별 없이 작동하는지 확인합니다.
- 준수: AI 감사는 시스템이 법적 및 규제 준수를 준수하는지 확인합니다.
AI 감사의 미래
조직, 규제 당국, 감사인은 AI의 발전에 주목하고, 잠재적인 위협을 인식하고, 규정, 프레임워크, 전략을頻繁하게 수정하여 공정하고 위험 없는 AI 사용을 보장해야 합니다.
2021년, 193개 유네스코 회원국은 AI 윤리에 관한 세계적 합의를 채택했습니다. AI는 지속적으로 발전하는 생태계입니다.
더 많은 AI 관련 콘텐츠를 원하시면 unite.ai를 방문하세요.
