인공지능

2023 AI 감사 수행 방법

Published February 3, 2023

Updated April 28, 2026

Haziqa Sajid

AI 감사는 편향이나 차별 없이 기대하는 대로 작동하는지 확인하고 윤리 및 법적 표준과 일치하는지 평가하는 것을 의미한다. AI는 지난 10년 동안指数적 성장을 경험했다. 그 결과, AI 관련 위험은 조직들에게 관심을 끌기 시작했다. 엘론 머스크는 다음과 같이 말했다:

“AI는 규제에서 반응적인 대신 예방적인 접근이 필요한 드문 경우입니다.”

조직은 AI와 함께 일하는 직원들을 위한 거버넌스, 위험 평가, 통제 전략을 개발해야 한다. 높은 배팅이 있는 의사 결정에서 AI 책임성이 중요해진다. 예를 들어, 특정 지역에 경찰을 배치하는 것과 그렇지 않은 것, 그리고 후보자를 채용하고 거부하는 것 등이 있다.

이 기사는 AI 감사, AI 감사를 위한 프레임워크 및 규정, 그리고 AI 애플리케이션을 감사하기 위한 체크리스트를 개요한다.

고려해야 할 요소

준수: 법적, 규제적, 윤리적, 사회적 고려와 관련된 AI 시스템의 준수에 대한 위험 평가.
기술: 기술적 능력과 관련된 위험 평가, 포함하여 기계 학습, 보안 표준, 모델 성능.

AI 시스템 감사를 위한 도전

편향: AI 시스템은 훈련 데이터의 편향을 증폭시키고 불공정한 결정을 내릴 수 있다. 이 문제를 인식하고, 스탠퍼드 대학교의 연구 기관인 Human Centered AI (HAI)는 71,000 달러의 혁신 도전을 시작하여 AI 시스템에서 차별을 금지하는 것을 목표로 했다.
복잡성: 특히 深層 학습을 사용하는 AI 시스템은 복잡하고 해석성이 없다.

기존 규정 및 프레임워크

규정과 프레임워크는 AI 감사를 위한 북극성 역할을 한다. 일부 중요한 감사 프레임워크와 규정은 아래에 논의된다.

감사 프레임워크

COBIT 프레임워크 (정보 및 관련 기술의 제어 목표): 이것은 기업의 IT 거버넌스 및 관리를 위한 프레임워크이다.
IIA (내부 감사원)의 AI 감사 프레임워크: 이 AI 프레임워크는 AI 시스템의 설계, 개발, 작동 및 조직의 목표와의 일치성을 평가하는 것을 목표로 한다. IIA의 AI 감사 프레임워크의 세 가지 주요 구성 요소는 전략, 거버넌스, 인간 요인이다. 7개의 요소가 있다.

사이버 복원력
AI 역량
데이터 품질
데이터 아키텍처 및 인프라
성능 측정
윤리
블랙 박스

COSO ERM 프레임워크: 이 프레임워크는 조직의 AI 시스템에 대한 위험을 평가하기 위한 참조 프레임을 제공한다. 내부 감사에 대한 5つの 구성 요소가 있다.

내부 환경: 조직의 거버넌스 및 관리가 AI 위험을 관리하는지 확인
목표 설정: 위험 전략을 만들기 위해 이해관계자와 협력
이벤트 식별: AI 시스템의 위험을 식별하는 것, 예를 들어 의도하지 않은 편향, 데이터 침해
위험 평가: 위험의 영향은 무엇인가?
위험 대응: 조직은 위험 상황에 어떻게 대응하는가? 예를 들어, 최적화되지 않은 데이터 품질

규정

일반 데이터 보호 규정 (GDPR)은 조직이 개인 데이터를 사용하기 위한 의무를 부과하는 EU 규정이다. 7개의 원칙이 있다.

합법성, 공정성, 투명성: 개인 데이터 처리는 법률에 따라야 한다
목적 제한: 특정 목적만을 위해 데이터를 사용
데이터 최소화: 개인 데이터는 충분하고 제한되어야 한다
정확성: 데이터는 정확하고 최신의 상태여야 한다
저장 제한: 더 이상 필요하지 않은 개인 데이터를 저장하지 마라
무결성 및 기밀성: 개인 데이터는 보안적으로 처리되어야 한다
책임: 컨트롤러는 규정에 따라 데이터를 책임 있게 처리

他の 규정에는 CCPA 및 PIPEDA가 있다.

AI 감사를 위한 체크리스트

데이터 소스

AI 시스템을 감사하는 데 있어서 데이터 소스를 식별하고 검증하는 것이 주요 고려 사항이다. 감사자는 데이터 품질과 회사가 데이터를 사용할 수 있는지 확인한다.

교차 검증

모델이 적절하게 교차 검증되었는지 확인하는 것이 감사자의 체크리스트 중 하나이다. 검증 데이터는 훈련에 사용되어서는 안 되며, 검증 기법은 모델의 일반화 가능성을 보장해야 한다.

보안 호스팅

일부 경우에 AI 시스템은 개인 데이터를 사용한다. 정보 보안 요구 사항을满足하는지 확인하는 것이 중요하다. 예를 들어, OWASP (오픈 웹 애플리케이션 보안 프로젝트) 지침이다.

해석 가능한 AI

해석 가능한 AI는 AI 시스템의 결정과 영향을 미치는 요인을 해석하고 이해하는 것을 의미한다. 감사자는 모델이 충분히 해석 가능한지 확인한다. 예를 들어, LIME 및 SHAP과 같은 기법을 사용한다.

모델 출력

공정성이 모델 출력에서 감사자가 확인하는 첫 번째 것이다. 모델 출력은 성별, 인종, 종교와 같은 변수가 변경되더라도 일관성이 있어야 한다. 또한 예측의 품질을 적절한 점수 방법을 사용하여 평가한다.

사회적 피드백

AI 감사는 지속적인 과정이다.一度 배포되면 감사자는 AI 시스템의 사회적 영향을 확인해야 한다. AI 시스템과 위험 전략은 피드백, 사용, 결과, 영향과 같은 요인에 따라 수정되고 감사가 되어야 한다.

AI 파이프라인 및 애플리케이션을 감사하는 회사

AI를 감사하는 5개의 주요 회사如下이다.

Deloitte: Deloitte는 세계에서 가장大的 전문 서비스 회사이며 감사, 세금, 재무 자문과 관련된 서비스를 제공한다. Deloitte는 RPA, AI, 분석을 사용하여 조직이 AI 시스템의 위험을 평가하는 것을 도와준다.
PwC: PwC는 수익으로 측정된 두 번째로 큰 전문 서비스 네트워크이다. 그들은 책임, 신뢰성, 투명성을 보장하기 위한 감사 방법론을 개발했다.
EY: 2022년, EY는 AI 기반 기술 플랫폼에 10억 달러를 투자하여 고품질의 감사 서비스를 제공했다. AI 주도적인 회사들은 AI 시스템을 감사하기 위한 정보를 가지고 있다.
KPMG: KPMG는 네 번째로 큰 회계 서비스 제공 회사이다. KPMG는 AI 거버넌스, 위험 평가, 통제와 관련된 맞춤형 서비스를 제공한다.
Grant Thronton: 그들은 고객이 AI 배포와 관련된 위험 및 AI 윤리와 규정의 준수를 관리하도록 도와준다.