Cách thực hiện Kiểm toán AI vào năm 2023

Kiểm toán AI đề cập đến việc đánh giá các hệ thống AI để đảm bảo chúng hoạt động như mong đợi mà không có sự thiên vị hoặc phân biệt đối xử và tuân thủ các tiêu chuẩn đạo đức và pháp lý. AI đã trải qua sự tăng trưởng theo cấp số nhân trong thập kỷ qua. Do đó, các rủi ro liên quan đến AI đã trở thành một mối quan ngại đối với các tổ chức. Như Elon Musk đã nói:

“AI là một trường hợp hiếm khi tôi nghĩ chúng ta cần phải chủ động trong việc quy định chứ không phải phản ứng.”

Các tổ chức phải phát triển quản trị, đánh giá rủi ro và chiến lược kiểm soát cho nhân viên làm việc với AI. Sự trách nhiệm của AI trở nên quan trọng trong việc ra quyết định khi có nhiều став tại chỗ như triển khai cảnh sát ở một khu vực và không ở khu vực khác, tuyển dụng và từ chối ứng viên.

Bài viết này sẽ trình bày tổng quan về kiểm toán AI, khuôn khổ và quy định cho kiểm toán AI, và danh sách kiểm tra cho các ứng dụng AI.

Các yếu tố cần xem xét

• Tuân thủ: Đánh giá rủi ro liên quan đến việc tuân thủ của hệ thống AI với các xem xét pháp lý, quy định, đạo đức và xã hội.
• Công nghệ: Đánh giá rủi ro liên quan đến khả năng kỹ thuật, bao gồm học máy, tiêu chuẩn bảo mật và hiệu suất mô hình.

Thách thức khi Kiểm toán Hệ thống AI

• Sự thiên vị: Các hệ thống AI có thể khuếch đại sự thiên vị trong dữ liệu được đào tạo và đưa ra quyết định không công bằng. Nhận ra vấn đề này, một viện nghiên cứu tại Đại học Stanford, Human Centered AI (HAI), đã ra mắt thử thách đổi mới 71.000 đô la để thiết kế Kiểm toán AI tốt hơn. Mục tiêu của thử thách này là ngăn chặn sự phân biệt đối xử trong các hệ thống AI.
• Phức tạp: Các hệ thống AI, đặc biệt là những hệ thống sử dụng học sâu, là phức tạp và thiếu khả năng giải thích.

Các Quy định và Khuôn khổ Hiện có cho Kiểm toán AI

Quy định và khuôn khổ đóng vai trò là ngôi sao chỉ dẫn cho việc kiểm toán AI. Một số khuôn khổ và quy định kiểm toán quan trọng được thảo luận dưới đây.

Các Khuôn khổ Kiểm toán

1. Khung khổ COBIT (Mục tiêu Kiểm soát Công nghệ Thông tin và Liên quan): Đây là khuôn khổ cho quản trị và quản lý công nghệ thông tin của doanh nghiệp.
2. Khung khổ Kiểm toán AI của IIA (Institute of Internal Auditors): Khung khổ AI này nhằm đánh giá thiết kế, phát triển và hoạt động của các hệ thống AI và sự phù hợp của chúng với mục tiêu của tổ chức. Ba thành phần chính của Khung khổ Kiểm toán AI của IIA là Chiến lược, Quản trị và Yếu tố Con người. Nó có bảy yếu tố sau:

• Sự linh hoạt mạng
• Năng lực AI
• Chất lượng Dữ liệu
• Kiến trúc & Hạ tầng Dữ liệu
• Đo hiệu suất
• Đạo đức
• Hộp Đen

3. Khung khổ COSO ERM: Khung khổ này cung cấp một khung tham chiếu cho việc đánh giá rủi ro cho các hệ thống AI trong một tổ chức. Nó có năm thành phần cho kiểm toán nội bộ:

• Môi trường Nội bộ: Đảm bảo rằng Quản trị và Quản lý của Tổ chức đang quản lý rủi ro AI
• Thiết lập Mục tiêu: Hợp tác với các bên liên quan để tạo chiến lược rủi ro
• Xác định Sự kiện: Xác định rủi ro trong các hệ thống AI như sự thiên vị không mong muốn, vi phạm dữ liệu
• Đánh giá Rủi ro: Ảnh hưởng của rủi ro sẽ là gì?
• Phản hồi Rủi ro: Tổ chức sẽ phản ứng như thế nào với tình huống rủi ro, chẳng hạn như chất lượng dữ liệu không tối ưu?

Quy định

Quy định Bảo vệ Dữ liệu Tổng quát (GDPR) là một luật trong quy định của EU đặt ra nghĩa vụ cho các tổ chức sử dụng dữ liệu cá nhân. Nó có bảy nguyên tắc:

• Pháp lý, Công bằng và Minh bạch: Xử lý dữ liệu cá nhân phải tuân theo luật
• Giới hạn Mục đích: Chỉ sử dụng dữ liệu cho một mục đích cụ thể
• Giới hạn Dữ liệu: Dữ liệu cá nhân phải đầy đủ và hạn chế
• Độ chính xác: Dữ liệu nên chính xác và cập nhật
• Giới hạn Lưu trữ: Không lưu trữ dữ liệu cá nhân không cần thiết nữa
• Tính toàn vẹn và Bí mật: Dữ liệu cá nhân được xử lý một cách bảo mật
• Trách nhiệm: Người kiểm soát phải xử lý dữ liệu một cách có trách nhiệm theo các quy định

Các quy định khác bao gồm CCPA và PIPEDA.

Danh sách Kiểm tra cho Kiểm toán AI

Nguồn Dữ liệu

Xác định và kiểm tra các nguồn dữ liệu là yếu tố chính trong việc kiểm toán các hệ thống AI. Các kiểm toán viên kiểm tra chất lượng dữ liệu và liệu công ty có thể sử dụng dữ liệu.

Đồng bộ Hóa

Đảm bảo rằng mô hình được xác thực đúng là một trong những danh sách kiểm tra của các kiểm toán viên. Dữ liệu xác thực không được sử dụng cho đào tạo, và các kỹ thuật xác thực nên đảm bảo tính tổng quát của mô hình.

Lưu trữ Bảo mật

Trong một số trường hợp, các hệ thống AI sử dụng dữ liệu cá nhân. Điều quan trọng là phải đánh giá xem các dịch vụ lưu trữ hoặc đám mây có đáp ứng các yêu cầu bảo mật thông tin như hướng dẫn của OWASP (Dự án An ninh Ứng dụng Mở) hay không.

AI Giải thích

AI Giải thích đề cập đến việc giải thích và hiểu các quyết định được đưa ra bởi hệ thống AI và các yếu tố ảnh hưởng đến nó. Các kiểm toán viên kiểm tra xem các mô hình có đủ giải thích bằng các kỹ thuật như LIME và SHAP.

Đầu ra Mô hình

Sự công bằng là điều đầu tiên mà các kiểm toán viên đảm bảo trong đầu ra mô hình. Đầu ra mô hình nên vẫn nhất quán khi các biến như giới tính, chủng tộc hoặc tôn giáo được thay đổi. Hơn nữa, chất lượng của dự đoán bằng phương pháp đánh giá phù hợp cũng được đánh giá.

Phản hồi Xã hội

Kiểm toán AI là một quá trình liên tục. Một khi được triển khai, các kiểm toán viên nên xem xét tác động xã hội của hệ thống AI. Hệ thống AI và chiến lược rủi ro nên được sửa đổi và kiểm toán theo phản hồi, sử dụng, hậu quả và ảnh hưởng, dù tích cực hay tiêu cực.

Các Công ty Kiểm toán Dòng và Ứng dụng AI

Năm công ty lớn kiểm toán AI như sau:

• Deloitte: Deloitte là công ty dịch vụ chuyên nghiệp lớn nhất thế giới và cung cấp dịch vụ liên quan đến kiểm toán, thuế và tư vấn tài chính. Deloitte sử dụng RPA, AI và phân tích để giúp các tổ chức đánh giá rủi ro của hệ thống AI.
• PwC: PwC là mạng lưới dịch vụ chuyên nghiệp thứ hai lớn nhất theo doanh thu. Họ đã phát triển các phương pháp kiểm toán để giúp các tổ chức đảm bảo trách nhiệm, độ tin cậy và minh bạch.
• EY: Vào năm 2022, EY đã công bố đầu tư 1 tỷ đô la vào một nền tảng công nghệ được hỗ trợ bởi AI để cung cấp dịch vụ kiểm toán chất lượng cao. Các công ty được hỗ trợ bởi AI được thông báo để kiểm toán các hệ thống AI.
• KPMG: KPMG là công ty cung cấp dịch vụ kế toán thứ tư lớn nhất. KPMG cung cấp dịch vụ tùy chỉnh trong quản trị AI, đánh giá rủi ro và kiểm soát.
• Grant Thronton: Họ giúp khách hàng quản lý rủi ro liên quan đến việc triển khai AI và tuân thủ đạo đức và quy định AI.

Lợi ích của Kiểm toán Hệ thống AI

• Quản lý Rủi ro: Kiểm toán ngăn chặn hoặc giảm thiểu rủi ro liên quan đến các hệ thống AI.
• Minh bạch: Kiểm toán đảm bảo rằng các ứng dụng AI không có thiên vị và phân biệt đối xử.
• Tuân thủ: Kiểm toán các ứng dụng AI có nghĩa là hệ thống tuân thủ các quy định pháp lý và quy định.

Kiểm toán AI: Tương lai

Các tổ chức, cơ quan quản lý và kiểm toán viên nên cập nhật các tiến bộ của AI, nhận ra các mối đe dọa tiềm năng của nó và thường xuyên sửa đổi các quy định, khuôn khổ và chiến lược để đảm bảo sử dụng AI một cách công bằng, không rủi ro và đạo đức.

Vào năm 2021, 193 quốc gia thành viên của UNESCO đã thông qua một thỏa thuận toàn cầu về đạo đức AI. AI là một hệ sinh thái liên tục phát triển.

Muốn có thêm nội dung liên quan đến AI? Truy cập unite.ai.