Cách thực hiện kiểm toán AI vào năm 2023

Kiểm toán AI đề cập đến việc đánh giá các hệ thống AI để đảm bảo chúng hoạt động như mong đợi mà không có sự thiên vị hoặc phân biệt đối xử và tuân thủ các tiêu chuẩn đạo đức và pháp lý. AI đã trải qua sự tăng trưởng theo cấp số nhân trong thập kỷ qua. Do đó, các rủi ro liên quan đến AI đã trở thành một mối quan tâm cho các tổ chức. Như Elon Musk đã nói:

“AI là một trường hợp hiếm khi tôi nghĩ chúng ta cần phải chủ động trong việc quy định chứ không phải phản ứng.”

Các tổ chức phải phát triển quản trị, đánh giá rủi ro và chiến lược kiểm soát cho nhân viên làm việc với AI. Sự trách nhiệm của AI trở nên quan trọng trong việc ra quyết định khi có nhiều rủi ro như triển khai cảnh sát ở một khu vực và không ở khu vực khác, tuyển dụng và từ chối ứng viên.

Bài viết này sẽ trình bày tổng quan về kiểm toán AI, khuôn khổ và quy định cho kiểm toán AI, và danh sách kiểm tra cho kiểm toán ứng dụng AI.

Các yếu tố cần xem xét

• Tuân thủ: Đánh giá rủi ro liên quan đến việc tuân thủ của hệ thống AI với các quy định pháp lý, đạo đức và xã hội.
• Công nghệ: Đánh giá rủi ro liên quan đến khả năng kỹ thuật, bao gồm học máy, tiêu chuẩn bảo mật và hiệu suất mô hình.

Thử thách khi kiểm toán hệ thống AI

• Thiên vị: Hệ thống AI có thể khuếch đại sự thiên vị trong dữ liệu được đào tạo và đưa ra quyết định không công bằng. Nhận ra vấn đề này, một viện nghiên cứu tại Stanford University, Human Centered AI (HAI), đã ra mắt thử thách đổi mới 71.000 đô la để thiết kế kiểm toán AI tốt hơn. Mục tiêu của thử thách này là ngăn chặn sự phân biệt đối xử trong hệ thống AI.
• Phức tạp: Hệ thống AI, đặc biệt là những hệ thống sử dụng học sâu, là phức tạp và thiếu khả năng giải thích.

Các quy định và khuôn khổ hiện có cho kiểm toán AI

Quy định và khuôn khổ đóng vai trò là hướng dẫn cho việc kiểm toán AI. Một số khuôn khổ và quy định kiểm toán quan trọng được thảo luận dưới đây.

Khuôn khổ kiểm toán

1. Khuôn khổ COBIT (Mục tiêu kiểm soát thông tin và công nghệ liên quan): Đây là khuôn khổ cho quản trị và quản lý công nghệ thông tin của doanh nghiệp.
2. Khuôn khổ kiểm toán AI của IIA (Institute of Internal Auditors): Khuôn khổ AI này nhằm đánh giá thiết kế, phát triển và hoạt động của hệ thống AI và sự phù hợp của chúng với mục tiêu của tổ chức. Ba thành phần chính của khuôn khổ kiểm toán AI của IIA là Chiến lược, Quản trị và Yếu tố con người. Nó có bảy yếu tố sau:

• Khả năng chống lại sự gián đoạn mạng
• Năng lực AI
• Chất lượng dữ liệu
• Kiến trúc và hạ tầng dữ liệu
• Đo lường hiệu suất
• Đạo đức
• Hộp đen

3. Khuôn khổ COSO ERM: Khuôn khổ này cung cấp một khung tham chiếu để đánh giá rủi ro cho hệ thống AI trong tổ chức. Nó có năm thành phần cho kiểm toán nội bộ:

• Môi trường nội bộ: Đảm bảo rằng quản trị và quản lý của tổ chức đang quản lý rủi ro AI
• Thiết lập mục tiêu: Phối hợp với các bên liên quan để tạo chiến lược rủi ro
• Xác định sự kiện: Xác định rủi ro trong hệ thống AI như thiên vị không mong muốn, vi phạm dữ liệu
• Đánh giá rủi ro: Rủi ro sẽ có tác động như thế nào?
• Phản hồi rủi ro: Tổ chức sẽ phản ứng như thế nào với tình huống rủi ro, chẳng hạn như chất lượng dữ liệu không tối ưu?

Quy định

Quy định Bảo vệ Dữ liệu Tổng quát (GDPR) là một luật trong quy định của EU đặt ra nghĩa vụ cho các tổ chức khi sử dụng dữ liệu cá nhân. Nó có bảy nguyên tắc:

• Pháp lý, Công bằng và Minh bạch: Xử lý dữ liệu cá nhân phải tuân theo pháp luật
• Giới hạn mục đích: Sử dụng dữ liệu chỉ cho mục đích cụ thể
• Giới hạn dữ liệu: Dữ liệu cá nhân phải đầy đủ và giới hạn
• Độ chính xác: Dữ liệu phải chính xác và cập nhật
• Giới hạn lưu trữ: Không lưu trữ dữ liệu cá nhân không cần thiết
• Tính toàn vẹn và bảo mật: Dữ liệu cá nhân được xử lý một cách bảo mật
• Trách nhiệm: Người kiểm soát phải xử lý dữ liệu một cách có trách nhiệm theo các quy định

Các quy định khác bao gồm CCPA và PIPEDA.

Danh sách kiểm tra cho kiểm toán AI

Nguồn dữ liệu

Xác định và kiểm tra nguồn dữ liệu là yếu tố chính trong kiểm toán hệ thống AI. Kiểm toán viên kiểm tra chất lượng dữ liệu và liệu công ty có thể sử dụng dữ liệu.

Xác thực chéo

Đảm bảo rằng mô hình được xác thực chéo phù hợp là một trong những hạng mục kiểm tra của kiểm toán viên. Dữ liệu xác thực không được sử dụng cho đào tạo, và các kỹ thuật xác thực phải đảm bảo tính tổng quát của mô hình.

Lưu trữ bảo mật

Trong một số trường hợp, hệ thống AI sử dụng dữ liệu cá nhân. Điều quan trọng là phải đánh giá xem dịch vụ lưu trữ hoặc đám mây có đáp ứng các yêu cầu bảo mật thông tin như hướng dẫn OWASP (Dự án An ninh Ứng dụng Mở) hay không.

AI giải thích được

AI giải thích được đề cập đến việc giải thích và hiểu quyết định được đưa ra bởi hệ thống AI và các yếu tố ảnh hưởng đến nó. Kiểm toán viên kiểm tra xem mô hình có đủ giải thích được bằng các kỹ thuật như LIME và SHAP hay không.

Đầu ra mô hình

Sự công bằng là yếu tố đầu tiên mà kiểm toán viên đảm bảo trong đầu ra mô hình. Đầu ra mô hình phải nhất quán khi các biến như giới tính, chủng tộc hoặc tôn giáo được thay đổi. Ngoài ra, chất lượng dự đoán bằng phương pháp đánh giá phù hợp cũng được đánh giá.

Phản hồi xã hội

Kiểm toán AI là một quá trình liên tục. Một khi được triển khai, kiểm toán viên nên xem xét tác động xã hội của hệ thống AI. Hệ thống AI và chiến lược rủi ro nên được sửa đổi và kiểm toán theo phản hồi, sử dụng, hậu quả và ảnh hưởng, dù tích cực hay tiêu cực.

Các công ty kiểm toán đường ống và ứng dụng AI

Năm công ty lớn kiểm toán AI là:

• Deloitte: Deloitte là công ty dịch vụ chuyên nghiệp lớn nhất thế giới và cung cấp dịch vụ liên quan đến kiểm toán, thuế và tư vấn tài chính. Deloitte sử dụng RPA, AI và phân tích để giúp các tổ chức đánh giá rủi ro của hệ thống AI.
• PwC: PwC là mạng lưới dịch vụ chuyên nghiệp thứ hai lớn nhất theo doanh thu. Họ đã phát triển phương pháp kiểm toán để giúp các tổ chức đảm bảo trách nhiệm, độ tin cậy và minh bạch.
• EY: Vào năm 2022, EY đã công bố đầu tư 1 tỷ đô la vào một nền tảng công nghệ được hỗ trợ bởi AI để cung cấp dịch vụ kiểm toán chất lượng cao. Các công ty được hỗ trợ bởi AI được thông tin đầy đủ để kiểm toán hệ thống AI.
• KPMG: KPMG là công ty dịch vụ kế toán lớn thứ tư. KPMG cung cấp dịch vụ tùy chỉnh trong quản trị AI, đánh giá rủi ro và kiểm soát.
• Grant Thronton: Họ giúp khách hàng quản lý rủi ro liên quan đến việc triển khai AI và tuân thủ các quy định về đạo đức và quy định của AI.

Lợi ích của việc kiểm toán hệ thống AI

• Quản lý rủi ro: Kiểm toán ngăn chặn hoặc giảm thiểu rủi ro liên quan đến hệ thống AI.
• Minh bạch: Kiểm toán đảm bảo rằng các ứng dụng AI không bị thiên vị và phân biệt đối xử.
• Tuân thủ: Kiểm toán hệ thống AI có nghĩa là hệ thống tuân thủ các quy định pháp lý và quy định.

Kiểm toán AI: Tương lai

Các tổ chức, cơ quan quản lý và kiểm toán viên nên theo dõi tiến bộ của AI, nhận thức được các mối đe dọa tiềm năng và thường xuyên sửa đổi các quy định, khuôn khổ và chiến lược để đảm bảo sử dụng AI một cách công bằng, không rủi ro và đạo đức.

Vào năm 2021, 193 quốc gia thành viên của UNESCO đã thông qua một thỏa thuận toàn cầu về đạo đức của AI. AI là một hệ sinh thái liên tục phát triển.

Muốn có thêm nội dung liên quan đến AI? Truy cập unite.ai.