Cara Melakukan Audit AI di 2023

Audit AI mengacu pada evaluasi sistem AI untuk memastikan bahwa mereka bekerja sesuai dengan yang diharapkan tanpa bias atau diskriminasi dan selaras dengan standar etika dan hukum. AI telah mengalami pertumbuhan eksponensial dalam dekade terakhir. Akibatnya, risiko terkait AI telah menjadi perhatian bagi organisasi. Seperti yang dikatakan Elon Musk:

“AI adalah kasus langka di mana saya pikir kita perlu proaktif dalam regulasi daripada reaktif.”

Organisasi harus mengembangkan tata kelola, penilaian risiko, dan strategi pengendalian untuk karyawan yang bekerja dengan AI. Akuntabilitas AI menjadi kritis dalam pengambilan keputusan di mana taruhan tinggi seperti menerapkan kepolisian di satu area dan tidak di area lain, merekrut dan menolak kandidat.

Artikel ini akan memberikan gambaran umum tentang audit AI, kerangka kerja dan regulasi untuk audit AI, dan daftar periksa untuk mengaudit aplikasi AI.

Faktor yang Perlu Dipertimbangkan

• Kepatuhan: Penilaian risiko terkait dengan kepatuhan sistem AI dengan pertimbangan hukum, regulasi, etika, dan sosial.
• Teknologi: Penilaian risiko terkait dengan kemampuan teknis, termasuk pembelajaran mesin, standar keamanan, dan kinerja model.

Tantangan untuk Mengaudit Sistem AI

• Bias: Sistem AI dapat memperkuat bias dalam data yang digunakan untuk melatihnya dan membuat keputusan yang tidak adil. Mengenali masalah ini, sebuah lembaga penelitian di Stanford University, Human Centered AI (HAI), meluncurkan tantangan inovasi sebesar $71.000 untuk Merancang Audit AI yang Lebih Baik. Tujuan dari tantangan ini adalah untuk melarang diskriminasi dalam sistem AI.
• Kompleksitas: Sistem AI, terutama yang menggunakan pembelajaran dalam, kompleks dan tidak dapat diinterpretasikan.

Regulasi dan Kerangka Kerja yang Ada untuk Audit AI

Regulasi dan kerangka kerja bertindak sebagai bintang utara untuk mengaudit AI. Beberapa kerangka kerja dan regulasi penting untuk audit AI dibahas di bawah.

Kerangka Kerja Audit

1. COBIT Framework (Control Objectives for Information and related Technology): Ini adalah kerangka kerja untuk tata kelola dan manajemen TI perusahaan.
2. IIA’s (Institute of Internal Auditors) AI Auditing Framework: Kerangka kerja AI ini bertujuan untuk menilai desain, pengembangan, dan kerja sistem AI dan keselarasan dengan tujuan organisasi. Tiga komponen utama dari IIA’s AI Auditing Framework adalah Strategi, Tata Kelola, dan Faktor Manusia. Ini memiliki tujuh elemen yang sebagai berikut:

• Cyber Resilience
• Kompetensi AI
• Kualitas Data
• Arsitektur & Infrastruktur Data
• Pengukuran Kinerja
• Etika
• The Black Box

3. COSO ERM Framework: Kerangka kerja ini menyediakan acuan untuk menilai risiko sistem AI dalam sebuah organisasi. Ini memiliki lima komponen untuk audit internal:

• Lingkungan Internal: Memastikan bahwa tata kelola dan manajemen organisasi mengelola risiko AI
• Pengaturan Tujuan: Berkolaborasi dengan pemangku kepentingan untuk membuat strategi risiko
• Identifikasi Peristiwa: Mengidentifikasi risiko dalam sistem AI seperti bias yang tidak disengaja, pelanggaran data
• Penilaian Risiko: Apa yang akan menjadi dampak dari risiko?
• Tanggapan Risiko: Bagaimana organisasi akan menanggapi situasi risiko, seperti kualitas data yang suboptimal?

Regulasi

Regulasi Perlindungan Data Umum (GDPR) adalah hukum dalam regulasi EU yang mengharuskan organisasi untuk menggunakan data pribadi. Ini memiliki tujuh prinsip:

• Kesahihan, Keadilan, dan Transparansi: Pengolahan data pribadi harus sesuai dengan hukum
• Batasan Tujuan: Menggunakan data hanya untuk tujuan tertentu
• Minimalisasi Data: Data pribadi harus cukup dan terbatas
• Akurasinya: Data harus akurat dan mutakhir
• Batasan Penyimpanan: Jangan menyimpan data pribadi yang tidak diperlukan lagi
• Integritas dan Kerahasiaan: Data pribadi harus diproses secara aman
• Tanggung Jawab: Pengendali untuk mengolah data secara bertanggung jawab mengikuti kepatuhan

Regulasi lainnya termasuk CCPA dan PIPEDA.

Daftar Periksa untuk Audit AI

Sumber Data

Mengidentifikasi dan memverifikasi sumber data adalah pertimbangan utama dalam mengaudit sistem AI. Auditor memeriksa kualitas data dan apakah perusahaan dapat menggunakan data.

Validasi Silang

Memastikan bahwa model telah divalidasi silang dengan benar adalah salah satu daftar periksa auditor. Data validasi tidak boleh digunakan untuk pelatihan, dan teknik validasi harus memastikan generalisasi model.

Penyimpanan yang Aman

Dalam beberapa kasus, sistem AI menggunakan data pribadi. Penting untuk mengevaluasi bahwa layanan hosting atau cloud memenuhi persyaratan keamanan informasi seperti pedoman OWASP (Open Web Application Security Project).

AI yang Dapat Dijelaskan

AI yang dapat dijelaskan mengacu pada interpretasi dan pemahaman keputusan yang dibuat oleh sistem AI dan faktor yang mempengaruhinya. Auditor memeriksa apakah model cukup dapat dijelaskan menggunakan teknik seperti LIME dan SHAP.

Output Model

Keadilan adalah hal pertama yang auditor pastikan dalam output model. Output model harus konsisten ketika variabel seperti gender, ras, atau agama diubah. Selain itu, kualitas prediksi menggunakan metode skoring yang tepat juga dinilai.

Umpan Balik Sosial

Mengaudit AI adalah proses yang berkelanjutan. Setelah diterapkan, auditor harus melihat dampak sosial dari sistem AI. Sistem AI dan strategi risiko harus dimodifikasi dan diaudit sesuai dengan umpan balik, penggunaan, konsekuensi, dan pengaruh, baik positif maupun negatif.

Perusahaan yang Mengaudit Pipa dan Aplikasi AI

Lima perusahaan besar yang mengaudit AI adalah sebagai berikut:

• Deloitte: Deloitte adalah perusahaan jasa profesional terbesar di dunia dan menyediakan layanan terkait audit, pajak, dan konsultasi keuangan. Deloitte menggunakan RPA, AI, dan analitik untuk membantu organisasi dalam penilaian risiko sistem AI mereka.
• PwC: PwC adalah jaringan layanan profesional terbesar kedua berdasarkan pendapatan. Mereka telah mengembangkan metodologi audit untuk membantu organisasi memastikan akuntabilitas, keandalan, dan transparansi.
• EY: Pada 2022, EY mengumumkan investasi sebesar $1 miliar dalam platform teknologi yang diaktifkan AI untuk menyediakan layanan audit berkualitas tinggi. Perusahaan yang didorong oleh AI sangat memahami cara mengaudit sistem AI.
• KPMG: KPMG adalah perusahaan penyedia jasa akuntansi terbesar keempat. KPMG menyediakan layanan khusus dalam tata kelola AI, penilaian risiko, dan pengendalian.
• Grant Thronton: Mereka membantu klien mengelola risiko terkait dengan penerapan AI dan kepatuhan dengan etika dan regulasi AI.

Manfaat Mengaudit Sistem AI

• Manajemen Risiko: Mengaudit mencegah atau mengurangi risiko yang terkait dengan sistem AI.
• Transparansi: Mengaudit memastikan bahwa aplikasi AI bebas dari bias dan diskriminasi.
• Kepatuhan: Mengaudit aplikasi AI berarti bahwa sistem tersebut mengikuti kepatuhan hukum dan regulasi.

Mengaudit AI: Apa yang Akan Terjadi di Masa Depan

Organisasi, otoritas regulasi, dan auditor harus tetap mengikuti kemajuan AI, menyadari ancaman potensialnya, dan sering memperbarui regulasi, kerangka kerja, dan strategi untuk memastikan penggunaan AI yang adil, bebas risiko, dan etis.

Pada 2021, 193 negara anggota UNESCO mengadopsi perjanjian global tentang etika AI. AI adalah ekosistem yang terus berkembang.

Ingin lebih banyak konten terkait AI? Kunjungi unite.ai.