Cara Melakukan Audit AI pada Tahun 2023

Audit AI mengacu pada evaluasi sistem AI untuk memastikan mereka bekerja seperti yang diharapkan tanpa bias atau diskriminasi dan selaras dengan standar etika dan hukum. AI telah mengalami pertumbuhan eksponensial dalam dekade terakhir. Akibatnya, risiko terkait AI telah menjadi perhatian bagi organisasi. Seperti kata Elon Musk:

“AI adalah kasus langka di mana saya pikir kita perlu proaktif dalam regulasi daripada reaktif.”

Organisasi harus mengembangkan strategi tata kelola, penilaian risiko, dan kontrol untuk karyawan yang bekerja dengan AI. Akuntabilitas AI menjadi kritis dalam pengambilan keputusan di mana taruhannya tinggi seperti menerapkan penegakan hukum di satu area dan tidak di area lain, perekrutan dan penolakan kandidat. Artikel ini akan memberikan gambaran umum tentang audit AI, kerangka kerja dan regulasi untuk audit AI, serta daftar periksa untuk mengaudit aplikasi AI.

Faktor yang Perlu Dipertimbangkan

• Kepatuhan: Penilaian risiko terkait kepatuhan sistem AI terhadap pertimbangan hukum, peraturan, etika, dan sosial.
• Teknologi: Penilaian risiko terkait kemampuan teknis, termasuk pembelajaran mesin, standar keamanan, dan kinerja model.

Tantangan untuk Mengaudit Sistem AI

• Bias: Sistem AI dapat memperkuat bias dalam data yang digunakan untuk melatihnya dan membuat keputusan yang tidak adil. Menyadari masalah ini, sebuah lembaga penelitian di Universitas Stanford, Human Centered AI (HAI), meluncurkan Tantangan Inovasi $71.000 untuk Merancang Audit AI yang Lebih Baik. Tujuan dari tantangan ini adalah untuk melarang diskriminasi dalam sistem AI.
• Kompleksitas: Sistem AI, terutama yang menggunakan pembelajaran mendalam, kompleks dan kurang dapat diinterpretasikan.

Regulasi & Kerangka Kerja yang Ada untuk Audit AI

Regulasi dan kerangka kerja bertindak sebagai penunjuk arah untuk mengaudit AI. Beberapa kerangka kerja dan regulasi audit yang penting dibahas di bawah ini.

Kerangka Kerja Audit

1. Kerangka Kerja COBIT (Control Objectives for Information and related Technology): Ini adalah kerangka kerja untuk tata kelola dan manajemen TI suatu perusahaan.
2. Kerangka Kerja Audit AI IIA (Institute of Internal Auditors): Kerangka kerja AI ini bertujuan untuk menilai desain, pengembangan, dan kerja sistem AI serta keselarasannya dengan tujuan organisasi. Tiga komponen utama Kerangka Kerja Audit AI IIA adalah Strategi, Tata Kelola, dan Faktor Manusia. Ini memiliki tujuh elemen yaitu sebagai berikut:

• Ketahanan Siber
• Kompetensi AI
• Kualitas Data
• Arsitektur & Infrastruktur Data
• Pengukuran Kinerja
• Etika
• Kotak Hitam

3. Kerangka Kerja COSO ERM: Kerangka kerja ini memberikan kerangka acuan untuk menilai risiko sistem AI dalam suatu organisasi. Ini memiliki lima komponen untuk audit internal:

• Lingkungan Internal: Memastikan bahwa tata kelola dan manajemen Organisasi mengelola risiko AI
• Penetapan Tujuan: Berkolaborasi dengan pemangku kepentingan untuk membuat strategi risiko
• Identifikasi Peristiwa: Mengidentifikasi risiko dalam sistem AI seperti bias yang tidak diinginkan, pelanggaran data
• Penilaian Risiko: Apa dampak dari risikonya?
• Respons Risiko: Bagaimana organisasi akan merespons situasi risiko, seperti kualitas data yang sub-optimal?

Regulasi

General Data Protection Regulation (GDPR) adalah hukum dalam regulasi UE yang mewajibkan organisasi untuk menggunakan data pribadi. Ini memiliki tujuh prinsip:

• Keabsahan, Keadilan, dan Transparansi: Pemrosesan data pribadi harus mematuhi hukum
• Pembatasan Tujuan: Menggunakan data hanya untuk tujuan tertentu
• Minimalisasi Data: Data pribadi harus memadai dan terbatas
• Akurasi: Data harus akurat dan mutakhir
• Pembatasan Penyimpanan: Jangan menyimpan data pribadi yang tidak diperlukan lagi
• Integritas dan Kerahasiaan: Data pribadi yang digunakan harus diproses dengan aman
• Tanggung Jawab: Pengontrol untuk memproses data secara bertanggung jawab mengikuti kepatuhan

Regulasi lain termasuk CCPA dan PIPEDA.

Daftar Periksa untuk Audit AI

Sumber Data

Mengidentifikasi dan memeriksa sumber data adalah pertimbangan utama dalam mengaudit sistem AI. Auditor memeriksa kualitas data dan apakah perusahaan dapat menggunakan data tersebut.

Validasi Silang

Memastikan bahwa model divalidasi silang dengan tepat adalah salah satu daftar periksa auditor. Data validasi tidak boleh digunakan untuk pelatihan, dan teknik validasi harus memastikan kemampuan generalisasi model.

Hosting yang Aman

Dalam beberapa kasus, sistem AI menggunakan data pribadi. Penting untuk mengevaluasi bahwa layanan hosting atau cloud memenuhi persyaratan keamanan informasi seperti pedoman OWASP (Open Web Application Security Project).

AI yang Dapat Dijelaskan

Explainable AI mengacu pada interpretasi dan pemahaman keputusan yang dibuat oleh sistem AI serta faktor-faktor yang memengaruhinya. Auditor memeriksa apakah model cukup dapat dijelaskan menggunakan teknik seperti LIME dan SHAP.

Output Model

Keadilan adalah hal pertama yang dipastikan auditor dalam output model. Output model harus tetap konsisten ketika variabel seperti jenis kelamin, ras, atau agama diubah. Selain itu, kualitas prediksi menggunakan metode penilaian yang tepat juga dinilai.

Umpan Balik Sosial

Audit AI adalah proses yang berkelanjutan. Setelah diterapkan, auditor harus melihat dampak sosial dari sistem AI. Sistem AI dan strategi risiko harus dimodifikasi dan diaudit sesuai berdasarkan umpan balik, penggunaan, konsekuensi, dan pengaruh, baik positif maupun negatif.

Perusahaan yang Mengaudit Pipa & Aplikasi AI