Cara Melakukan Audit AI di 2023

Audit AI merujuk pada evaluasi sistem AI untuk memastikan mereka bekerja seperti yang diharapkan tanpa bias atau diskriminasi dan sesuai dengan standar etika dan hukum. AI telah mengalami pertumbuhan eksponensial dalam dekade terakhir. Konsekuensinya, risiko terkait AI telah menjadi perhatian bagi organisasi. Seperti yang dikatakan Elon Musk:

“AI adalah kasus langka di mana saya pikir kita perlu proaktif dalam regulasi daripada reaktif.”

Organisasi harus mengembangkan tata kelola, penilaian risiko, dan strategi kontrol untuk karyawan yang bekerja dengan AI. Akuntabilitas AI menjadi kritis dalam pengambilan keputusan di mana taruhan tinggi seperti menerapkan kepolisian di satu area dan tidak di area lain, merekrut dan menolak kandidat.

Artikel ini akan memberikan gambaran umum tentang audit AI, kerangka dan regulasi untuk audit AI, dan daftar periksa untuk mengaudit aplikasi AI.

Faktor yang Perlu Dipertimbangkan

• Kepatuhan: Penilaian risiko terkait dengan kepatuhan sistem AI dengan pertimbangan hukum, regulasi, etika, dan sosial.
• Teknologi: Penilaian risiko terkait dengan kemampuan teknis, termasuk pembelajaran mesin, standar keamanan, dan kinerja model.

Tantangan untuk Mengaudit Sistem AI

• Bias: Sistem AI dapat memperkuat bias dalam data yang mereka pelajari dan membuat keputusan yang tidak adil. Mengenali masalah ini, sebuah lembaga penelitian di Stanford University, Human Centered AI (HAI), meluncurkan Tantangan Inovasi sebesar $71.000 untuk Merancang Audit AI yang Lebih Baik. Tujuan dari tantangan ini adalah untuk melarang diskriminasi dalam sistem AI.
• Kompleksitas: Sistem AI, terutama yang menggunakan pembelajaran dalam, kompleks dan tidak dapat diinterpretasikan.

Regulasi & Kerangka yang Ada untuk Audit AI

Regulasi dan kerangka bertindak sebagai bintang utara untuk mengaudit AI. Beberapa kerangka dan regulasi audit yang penting dibahas di bawah.

Kerangka Audit

1. COBIT Framework (Control Objectives for Information and related Technology): Ini adalah kerangka untuk tata kelola dan manajemen TI perusahaan.
2. IIA’s (Institute of Internal Auditors) AI Auditing Framework: Kerangka AI ini bertujuan untuk menilai desain, pengembangan, dan kerja sistem AI dan keselarasan dengan tujuan organisasi. Tiga komponen utama dari IIA’s AI Auditing Framework adalah Strategi, Tata Kelola, dan Faktor Manusia. Ini memiliki tujuh elemen yang sebagai berikut:

• Cyber Resilience
• AI Competencies
• Data Quality
• Data Architecture & Infrastructure
• Measuring Performance
• Etika
• The Black Box

3. COSO ERM Framework: Kerangka ini menyediakan kerangka acuan untuk menilai risiko untuk sistem AI dalam organisasi. Ini memiliki lima komponen untuk audit internal:

• Lingkungan Internal: Memastikan bahwa tata kelola dan manajemen organisasi mengelola risiko AI
• Pengaturan Tujuan: Berkolaborasi dengan pemangku kepentingan untuk membuat strategi risiko
• Identifikasi Peristiwa: Mengidentifikasi risiko dalam sistem AI seperti bias yang tidak disengaja, pelanggaran data
• Penilaian Risiko: Apa yang akan menjadi dampak dari risiko?
• Tanggapan Risiko: Bagaimana organisasi akan menanggapi situasi risiko, seperti kualitas data yang suboptimal?

Regulasi

Regulasi Perlindungan Data Umum (GDPR) adalah hukum dalam regulasi EU yang mengenakan kewajiban pada organisasi untuk menggunakan data pribadi. Ini memiliki tujuh prinsip:

• Kerahasiaan, Keadilan, dan Transparansi: Pengolahan data pribadi harus patuh pada hukum
• Batasan Tujuan: Menggunakan data hanya untuk tujuan tertentu
• Minimalisasi Data: Data pribadi harus memadai dan terbatas
• Akurasinya: Data harus akurat dan mutakhir
• Batasan Penyimpanan: Jangan menyimpan data pribadi yang tidak diperlukan lagi
• Integritas dan Kerahasiaan: Data pribadi harus diproses secara aman
• Tanggung Jawab: Pengendali untuk memproses data secara bertanggung jawab mengikuti kepatuhan

Regulasi lainnya termasuk CCPA dan PIPEDA.

Daftar Periksa untuk Audit AI

Sumber Data

Mengidentifikasi dan memverifikasi sumber data adalah pertimbangan utama dalam mengaudit sistem AI. Auditor memeriksa kualitas data dan apakah perusahaan dapat menggunakan data.

Validasi Silang

Memastikan bahwa model tersebut divalidasi silang dengan benar adalah salah satu daftar periksa auditor. Data validasi tidak boleh digunakan untuk pelatihan, dan teknik validasi harus memastikan generalisasi model.

Penyimpanan yang Aman

Dalam beberapa kasus, sistem AI menggunakan data pribadi. Penting untuk mengevaluasi bahwa layanan hosting atau cloud memenuhi persyaratan keamanan informasi seperti pedoman OWASP (Open Web Application Security Project).

AI yang Dapat Dijelaskan

AI yang Dapat Dijelaskan merujuk pada menginterpretasikan dan memahami keputusan yang dibuat oleh sistem AI dan faktor yang mempengaruhinya. Auditor memeriksa apakah model cukup dapat dijelaskan menggunakan teknik seperti LIME dan SHAP.

Keluaran Model

Keadilan adalah hal pertama yang auditor pastikan dalam keluaran model. Keluaran model harus konsisten ketika variabel seperti gender, ras, atau agama diubah. Selain itu, kualitas prediksi menggunakan metode skoring yang tepat juga dinilai.

Umpan Balik Sosial

Mengaudit AI adalah proses yang berkelanjutan. Setelah diterapkan, auditor harus melihat dampak sosial dari sistem AI. Sistem AI dan strategi risiko harus dimodifikasi dan diaudit sesuai dengan umpan balik, penggunaan, konsekuensi, dan pengaruh, baik positif maupun negatif.

Perusahaan yang Mengaudit Pipa dan Aplikasi AI

Lima perusahaan besar yang mengaudit AI adalah sebagai berikut:

• Deloitte: Deloitte adalah perusahaan jasa profesional terbesar di dunia dan menyediakan layanan terkait audit, perpajakan, dan penasihat keuangan. Deloitte menggunakan RPA, AI, dan analitik untuk membantu organisasi dalam penilaian risiko sistem AI mereka.
• PwC: PwC adalah jaringan jasa profesional terbesar kedua berdasarkan pendapatan. Mereka telah mengembangkan metode audit untuk membantu organisasi memastikan akuntabilitas, keandalan, dan transparansi.
• EY: Pada 2022, EY mengumumkan investasi sebesar $1 miliar dalam platform teknologi yang diaktifkan AI untuk menyediakan layanan audit berkualitas tinggi. Perusahaan yang didorong oleh AI terinformasi dengan baik untuk mengaudit sistem AI.
• KPMG: KPMG adalah perusahaan jasa akuntansi terbesar keempat. KPMG menyediakan layanan kustom dalam tata kelola AI, penilaian risiko, dan kontrol.
• Grant Thronton: Mereka membantu klien mengelola risiko terkait dengan penerapan AI dan kepatuhan dengan etika dan regulasi AI.

Manfaat Mengaudit Sistem AI

• Manajemen Risiko: Mengaudit mencegah atau mengurangi risiko yang terkait dengan sistem AI.
• Transparansi: Mengaudit memastikan bahwa aplikasi AI bebas dari bias dan diskriminasi.
• Kepatuhan: Mengaudit aplikasi AI berarti bahwa sistem tersebut mengikuti kepatuhan hukum dan regulasi.

Mengaudit AI: Apa yang Dimiliki Masa Depan

Organisasi, otoritas regulasi, dan auditor harus tetap mengikuti kemajuan AI, menyadari ancaman potensialnya, dan merevisi regulasi, kerangka, dan strategi secara teratur untuk memastikan penggunaan AI yang adil, bebas risiko, dan etis.

Pada 2021, 193 negara anggota UNESCO mengadopsi perjanjian global tentang etika AI. AI adalah ekosistem yang terus berkembang.

Ingin lebih banyak konten terkait AI? Kunjungi unite.ai.