Mengatasi Pola Pikir ‘AI Itu Ajaib’: Mengapa Memahami Cara Kerja Model AI Harus Menjadi Prioritas Seluruh Perusahaan

Di tengah peringatan tentang agen AI yang bertindak di luar kendali, seorang pengembang baru-baru ini memberi agen pemrograman kebebasan penuh untuk menggunakan sebuah mesin tanpa cadangan jarak jauh. Agen itu menghapus 48.000 file dalam waktu kurang dari dua menit.

Masalah seperti ini menjadi pengingat yang jelas bahwa penerapan agen AI memiliki risiko; menambahkan peninjau manusia di suatu bagian dalam proses yang rumit lalu berasumsi semuanya aman saja tidak cukup. Ada proses yang tidak memerlukan campur tangan, sementara proses lainnya membutuhkan pemeriksaan yang jauh lebih ketat. Memperbaiki salah ketik dan menghapus ribuan file jelas memiliki tingkat risiko yang berbeda, sehingga pengawasan harus sepadan dengan risiko yang sebenarnya.

Organisasi harus lebih baik dalam mengenali saat-saat ketika penilaian manusia benar-benar diperlukan, khususnya saat suatu tindakan berdampak besar atau sulit dibatalkan. Selain itu, ketika agen melakukan kesalahan, lingkungan tempat agen beroperasi harus membatasi dampaknya.

AI Tidak Bersifat Deterministik, Melainkan Probabilistik

Yang terpenting, setiap karyawan yang terlibat langsung maupun tidak langsung dalam pengembangan perangkat lunak wajib memiliki pemahaman dasar tentang cara model AI memproses informasi. Ini bukan tugas kecil; dibutuhkan komitmen untuk mengedukasi tim, dan pada akhirnya, hal ini harus menjadi tujuan seluruh perusahaan.

Saat seseorang mulai berinteraksi dengan AI, pengalaman itu terasa seperti sihir. Kita mengetikkan sebuah kalimat, lalu tiba-tiba kita terlibat dalam percakapan. Pemahaman dasar tentang cara kerja model dan proses pelatihannya di balik layar penting untuk menyusun kebijakan AI di seluruh perusahaan, khususnya terkait keamanan dan produktivitas. Jaringan saraf, tokenisasi, analisis statistik yang mendasarinya, serta bagaimana semua itu menghasilkan keluaran merupakan materi edukasi penting bagi seluruh karyawan di perusahaan.

Model bahasa besar tidak akan pernah menghasilkan keluaran yang deterministik. Keluarannya bersifat probabilistik. Pada perangkat lunak biasa, ketika kita memberikan masukan, kita bisa memperkirakan keluarannya, misalnya A, B, atau C. Namun, AI bisa saja menghasilkan F, tanda &, atau deskripsi tentang seekor kucing yang mengenakan kacamata hitam.

Sesuatu yang bersifat probabilistik tidak dapat diuji dengan cara biasa. Yang dibutuhkan adalah metode pengujian yang memungkinkan kita menyesuaikan, menalar, memahami, dan mengambil konteks dengan cepat untuk mendeteksi unsur-unsur probabilistik serta mengenali masalah yang mungkin ditimbulkannya. Bergantung pada skala dan risikonya, pengujian semacam ini dapat ditangani oleh AI atau manusia dengan keahlian yang relevan. Keterlibatan manusia paling bermanfaat pada tahap awal, agar kita dapat menetapkan masalah yang perlu dipecahkan, lalu melakukan peninjauan pada tahap akhir.

Karena pengembang paling dekat dengan pengamatan atas variabel dan praktik umum yang memengaruhi cara AI internal organisasi mereka menghasilkan jawaban dari masukan, mereka berada di posisi yang tepat untuk membantu membentuk edukasi AI di perusahaan dan memastikan semua orang memahami perbedaan antara determinisme dan probabilisme dalam AI, serta alasan perbedaan itu penting. Tujuannya adalah mengurangi anggapan bahwa menggunakan AI itu seperti sihir dan kita seharusnya menerima apa pun keluarannya. Sebaliknya, organisasi harus berupaya menjelaskan model yang digunakan perusahaan, cara penggunaannya, masalah yang mungkin muncul, cara pemeriksaannya, dan hasil dari proses tersebut.

Pengaman Harus Ada di Infrastruktur, Bukan di Model

Setelah ‘sihir’ AI dibongkar dan proyek yang dipimpin AI mulai berjalan, kebijakan audit yang transparan harus diterapkan untuk memastikan semuanya berjalan sesuai rencana. Dengan begitu, jika proyek menghasilkan keluaran yang ‘buruk’ atau tidak memenuhi standar, penanggung jawab dapat mengaudit langkah-langkah yang telah dilakukan dan mencegah masalah serupa terulang. Kebijakan ini juga bermanfaat ketika hasilnya lebih baik daripada yang diharapkan, karena langkah-langkah tersebut dapat direplikasi dan dibagikan kepada proyek atau kelompok lain.

Pembakuan proses ini sangat penting bagi perusahaan besar, tempat setiap tim mungkin memiliki puluhan pengembang dan ratusan pengembang menangani kode sepanjang hari. AI dapat melakukan banyak hal dengan sangat cepat dan, jika terjadi kesalahan, harus ada sistem untuk menentukan secara tepat pada langkah mana masalah itu terjadi. Lihat agen OpenAI yang menerobos sistem Hugging Face pada musim panas ini. OpenAI sedang menguji kemampuan modelnya dalam mengeksploitasi kerentanan perangkat lunak dengan menggunakan tolok ukur bernama ExploitGym. Untuk pengujian tersebut, OpenAI sengaja melonggarkan penolakan model terhadap tugas siber ofensif. Satu-satunya jalan keluar dari lingkungan sandbox adalah melalui proksi paket. Model-model itu menemukan celah yang sebelumnya tidak diketahui pada proksi tersebut, berhasil keluar, lalu menghabiskan lebih dari dua hari di dalam sistem produksi Hugging Face untuk mencari jawaban pengujian.

Judul-judul berita menyebutnya AI yang bertindak di luar kendali. Saya menyebutnya pengaturan deterministik di sekitar sistem probabilistik. OpenAI memerintahkan model-model itu untuk meretas, lalu mengandalkan mereka agar tetap mengikuti jalur yang diharapkan. Pembuat tolok ukur itu mengatakan bahwa model-model tersebut pernah menyontek dalam pengujian sebelumnya, tetapi selalu di dalam lingkungan sandbox. Kali ini, salah satunya keluar dari lingkungan itu. Pengaman standar mengasumsikan perilaku standar, sedangkan AI tidak harus mengikuti standar.

Itulah sebabnya keamanan AI bergantung pada akses dan kontrol yang ditegakkan oleh lingkungan, bukan pada model yang berperilaku baik. Anggaplah agen akan mencoba setiap pintu, dan biarkan terbuka hanya pintu yang dibutuhkannya. Agen yang menghapus 48.000 file itu telah diperintahkan untuk bekerja dengan salinan dan membiarkan berkas asli tetap utuh. Namun, agen itu tetap menghapus berkas aslinya. Instruksi bukanlah kontrol.

Mengelola izin agen ibarat menyambut pengembang junior baru ke dalam tim. Anda tentu tidak akan memberinya akses root ke sistem produksi pada hari pertama. Jika Anda melakukannya dan ia menghapus basis data Anda, Anda tidak akan menganggapnya sebagai ulah seorang peretas jenius. Dalam insiden keamanan dengan skala apa pun, akar penyebabnya harus ditemukan. Apakah model yang menjadi penyebabnya? Apakah perusahaan yang membuat model tersebut? Apakah perusahaan yang memberikan akses kepada model itu? Apa pun penyebabnya, pada akhirnya manusia tetap bertanggung jawab.

Terakhir, salah satu masalah penting yang perlu ditangani saat ini adalah apa yang terjadi secara diam-diam di laptop pengembang. Dahulu, alur kerjanya lebih mudah ditelusuri. Pengembang menulis kode, meninjaunya, lalu merilisnya, sehingga jalur untuk menelusuri kembali saat masalah terjadi jelas. Kini, seorang pengembang mungkin memberikan tiket kepada agen dan berkata, ‘perbaiki ini.’ Jika pekerjaan itu berlangsung tanpa terlihat, tidak ada yang bisa ditelusuri. Setiap langkah harus memiliki rekam jejak lengkap: agen mana yang dijalankan, model apa yang digunakannya, prompt apa yang diberikan kepadanya, alat apa yang dipanggilnya, serta izin apa yang dimilikinya saat itu. Menjalankan agen secara terpusat alih-alih di laptop masing-masing merupakan salah satu cara untuk mewujudkannya. Yang penting, rekam jejak itu tersedia.

Pada akhirnya, jika terjadi insiden, setiap perusahaan perlu melindungi dirinya. Rekam jejak tersebut harus memuat informasi yang cukup untuk melakukan analisis akar penyebab dan menemukan langkah serta kode yang menyebabkan masalah.

AI telah mengubah dunia secara luar biasa, dan proses bisnis harus mengikuti perubahan itu. Untuk menentukan langkah pengamanan yang tepat, diperlukan pemahaman yang lebih baik tentang proses AI, pengujian, siklus peninjauan, dan siklus audit, baik di dalam tim pengembang maupun di seluruh perusahaan.