Paparan Keamanan Baru dari Adopsi GenAI Cepat yang Harus Ditangani Organisasi

Generative AI (GenAI) telah melesat dari sekadar rasa ingin tahu menjadi kekuatan sentral dalam teknologi perusahaan. Kemampuannya untuk menghasilkan teks, kode, gambar, dan wawasan sesuai permintaan telah menjadikannya sangat diperlukan bagi karyawan yang ingin mengatasi kompleksitas dan mempercepat produktivitas. Namun, inovasi dan efisiensi ini datang dengan paparan risiko yang sangat besar.

Dalam panggilan dengan para eksekutif dan pemimpin tata kelola AI di berbagai industri, satu tema muncul berulang kali: Keamanan data telah bergeser dari perhatian utama menjadi titik fokus strategi mereka dan kini menjadi tantangan penentu dalam adopsi AI. Tidak seperti perangkat lunak tradisional atau bahkan gelombang pembelajaran mesin sebelumnya, GenAI secara fundamental mengubah proses untuk mengamankan data dalam suatu organisasi.

Sebuah studi MIT baru-baru ini menemukan bahwa 95% pilot GenAI perusahaan gagal. Bukan karena teknologinya lemah; melainkan karena perusahaan kekurangan kerangka kerja tata kelola dan keamanan yang diperlukan untuk mengoperasionalkan GenAI secara tepat dan bertanggung jawab. Dalam studi MIT lainnya, para pemimpin perusahaan menyebutkan keamanan data sebagai risiko bisnis dan keamanan teratas yang menghambat adopsi AI yang lebih cepat. Selain itu, “shadow AI,” yaitu penggunaan alat publik oleh karyawan yang tidak disetujui, secara luas diakui sebagai pendorong melonjaknya risiko data di luar kendali perusahaan.

Akses hak istimewa minimum adalah model keamanan di mana setiap entitas, baik pengguna, program, atau proses, hanya diberikan tingkat akses dan izin minimum yang diperlukan untuk menjalankan fungsinya yang sah. Namun, GenAI membalikkan seluruh paradigma tersebut: Hak istimewa minimum itu sendiri menjadi kendala yang bertentangan dengan cara sistem ini dirancang untuk beroperasi. Hal ini karena alat GenAI perusahaan cenderung memberikan peningkatan produktivitas yang lebih tinggi ketika mereka memiliki akses ke lebih banyak data bisnis dan konteks bisnis.

Seiring dengan percepatan adopsi GenAI, pengguna terus menemukan aplikasi baru GenAI, yang sebagian besar muncul dari eksperimen organik dan rasa ingin tahu, bukan dari perencanaan top-down yang digerakkan oleh bisnis. Jika suatu entitas tidak dapat mendefinisikan tugas-tugas yang akan digunakan GenAI, atau jenis data yang perlu diaksesnya, maka menjadi tidak mungkin untuk menyiapkan izin akses hak istimewa minimum. Selain itu, seorang pengguna mungkin memiliki akses yang sesuai ke kumpulan data dan secara sah memberikannya sebagai masukan ke alat GenAI, tetapi begitu data itu diolah, data tersebut tidak lagi terikat oleh izin asli pengguna. Sebaliknya, data dapat diserap ke dalam model, muncul dalam output di masa depan, atau dapat diakses oleh orang lain yang menggunakan alat yang sama. Karena GenAI tidak selalu mewarisi kontrol akses data, hal ini secara efektif membuat hak istimewa minimum tidak dapat diberlakukan.

Paparan GenAI yang Perlu Dipertimbangkan

GenAI menciptakan permukaan data yang luas dan terus berkembang, mempersulit tata kelola dan keamanan data perusahaan dalam beberapa cara yang saling terkait. Ini termasuk:

Kebocoran Input – GenAI dapat mengolah data dalam bentuk mentahnya, termasuk teks, gambar, audio, video, dan data terstruktur. Pengguna akhir kini dapat mengarahkan alat GenAI ke kumpulan data baru dengan upaya atau keahlian minimal. Alih-alih terbatas pada tabel terstruktur yang dikurasi dengan hati-hati dengan skema dan hubungan yang terdefinisi, kumpulan data ini dapat mencakup rekaman panggilan penjualan, catatan email CRM, transkrip layanan pelanggan, dan lainnya. Dalam praktiknya, karyawan memberikan perintah dengan informasi bisnis yang sangat sensitif, termasuk PII pelanggan, kekayaan intelektual, perkiraan keuangan, dan bahkan kode sumber.

Paparan Output – Model generatif tidak hanya mengonsumsi, tetapi juga mensintesis. Sebuah perintah dapat secara tidak sengaja menarik wawasan dari berbagai kumpulan data dan memaparkannya kepada pengguna tanpa izin yang tepat. Dalam beberapa kasus, output bahkan dapat “berhalusinasi” data yang tampak sah tetapi mengandung fragmen materi pelatihan nyata yang sangat sensitif.

Alat GenAI berkinerja lebih baik ketika mereka memiliki konteks untuk tugas yang dihadapi. Akibatnya, tidak hanya GenAI mengolah informasi yang ada, tetapi pengguna juga membuat data baru untuk membimbingnya dalam bentuk perintah yang ekstensif dan terperinci yang mendokumentasikan konteks bisnis, proses internal, dan informasi sensitif atau penting bisnis lainnya yang berpotensi sensitif.

Aksesibilitas Tanpa Pengawasan – Sistem perusahaan tradisional memerlukan onboarding vendor dan penyediaan TI. Saat ini GenAI tertanam di mana-mana—di suite Microsoft Office, browser, alat obrolan, dan platform SaaS. Karyawan dapat mengadopsinya secara instan, sepenuhnya melewati tata kelola. Akses tanpa gesekan ini memicu “shadow AI,” dan setiap penggunaan GenAI yang tidak disetujui adalah peristiwa eksfiltrasi data potensial yang terjadi secara tak terlihat, dalam skala besar, dan di luar perimeter tata kelola perusahaan.

Risiko Rantai Pasok Tingkat Kedua – Sebuah vendor mungkin tampak aman, tetapi mereka sering mengandalkan subkontraktor seperti host cloud, layanan anotasi, atau lab AI pihak ketiga. Masing-masing memperkenalkan perjanjian lisensi pengguna akhir (EULA) dan kebijakannya sendiri. Data perusahaan yang sensitif dapat bergerak melalui banyak tangan tak terlihat, namun akuntabilitas tetap sepenuhnya berada pada perusahaan. Misalnya, sebuah perusahaan mungkin memiliki vendor yang sebelumnya telah menyelesaikan proses onboarding-nya, tetapi vendor tersebut sekarang menggunakan alat GenAI yang dapat memungkinkan data perusahaan digunakan sebagai data pelatihan, dengan dampak hilir yang signifikan.

Kesenjangan Tata Kelola dalam Data Pelatihan – Begitu data memasuki model AI, kontrol secara efektif berakhir. Perusahaan tidak dapat dengan mudah menarik atau mengatur bagaimana informasi mereka digunakan. Pengetahuan proprietary dapat bertahan dan kemudian muncul dalam output lama setelah sumbernya dilupakan. Kami belum menemukan alat GenAI apa pun yang mengizinkan permintaan untuk menghapus informasi yang telah diolahnya, mirip dengan yang terlihat dalam regulasi privasi seperti General Data Protection Regulation (GDPR) atau California Consumer Privacy Act (CCPA). Penerapan proses seperti itu tidak mungkin terjadi sampai regulasi mendorong perubahan.

Risiko Kode Aplikasi – AI semakin banyak menulis kode yang mendasari sistem bisnis. Pengembang yang menggunakan alat GenAI seperti Microsoft Copilot untuk menghasilkan kode mungkin tanpa sadar memperkenalkan ketergantungan yang tidak aman, menyebarkan kerentanan, atau menyematkan kode di bawah lisensi open-source yang bertentangan. Setelah diterapkan, kelemahan ini tertanam dalam rantai pasok perangkat lunak.

Menangani Risiko GenAI

GenAI sudah tertanam dalam alur kerja perusahaan, jadi pertanyaan bagi perusahaan bukanlah apakah akan mengadopsinya tetapi bagaimana melakukannya secara bertanggung jawab. Mengadopsi GenAI tanpa tata kelola berisiko menyebabkan pelanggaran yang mahal, sanksi regulasi, dan kerusakan reputasi. Namun memblokirnya hanya akan mendorong karyawan untuk menggunakan solusi yang tidak disetujui. Satu-satunya jalan ke depan adalah pemberdayaan yang dibungkus dengan visibilitas dan kontrol.

Tata kelola GenAI memerlukan visibilitas berbasis konteks tidak hanya pada data apa yang dimiliki perusahaan, di mana letaknya, dan siapa yang memiliki akses ke sana, tetapi juga pada bagaimana GenAI digunakan. Perusahaan perlu melihat alat mana yang diakses, perintah apa yang dimasukkan, dan apakah data sensitif meninggalkan lingkungan mereka. Dari sana, mereka dapat menerapkan kontrol yang sesuai untuk memantau perintah dan output secara real time, menandai sesi berisiko atau aliran data yang tidak normal, memblokir alat yang tidak disetujui, menyaring perintah sensitif sebelum meninggalkan lingkungan, mende-identifikasi data sensitif saat dimasukkan ke dalam perintah, dan menegakkan pembatasan berbasis peran pada wawasan yang digerakkan oleh AI.

GenAI adalah lapisan baru seluruhnya dari risiko dan peluang perusahaan. Mengelolanya memerlukan pola pikir bahwa keamanan bukanlah rem pada inovasi tetapi fondasi yang membuatnya aman.