Paparan Keamanan Baru dari Adopsi GenAI yang Cepat yang Harus Ditangani Organisasi

Kecerdasan Buatan (AI) Generatif (GenAI) telah melompat dari sekedar keingintahuan menjadi kekuatan sentral dalam teknologi perusahaan. Kemampuannya untuk menghasilkan teks, kode, gambar, dan wawasan pada permintaan telah membuatnya tidak tergantikan bagi karyawan yang ingin memotong kompleksitas dan mempercepat produktivitas. Namun, bersama dengan inovasi dan efisiensi ini datanglah paparan risiko yang masif.

Dalam panggilan dengan eksekutif dan pemimpin tata kelola AI di seluruh industri, satu tema muncul berulang kali: Keamanan data telah bergeser dari kekhawatiran utama menjadi fokus strategi dan sekarang menjadi tantangan utama adopsi AI. Tidak seperti perangkat lunak tradisional atau bahkan gelombang machine learning sebelumnya, GenAI secara fundamental mengubah proses untuk mengamankan data dalam sebuah organisasi.

Sebuah studi MIT baru-baru ini menemukan bahwa 95% pilot GenAI perusahaan gagal. Ini tidak karena teknologinya lemah; ini karena perusahaan kekurangan tata kelola dan kerangka keamanan yang dibutuhkan untuk mengoperasikan GenAI secara tepat dan bertanggung jawab. Dalam sebuah studi MIT lainnya, pemimpin perusahaan menyebutkan keamanan data sebagai risiko bisnis dan keamanan teratas yang menghambat adopsi AI yang lebih cepat. Selain itu, “bayangan AI,” yang merupakan penggunaan tidak sah oleh karyawan dari alat publik, secara luas diakui sebagai pendorong risiko data yang melambung di luar kendali perusahaan.

Akses dengan hak istimewa yang minimal adalah model keamanan di mana setiap entitas, apakah itu pengguna, program, atau proses, diberikan hanya tingkat akses dan izin minimum yang diperlukan untuk melakukan fungsinya yang sah. GenAI, bagaimanapun, membalikkan seluruh paradigma: Hak istimewa yang minimal itu sendiri menjadi kendala yang bertentangan dengan cara sistem ini dirancang untuk beroperasi. Ini karena alat GenAI perusahaan cenderung memberikan peningkatan produktivitas yang lebih tinggi ketika mereka memiliki akses ke lebih banyak data bisnis dan konteks bisnis.

Ketika adopsi GenAI mempercepat, pengguna terus menemukan aplikasi baru dari GenAI, sebagian besar muncul dari eksperimen organik dan rasa ingin tahu, bukan perencanaan bisnis yang terstruktur dari atas. Jika sebuah entitas tidak dapat mendefinisikan tugas apa yang akan digunakan GenAI, atau jenis data apa yang dibutuhkan, maka menjadi tidak mungkin untuk mengatur izin akses dengan hak istimewa yang minimal. Selain itu, seorang pengguna mungkin memiliki akses yang tepat ke sebuah dataset dan secara sah memberikannya sebagai input ke alat GenAI, tetapi setelah data itu diingest, maka data itu tidak lagi terikat oleh izin asli pengguna. Sebaliknya, data itu dapat diserap ke dalam model, ditampilkan dalam output di masa depan, atau diakses oleh orang lain yang menggunakan alat yang sama. Karena GenAI tidak selalu mewarisi kontrol akses data, maka secara efektif membuat hak istimewa yang minimal tidak dapat diterapkan.

Paparan GenAI yang Perlu Dipertimbangkan

GenAI menciptakan permukaan data yang luas dan terus berkembang, mempersulit tata kelola dan keamanan data perusahaan dengan beberapa cara yang saling terkait. Ini termasuk:

Kecebocoran Input – GenAI dapat mengingest data dalam bentuk mentah, termasuk teks, gambar, audio, video, dan data terstruktur. Pengguna akhir sekarang dapat mengarahkan alat GenAI ke dataset baru dengan sedikit usaha atau keahlian. Sebaliknya, daripada terbatas pada tabel terstruktur dengan skema dan hubungan yang ditentukan, dataset ini mungkin termasuk catatan panggilan penjualan, catatan email CRM, transkrip layanan pelanggan, dan lain-lain. Dalam prakteknya, karyawan memberi prompt dengan informasi bisnis yang sangat sensitif, termasuk PII pelanggan, kekayaan intelektual, prakiraan keuangan, dan bahkan kode sumber.

Paparan Output – Model generatif tidak hanya mengonsumsi, tetapi juga mensintesis. Sebuah prompt dapat secara tidak sengaja menarik wawasan dari berbagai dataset dan memaparkannya kepada pengguna tanpa izin yang tepat. Dalam beberapa kasus, output bahkan dapat “mengalami halusinasi” data yang tampaknya sah tetapi mengandung fragmen dari bahan pelatihan yang sangat sensitif.

Alat GenAI berfungsi lebih baik ketika mereka memiliki konteks untuk tugas yang sedang dikerjakan. Sebagai hasilnya, tidak hanya GenAI mengingest informasi yang ada, tetapi pengguna juga menciptakan data baru untuk memandu dalam bentuk prompt yang sangat detail yang mendokumentasikan konteks bisnis, proses internal, dan informasi sensitif atau kritis bisnis lainnya.

Akses tanpa Pengawasan – Sistem perusahaan tradisional memerlukan pendaftaran vendor dan penyediaan IT. Hari ini GenAI tertanam di mana-mana—di suite Microsoft Office, browser, alat obrolan, dan platform SaaS. Karyawan dapat mengadopsinya secara instan, melewati tata kelola sepenuhnya. Akses tanpa gesekan ini memicu “bayangan AI,” dan setiap penggunaan tidak sah GenAI adalah potensi peristiwa eksfiltrasi data yang terjadi secara tidak terlihat, dalam skala besar, dan di luar batas tata kelola perusahaan.

Risiko Rantai Pasokan Tingkat Kedua – Sebuah vendor mungkin tampak aman, tetapi mereka sering bergantung pada subcontractor seperti penyedia cloud, layanan anotasi, atau laboratorium AI pihak ketiga. Masing-masing memperkenalkan perjanjian lisensi pengguna akhir (EULA) dan kebijakan mereka sendiri. Data perusahaan yang sensitif dapat bergeser melalui banyak tangan yang tidak terlihat, tetapi akuntabilitas tetap sepenuhnya pada perusahaan. Sebagai contoh, sebuah perusahaan mungkin memiliki vendor yang sebelumnya menyelesaikan proses pendaftaran, tetapi vendor itu sekarang menggunakan alat GenAI yang dapat memungkinkan data perusahaan untuk digunakan sebagai data pelatihan, dengan dampak yang signifikan di hilir.

Celah Tata Kelola dalam Data Pelatihan – Setelah data memasuki model AI, kontrol efektif berakhir. Perusahaan tidak dapat dengan mudah menarik kembali atau mengatur bagaimana informasi mereka digunakan. Pengetahuan proprietary mungkin bertahan dan kemudian muncul dalam output jauh setelah sumber aslinya telah dilupakan. Kami belum pernah menemukan alat GenAI yang memungkinkan permintaan untuk menghapus informasi yang telah diingest, serupa dengan yang terlihat dalam peraturan privasi seperti General Data Protection Regulation (GDPR) atau California Consumer Privacy Act (CCPA). Implementasi proses seperti itu tidak mungkin sampai peraturan memicu perubahan.

Risiko Kode Aplikasi – AI semakin banyak menulis kode yang mendasari sistem bisnis. Pengembang yang menggunakan alat GenAI seperti Microsoft Copilot untuk menghasilkan kode mungkin tanpa sengaja memperkenalkan ketergantungan yang tidak aman, memperbanyak kerentanan, atau menyematkan kode di bawah lisensi sumber terbuka yang bertentangan. Setelah diterapkan, kelemahan ini menjadi tertanam dalam rantai pasokan perangkat lunak.

Mengatasi Risiko GenAI

GenAI sudah tertanam dalam alur kerja perusahaan, sehingga pertanyaan bagi perusahaan bukanlah apakah untuk mengadopsinya, tetapi bagaimana melakukannya dengan bertanggung jawab. Mengadopsi GenAI tanpa tata kelola berisiko mengalami pelanggaran yang mahal, penalti peraturan, dan kerusakan reputasi. Namun, memblokirnya hanya mendorong karyawan untuk menggunakan solusi tidak sah. Satu-satunya cara maju adalah dengan memberdayakan dengan visibilitas dan kontrol.

Tata kelola GenAI memerlukan visibilitas yang didorong konteks tidak hanya ke dalam apa yang dimiliki perusahaan, di mana data itu tinggal, dan siapa yang memiliki akses ke sana, tetapi juga ke dalam bagaimana GenAI digunakan. Perusahaan perlu melihat alat mana yang diakses, prompt apa yang dimasukkan, dan apakah data sensitif meninggalkan lingkungan mereka. Dari sana, mereka dapat menerapkan kontrol yang tepat untuk memantau prompt dan output secara real-time, menandai sesi berisiko atau aliran data anomali, memblokir alat tidak sah, menyaring prompt sensitif sebelum mereka meninggalkan, mengidentifikasi data sensitif saat dimasukkan ke dalam prompt, dan menerapkan pembatasan berbasis peran pada wawasan yang didorong AI.

GenAI adalah lapisan baru risiko dan peluang perusahaan. Mengelolanya memerlukan pola pikir bahwa keamanan bukanlah pengereman inovasi, tetapi fondasi yang membuatnya aman.