Dari Alat ke Insider: Munculnya Identitas AI Otonom di Organisasi

AI telah memberikan dampak signifikan pada operasi setiap industri, menghasilkan hasil yang lebih baik, meningkatkan produktivitas, dan mencapai hasil luar biasa. Organisasi saat ini mengandalkan model AI untuk mendapatkan keunggulan kompetitif, membuat keputusan yang tepat, dan menganalisis serta merencanakan upaya bisnis mereka. Dari manajemen produk hingga penjualan, organisasi menggunakaan model AI di setiap departemen, menyesuaikannya untuk mencapai tujuan dan sasaran tertentu.

AI tidak lagi hanya menjadi alat tambahan dalam operasi bisnis; itu telah menjadi bagian integral dari strategi dan infrastruktur organisasi. Namun, ketika adopsi AI tumbuh, sebuah tantangan baru muncul: Bagaimana kita mengelola entitas AI dalam kerangka identitas organisasi?

AI sebagai identitas organisasi yang berbeda 

Konsep model AI memiliki identitas unik dalam organisasi telah berkembang dari konsep teoretis menjadi kebutuhan. Organisasi mulai menetapkan peran dan tanggung jawab khusus kepada model AI, memberikan mereka izin seperti halnya mereka memberikan izin kepada karyawan manusia. Model ini dapat mengakses data sensitif, menjalankan tugas, dan membuat keputusan secara otonom.

Dengan model AI dianggap sebagai identitas yang berbeda, mereka pada dasarnya menjadi rekan digital karyawan. Sama seperti karyawan memiliki kontrol akses berbasis peran, model AI dapat diberi izin untuk berinteraksi dengan berbagai sistem. Namun, perluasan peran AI juga meningkatkan permukaan serangan, memperkenalkan kategori ancaman keamanan baru.

Bahaya identitas AI otonom di organisasi

Sementara identitas AI telah memberikan manfaat bagi organisasi, mereka juga menimbulkan beberapa tantangan, termasuk:

• Pengacauan model AI: Aktor ancaman jahat dapat memanipulasi model AI dengan menyuntikkan data yang bias atau acak, menyebabkan model tersebut menghasilkan hasil yang tidak akurat. Ini memiliki dampak signifikan pada aplikasi keuangan, keamanan, dan kesehatan.
• Ancaman dari dalam oleh AI: Jika sistem AI dikompromikan, itu dapat bertindak sebagai ancaman dari dalam, baik karena kerentanan yang tidak disengaja atau manipulasi lawan. Tidak seperti ancaman dari dalam yang melibatkan karyawan manusia, ancaman dari dalam yang berbasis AI lebih sulit dideteksi, karena mereka mungkin beroperasi dalam cakupan izin yang ditetapkan.
• AI mengembangkan “kepribadian” unik: Model AI, yang dilatih pada dataset dan kerangka kerja yang beragam, dapat berkembang dengan cara yang tidak terduga. Meskipun mereka tidak memiliki kesadaran sebenarnya, pola pengambilan keputusan mereka mungkin menyimpang dari perilaku yang diharapkan. Misalnya, model AI keamanan dapat mulai salah mengidentifikasi transaksi yang sah sebagai penipuan atau sebaliknya ketika terkena data pelatihan yang menyesatkan.
• Pengkompromian AI yang menyebabkan pencurian identitas: Sama seperti kredensial yang dicuri dapat memberikan akses tidak sah, identitas AI yang dicuri dapat digunakan untuk melewati langkah-langkah keamanan. Ketika sistem AI dengan akses istimewa dikompromikan, penyerang mendapatkan alat yang sangat kuat yang dapat beroperasi di bawah kredensial yang sah.

Mengelola identitas AI: Menerapkan prinsip-prinsip tata kelola identitas manusia 

Untuk memitigasi risiko ini, organisasi harus memikirkan kembali bagaimana mereka mengelola model AI dalam kerangka identitas dan akses mereka. Strategi berikut dapat membantu:

• Manajemen identitas AI berbasis peran: Perlakukan model AI seperti karyawan dengan menetapkan kontrol akses yang ketat, memastikan mereka hanya memiliki izin yang diperlukan untuk melakukan tugas tertentu.
• Pemantauan perilaku: Implementasikan alat pemantauan yang didorong oleh AI untuk melacak aktivitas AI. Jika model AI mulai menampilkan perilaku di luar parameter yang diharapkan, peringatan harus dipicu.
• Arsitektur Zero Trust untuk AI: Sama seperti pengguna manusia memerlukan autentikasi pada setiap langkah, model AI harus terus diverifikasi untuk memastikan mereka beroperasi dalam cakupan yang sah.
• Pencabutan dan pemantauan identitas AI: Organisasi harus menetapkan prosedur untuk mencabut atau memodifikasi izin akses AI secara dinamis, terutama sebagai respons terhadap perilaku yang mencurigakan.

Menganalisis efek cobra yang mungkin terjadi

Terkadang, solusi untuk sebuah masalah hanya membuat masalah itu lebih buruk, situasi yang secara historis digambarkan sebagai efek cobra—juga disebut insentif yang menyimpang. Dalam hal ini, sementara onboard identitas AI ke dalam sistem direktori memang menyelesaikan tantangan pengelolaan identitas AI, itu juga dapat menyebabkan model AI belajar tentang sistem direktori dan fungsinya.

Dalam jangka panjang, model AI dapat menampilkan perilaku yang tidak berbahaya sementara tetap rentan terhadap serangan atau bahkan mengekstrak data sebagai respons terhadap prompt yang jahat. Ini menciptakan efek cobra, di mana upaya untuk mengontrol identitas AI malah memungkinkan mereka untuk belajar tentang kontrol direktori, akhirnya mengarah ke situasi di mana identitas tersebut menjadi tidak terkendali.

Misalnya, model AI yang terintegrasi ke dalam sistem SOC otonom organisasi dapat menganalisis pola akses dan menyimpulkan hak akses yang diperlukan untuk mengakses sumber daya kritis. Jika langkah-langkah keamanan yang tepat tidak di tempat, sistem seperti itu mungkin dapat memodifikasi kebijakan grup atau mengeksploitasi akun yang tidak aktif untuk mendapatkan kontrol tidak sah atas sistem.

Mengimbangkan kecerdasan dan kontrol

Pada akhirnya, sulit untuk menentukan bagaimana adopsi AI akan mempengaruhi postur keamanan organisasi secara keseluruhan. Ketidakpastian ini timbul terutama dari skala di mana model AI dapat belajar, beradaptasi, dan bertindak, tergantung pada data yang mereka konsumsi. Pada dasarnya, model menjadi apa yang mereka konsumsi.

Sementara pembelajaran yang diawasi memungkinkan pelatihan yang terkendali dan terarah, itu dapat membatasi kemampuan model untuk beradaptasi dengan lingkungan yang dinamis, potensial membuatnya kaku atau usang dalam konteks operasional yang berkembang.

Sebaliknya, pembelajaran tidak diawasi memberikan model lebih banyak otonomi, meningkatkan kemungkinan bahwa mereka akan mengeksplorasi dataset yang beragam, potensial termasuk yang di luar cakupan yang dimaksudkan. Ini bisa mempengaruhi perilakunya dengan cara yang tidak diinginkan atau tidak aman.

Tantangan, maka, adalah untuk mengimbangkan paradoks ini: membatasi sistem yang secara inheren tidak terbatas. Tujuan adalah untuk merancang identitas AI yang fungsional dan adaptif tanpa sepenuhnya tidak terbatas, diberdayakan, tetapi tidak tidak terkendali.

Masa depan: AI dengan otonomi terbatas? 

Mengingat ketergantungan yang semakin meningkat pada AI, organisasi perlu mengenakan pembatasan pada otonomi AI. Sementara kemandirian penuh untuk entitas AI tidak mungkin dalam waktu dekat, otonomi yang terkendali, di mana model AI beroperasi dalam cakupan yang telah ditetapkan sebelumnya, mungkin menjadi standar. Pendekatan ini memastikan bahwa AI meningkatkan efisiensi sambil meminimalkan risiko keamanan yang tidak terduga.

Tidak akan mengejutkan jika otoritas pengatur menetapkan standar kepatuhan khusus yang mengatur bagaimana organisasi menggunakaan model AI. Fokus utama akan—dan harus—terletak pada privasi data, terutama untuk organisasi yang menangani informasi pribadi yang sensitif dan kritis (PII).

Meskipun skenario ini mungkin tampak spekulatif, mereka jauh dari tidak mungkin. Organisasi harus proaktif mengatasi tantangan ini sebelum AI menjadi baik aset dan liabilitas dalam ekosistem digital mereka. Ketika AI berkembang menjadi identitas operasional, mengamankannya harus menjadi prioritas utama.