Pemimpin pemikiran

Risiko Tersembunyi dari Shadow AI

mm
Tambahkan Unite.AI ke sumber pilihan Anda di Google

Sebagian besar tim perusahaan tidak merencanakan AI untuk mengambil alih alur kerja mereka. Ini dimulai dengan alat sederhana yang menjanjikan penulisan yang lebih cepat, pertemuan yang lebih lancar, dan wawasan pelanggan yang lebih baik. Karyawan menginstal asisten AI di browser mereka, menghubungkannya dengan email, menambahkannya ke Zoom dan bereksperimen dengan Slack dan Google Workspace.

Namun, percobaan awal tersebut bergerak lebih cepat daripada kontrol perusahaan dan menyebar di seluruh sistem SaaS yang menjalankan perusahaan secara keseluruhan hingga AI menjadi bagian dari pekerjaan sehari-hari. Dan itulah tepatnya bagaimana shadow AI, salah satu risiko yang paling kurang dihargai di perusahaan modern saat ini, muncul. Ini tumbuh di dalam sebagian besar organisasi jauh sebelum pemimpin mengakui seberapa dalamnya terkait dengan data sensitif.

Shadow AI mengacu pada alat AI yang beroperasi di dalam sebuah organisasi tanpa persetujuan, tanpa visibilitas dan seringkali tanpa batasan. Setelah alat-alat ini terintegrasi langsung dengan platform seperti Salesforce, Zoom, atau Microsoft 365, mereka mendapatkan akses ke informasi yang pemimpin anggap aman. Bahaya ini sudah menunjukkan diri dalam kegagalan kepatuhan, aliran data yang tidak dipantau, dan insiden di mana agen AI mengambil tindakan yang tidak diharapkan.

Kami telah menghabiskan tahun-tahun bekerja dengan perusahaan yang percaya mereka memiliki program keamanan yang kuat. Namun, ketika kami membantu mereka menyelidiki lingkungan SaaS mereka, mereka menemukan ratusan koneksi AI aktif yang tidak mereka otorisasi. Beberapa koneksi ini telah aktif selama berbulan-bulan, sementara yang lain milik karyawan yang telah meninggalkan perusahaan. Shadow AI tumbuh diam-diam karena bergerak lebih cepat daripada tata kelola dan lebih cepat daripada sebagian besar organisasi yang siap untuk mendeteksi.

Pipa Data yang Tidak Terlihat

Cerita ini sering dimulai dengan niat baik: seorang wakil penjualan yang ingin menulis email yang lebih baik, atau seorang manajer keberhasilan pelanggan yang ingin transkrip pertemuan penting, atau seorang insinyur yang ingin cara yang lebih cepat untuk meninjau kode. Alat AI membuat tugas-tugas ini menjadi mudah, sehingga karyawan mengadopsinya dengan cepat. Namun, adopsi hanya langkah pertama.

Banyak alat ini meminta izin yang luas melalui OAuth, ekstensi browser atau kunci API. Setelah diberikan, mereka mendapatkan akses ke catatan CRM, catatan pelanggan, pesan internal atau kode sumber rahasia.

Kami telah melihat apa yang terjadi selanjutnya. Dalam satu kasus, tim menemukan bahwa asisten AI yang terhubung ke Salesforce telah menghasilkan lebih dari empat ratus laporan dalam satu akhir pekan. Awalnya, semua orang menganggap itu sebagai kesalahan sistem. Namun, AI tersebut mendapatkan akses yang luas. Ini mulai mengotomatisasi tugas dengan skala yang tidak pernah dicoba oleh analis manusia. Prakiraan penjualan yang sensitif dan informasi pelanggan muncul di tempat-tempat yang seharusnya tidak ada, hanya karena alat AI memutuskan untuk bertindak.

Organisasi lain mengirimkan layanan transkripsi AI untuk membantu tim yang berhadapan dengan pelanggan. Ini merekam setiap pertemuan dan mengumpulkan detail tentang harga, masalah pelanggan, rencana yang akan datang dan wawasan kompetitif. Semua informasi tersebut langsung masuk ke sistem pihak ketiga tanpa perjanjian dan tanpa visibilitas tentang bagaimana data disimpan atau digunakan. Situasi seperti ini menjadi lebih umum karena alat AI berperilaku sangat berbeda dari perangkat lunak tradisional. Ini membaca lebih banyak data dan bergerak lebih cepat, dan seringkali bertindak tanpa batasan yang jelas.

Seiring dengan percepatan adopsi AI, permukaan serangan akan terus melebar. Munculnya Protokol Konteks Model, khususnya, membuat AI lebih kuat dengan memungkinkan agen berinteraksi langsung dengan data perusahaan. Sayangnya, kenyamanan itu juga membuka pintu baru untuk serangan rantai pasokan dan eskalasi privilegi.

Eksekutif harus memahami bahwa AI modern tidak sesuai dengan model keamanan lama yang masih digunakan perusahaan, karena alat AI ini hidup di dalam sistem, bukan di tepi, yang membuatnya jauh lebih sulit untuk ditemukan dan dikelola.

Batasan Alat Keamanan Tradisional

Sebagian besar program keamanan dibangun untuk dunia di mana aplikasi hidup di dalam jaringan perusahaan dan pengguna terhubung melalui pola yang dapat diprediksi. Namun, AI telah menghancurkan model ini. Alat modern hidup di dalam platform SaaS, bukan di server perusahaan. Mereka berkomunikasi melalui API, bukan jaringan. Mereka membaca dan menulis data terus-menerus, dan mereka berperilaku dengan cara yang sistem pemantauan warisan tidak dapat interpretasikan.

Pengalaman kami menunjukkan bahwa organisasi sering memandang rendah seberapa banyak alat AI yang ada di lingkungan mereka. Banyak yang tidak tahu integrasi mana yang aktif atau berapa lama izin tersebut telah ada. Yang lain menganggap bahwa single sign-on atau aturan firewall cukup untuk menjaga mereka aman. Mereka tidak. Shadow AI berkembang di sistem identitas, lapisan izin, dan integrasi pihak ketiga yang tim keamanan jarang tinjau. Ini bersembunyi di tempat-tempat yang perusahaan tidak lihat dan di alat yang karyawan pasang karena mereka ingin bergerak lebih cepat.

Pergeseran menuju AI tertanam membuat pekerjaan ini semakin sulit. Platform seperti Microsoft 365, Google Workspace, Slack, dan Salesforce sekarang dikirim dengan kemampuan AI bawaan. Beberapa diaktifkan secara default. Yang lain dapat diaktifkan dengan satu klik. Organisasi mungkin sudah menggunakan fitur AI tanpa menyadari data apa yang dikonsumsi oleh fitur-fitur tersebut atau bagaimana sistem menyimpan outputnya. Risiko datang tidak hanya dari apa yang ditambahkan karyawan, tetapi juga dari apa yang diperkenalkan vendor.

Mengambil Kembali Kontrol

Shadow AI seharusnya tidak dianggap sebagai kegagalan karyawan. Sebaliknya, ini adalah hasil alami dari kemajuan teknis yang cepat dan pemimpin memerlukan visibilitas, bukan kesalahan. Langkah pertama adalah menganggap shadow AI ada dan mulai memetakan di mana AI sudah berinteraksi dengan sistem kritis. Langkah kedua adalah menciptakan set alat AI yang disetujui sehingga tim dapat berinovasi dengan aman. Memblokir AI tidak realistis dan menyediakan opsi yang aman adalah satu-satunya jalur yang berkelanjutan.

Pengawasan waktu nyata juga sangat penting. Tinjauan triwulanan tidak dapat mengikuti alat yang dapat mengekstrak data dalam hitungan jam. Organisasi memerlukan wawasan terus-menerus tentang agen AI mana yang aktif, izin apa yang mereka pegang, dan apakah izin tersebut sesuai dengan akses yang paling sedikit. Ketika kami bekerja dengan tim eksekutif, kami mendorong mereka untuk mengajukan pertanyaan langsung: alat apa yang mengakses sistem pelanggan, alat apa yang terhubung ke lingkungan produksi, dan alat apa yang tetap aktif setelah pengguna keluar?

Kami telah melihat organisasi mengubah kebingungan menjadi kejelasan. Setelah pemimpin melihat di mana AI beroperasi di dalam sistem mereka, mereka dapat menempatkan batasan yang tepat dan membiarkan tim menggunakan AI dengan aman. Itulah saat AI berhenti menjadi risiko dan mulai menjadi keuntungan nyata.

Shadow AI bukanlah sesuatu yang akan datang di masa depan. Ini sudah ada. Namun, organisasi yang menangani ini sebelum tumbuh menjadi krisis akan memimpin era AI.

Ofer Klein adalah Co-founder & CEO dari Reco. Ofer adalah mantan pilot Israel dan seorang wirausaha serial dengan pengalaman luas dalam membangun dan mengembangkan tim GTM dengan perusahaan SaaS di AS. Ia bersemangat untuk memimpin solusi untuk tenaga kerja terdistribusi.