Pemimpin pemikiran

Bagaimana Perusahaan Harus Mengatasi Kebutuhan Aplikasi AI yang Berlebihan?

mm
Tambahkan Unite.AI ke sumber pilihan Anda di Google

Komputasi Tidak Terlalu Pribadi

Selama bertahun-tahun, pengembangan teknologi telah didorong oleh keinginan untuk membuat komputasi lebih mudah diakses. Dari smartphone hingga tablet, laptop, dan teknologi wearable, ada tren umum membuat komputer dan kemampuannya semakin pribadi. Cukup pertimbangkan nomenklatur dari tonggak industri: “Komputer Pribadi,” atau PC; “i” Pod, Pad, Phone, dan seterusnya. Setiap perangkat ini dimaksudkan untuk berfungsi sebagai teman pribadi, membantu mengalirkan pengalaman digital pengguna, dan dengan demikian, kehidupan mereka.

Pengembangan kecerdasan buatan (AI) – terutama model bahasa besar (LLM) dan solusi agen – sebagian besar menuju arah yang sama. Seperti PC dan iPhone, alat AI seperti ChatGPT telah membuat kegiatan komputasi seperti pencarian, pengeditan, dan brainstorming lebih mudah diakses oleh masyarakat umum. Namun, karena aksesibilitas ini telah memicu peningkatan penggunaan, juga telah meningkatkan risiko.

Baik melalui penghubung yang teracuni atau pengindeksan mesin pencari yang tidak disengaja, ancaman terhadap penggunaan AI pribadi menjadi semakin sulit untuk dilindungi. Tambahkan ketidakpastian seputar siapa yang menggunakan alat mana, dan perusahaan menghadapi badai ancaman yang berkembang dan perlindungan yang tidak memadai. Mengingat janji alat AI dan ketidakpastian tentang bagaimana melindunginya, apa yang harus dilakukan oleh perusahaan yang berorientasi teknologi?

Pertumbuhan Aplikasi AI Tidak Resmi

Dengan lebih dari 700 juta pengguna harian pada 2025, penggunaan ChatGPT telah tumbuh lebih dari 4x dari tahun ke tahun. Meskipun demikian, hanya lima juta dari pengguna ini yang merupakan pelanggan bisnis yang membayar. Ini membuat sekitar 695 juta pengguna lainnya sebagai pengguna pribadi atau bisnis tidak resmi. Angka ini tampak besar sampai Anda ingat bahwa ChatGPT bukanlah satu-satunya solusi AI di pasar. Faktanya, jauh dari itu – ledakan kontemporer AI dan kemajuan pembelajaran mesin telah menghasilkan ratusan ribu model dan solusi baru, baik publik maupun pribadi.

Bagi perusahaan, pertumbuhan eksponensial solusi AI telah memunculkan dimensi baru dari lanskap ancaman siber yang dikenal sebagai “Bayangan AI.” Seperti fenomena “Bayangan IT,” konsep ini berdasar pada penggunaan karyawan solusi AI tanpa verifikasi dan persetujuan sebelumnya dari organisasi mereka. Ini sepenuhnya melewati semua pengawasan keamanan dan IT, mengarah pada skenario di mana karyawan dapat menggunakan solusi yang berpotensi berbahaya atau tidak aman untuk pekerjaan sensitif.

Penggunaan Bayangan AI sangat umum dan berkembang. Salah satu laporan menemukan bahwa lebih dari 320 aplikasi AI tidak resmi digunakan rata-rata per perusahaan. Setiap aplikasi tidak resmi ini, dan penggunaannya oleh karyawan, memperluas lanskap ancaman lebih lanjut.

Risiko Intrinsik dari Kebutuhan AI yang Berlebihan

Ancaman yang terkait dengan kebutuhan AI yang berlebihan bersifat multifaset dan, sayangnya, terus berkembang. Beberapa, seperti pencemaran data, penyuntikan prompt, manipulasi model, dan pengambilan data, sudah umum diketahui. Upaya langsung untuk memanipulasi dan mengeksploitasi AI ini dapat memungkinkan aktor jahat untuk mengakses data perusahaan yang sensitif dan sistem internal. Mengingat risiko ini, perusahaan mulai secara aktif melindungi diri terhadap serangan tersebut.

Namun, perusahaan hanya dapat melindungi diri terhadap ancaman yang mereka ketahui. Bayangkan melindungi kastil abad pertengahan. Tembok, menara pengawal, gerbang, parit, dan lain-lain membantu melindungi kastil dari musuh luar dan penyerang. Tapi apa jika staf dapur memiliki jalur rahasia yang melewati tembok luar? Atau penjaga yang berbicara keras tentang perubahan shift di tavern setempat? Setiap ancaman tidak diketahui ini bisa membantu pencuri untuk melewati keamanan dan merusak dinding dalam.

Bayangan AI memiliki efek yang sama pada keamanan data perusahaan. Bahkan penggunaan LLM tidak resmi yang dilakukan dengan niat baik dapat membawa bencana bagi perlindungan data sensitif, karena setiap solusi yang tidak aman dapat berfungsi sebagai gerbang bagi aktor jahat. Setiap penggunaan LLM secara inheren meningkatkan risiko masalah seperti retensi data, penyuntikan prompt, atau bias model, masing-masing memerlukan langkah-langkah keamanan yang relevan. Ini meningkatkan risiko pelanggaran data, pelanggaran kepatuhan, dan kegagalan operasional, yang sering kali hanya diidentifikasi setelah kerusakan sudah terjadi.

Membangun Kendali atas Solusi AI

Karena penggunaan AI terus berkembang baik di tingkat pribadi maupun perusahaan, sangat penting bagi organisasi untuk membangun kendali atas solusi ini sebelum adopsi tumbuh di luar kendali mereka. Melindungi AI perusahaan dan melindungi terhadap risiko AI tidak resmi melibatkan:

  1. Mendapatkan visibilitas komprehensif. Seperti yang disebutkan, Anda tidak dapat melindungi data Anda terhadap ancaman yang tidak Anda ketahui. Keamanan dimulai dengan pengawasan di seluruh solusi AI yang digunakan oleh karyawan Anda – baik yang resmi maupun tidak resmi. Ini lebih mudah dikatakan daripada dilakukan, tetapi solusi broker akses keamanan cloud (CASB) dapat membantu membangun visibilitas terus-menerus ke penggunaan aplikasi karyawan.
  2. Melakukan penilaian risiko yang menyeluruh. Tim harus melakukan upaya TPRM untuk memastikan bahwa semua solusi AI dievaluasi untuk keamanan dan risiko potensialnya. Upaya ini juga harus diperluas ke tingkat keempat, karena bahkan aplikasi yang disetujui seperti platform CRM atau produktivitas mulai memasukkan kemampuan LLM eksternal ke dalam platform mereka. Solusi keempat ini harus mematuhi standar keamanan yang sama dengan aplikasi yang disetujui secara internal.
  3. Membangun kerangka kerja tata kelola. Dengan pengawasan ini dan pemahaman tentang solusi mereka, organisasi dapat mengembangkan dan menerapkan kerangka kebijakan tata kelola AI yang konsisten di seluruh ekosistem aplikasi mereka. Seperti dengan akses data, kebijakan tata kelola ini dapat membantu mengontrol jenis solusi AI yang dapat diakses oleh karyawan, informasi yang dapat mereka bagikan dengan solusi tersebut, dan transparansi penggunaan sehari-hari mereka.
  4. Otomatisasi deteksi risiko. Pertumbuhan eksponensial adopsi AI membuat deteksi dan respons manual risiko hampir mustahil. Otomatisasi proses ini berdasarkan kebijakan tata kelola dan perilaku pengguna yang diharapkan dapat membantu mengidentifikasi anomali dan membatasi dampak keamanan yang lebih luas.
  5. Menjelaskan harapan karyawan. Bagian paling penting dari adopsi AI yang aman dan penggunaannya adalah karyawan Anda. Memberikan pelatihan yang memadai dan menetapkan harapan yang jelas akan membantu mencegah penggunaan AI yang berisiko dan memastikan penggunaan solusi yang aman dan dilindungi.

Mempertahankan Adopsi AI yang Aman

Dengan membangun langkah-langkah keamanan proaktif ini, bisnis memperoleh gambaran yang lebih holistik tentang cara mereka menggunakan solusi AI – baik yang resmi maupun “bayangan.” Ini memiliki dampak langsung pada keamanan, membantu tim mengidentifikasi risiko dan vektor ancaman yang ada dan mengambil tindakan untuk memperbaikinya.

Lebih penting lagi, bagaimanapun, ini menempatkan bisnis ini untuk kesuksesan AI jangka panjang. Dengan menciptakan fondasi teknis untuk adopsi AI yang aman dan budaya keamanan di antara pengguna AI, pendekatan multi-prong ini membantu menciptakan model yang berkelanjutan untuk alat AI di masa depan. Dengan dukungan teknis dan pelatihan yang memadai, karyawan dapat memanfaatkan manfaat AI tanpa dibebani oleh risiko inherennya.

Organisasi yang membuat perubahan ini lebih awal daripada yang lain akan lebih siap untuk menghadapi masa depan solusi AI, apa pun yang mereka bawa. Dengan melakukan pekerjaan di awal untuk menciptakan fondasi yang kuat – bukan hanya memeriksa kotak adopsi AI – tim akan berada dalam posisi terbaik untuk kesuksesan yang didorong oleh AI yang berkelanjutan.

Thyaga Vasudevan adalah seorang profesional perangkat lunak berenergi tinggi yang saat ini menjabat sebagai Wakil Presiden Eksekutif, Produk di Skyhigh Security, di mana ia memimpin Manajemen Produk, Desain, Pemasaran Produk, dan Strategi GTM. Dengan pengalaman yang luas, ia telah berhasil berkontribusi pada pembangunan produk di kedua perangkat lunak perusahaan berbasis SAAS (Oracle, Hightail - sebelumnya YouSendIt, WebEx, Vitalect) dan Internet Konsumen (Yahoo! Messenger - Suara dan Video).

Dia didedikasikan untuk proses mengidentifikasi masalah dan kasus pengguna akhir yang mendasarinya dan mengambil kebanggaan dalam memimpin spesifikasi dan pengembangan produk dan layanan teknologi tinggi untuk mengatasi tantangan ini, termasuk membantu organisasi meng navigasi keseimbangan yang halus antara risiko dan peluang. Thyaga menyukai mendidik dan membimbing dan telah memiliki kesempatan untuk berbicara di acara-acara terkemuka seperti RSA, Trellix Xpand, MPOWER, AWS Re:invent, Microsoft Ignite, BoxWorks, dan Blackhat. Ia berkembang di persimpangan teknologi dan pemecahan masalah, dengan tujuan mengarahkan inovasi yang tidak hanya mengatasi tantangan saat ini tetapi juga memprediksi kebutuhan masa depan.