Strategi Keamanan Siber untuk Pengembangan Agen Low-Code vs. High-Code

Ketika organisasi mulai menggunakan agen kecerdasan buatan di berbagai sistem bisnis, kecepatan pengembangan dan pengawasan keamanan menjadi semakin erat kaitannya. Strategi keamanan siber untuk pengembangan agen low-code dan high-code harus memperhitungkan cara setiap pendekatan memberikan akses ke informasi dan memungkinkan tindakan dilakukan. Perlindungan yang terarah dapat mengatasi perbedaan tersebut, sementara tata kelola bersama memastikan aktivitas agen tetap selaras dengan tugas yang diizinkan seiring meluasnya penerapan.

Apa yang Membedakan Pengembangan Agen AI Low-Code dan High-Code

Platform low-code memungkinkan pengembang merakit agen melalui antarmuka visual dan konektor siap pakai yang menghubungkan berbagai layanan bisnis. Pengembangan high-code memberi pemrogram fleksibilitas lebih besar untuk menentukan perilaku agen melalui kode khusus, integrasi alat, dan lingkungan eksekusi. Kedua pendekatan memerlukan pengawasan atas informasi yang dapat diakses agen dan tindakan yang dapat mereka lakukan.

Tanggung jawab keamanan berbeda karena kendali berada di tempat yang berbeda. Pengembang low-code bekerja dalam pengaturan platform yang mengatur berbagi dan akses konektor, sehingga keputusan konfigurasi menjadi sangat penting. Tim high-code memikul tanggung jawab lebih besar atas perangkat lunak dan lingkungan yang menjalankan instruksi agen, termasuk batasan akses ke berkas dan kredensial.

Cybersecurity and Infrastructure Security Agency mengidentifikasi sejumlah risiko AI agentik yang menjadi kerangka acuan berguna bagi kedua pendekatan tersebut. Permukaan serangan yang meluas merujuk pada bertambahnya titik masuk, sedangkan peningkatan hak akses merujuk pada akumulasi akses. Ketidakselarasan perilaku mencakup penyimpangan dari tugas yang dimaksudkan, sementara catatan peristiwa yang tidak jelas mempersulit penyelidikan. Konektor yang digunakan secara luas dan alat baris perintah tanpa pembatasan dapat menimbulkan bentuk masalah yang sama, tetapi dengan cara berbeda.

Risiko Keamanan dan Solusi untuk Agen AI Low-Code

Kemudahan penggunaan low-code memungkinkan karyawan di luar tim pengembangan tradisional membuat agen. Pengawasan keamanan perlu mencakup para pengembang tersebut agar koneksi yang praktis tetap sesuai dengan penggunaan bisnis yang diizinkan.

Kelemahan Keamanan di Lingkungan Low-Code

Pengembang nonprofesional mungkin menghubungkan agen ke berkas bersama atau aplikasi bisnis tanpa sepenuhnya memahami izin yang dimiliki agen tersebut. Akses yang diberikan melalui koneksi itu dapat memaparkan informasi sensitif atau memungkinkan tindakan di luar alur kerja yang dimaksudkan. Berbagi secara luas dan kepemilikan yang tidak jelas dapat memperbesar paparan tersebut.

Skala penerapan membuat pengawasan yang konsisten di seluruh departemen menjadi penting. Dalam analisis pasar tahun 2024, Forrester melaporkan bahwa 87% pengembang perusahaan menggunakan platform low-code untuk sebagian pekerjaan pengembangan mereka. Temuan itu membahas pengembangan secara umum, sehingga menunjukkan luasnya jangkauan platform tersebut tanpa secara khusus mengukur penggunaan agen AI.

Cara Praktis Memperkuat Keamanan Agen Low-Code

Tim harus meninjau izin konektor berdasarkan tugas yang diberikan kepada setiap agen dan menerapkan akses dengan hak istimewa minimal. Inventaris terpusat harus mencatat pemilik dan layanan yang terhubung untuk setiap penerapan, serta menetapkan persyaratan persetujuan untuk tindakan sensitif. Langkah ini memberi tim keamanan dasar untuk mengidentifikasi agen yang tidak terdaftar dan menyelidiki akses yang tidak semestinya.

Pendekatan tata kelola data Microsoft menekankan akses terkendali ke informasi bisnis. Naveen Jangir, arsitek utama di Microsoft Digital, menyarankan agar organisasi “mengatur dan melindunginya dengan pembatasan akses yang sesuai.” Kontrol ini memungkinkan pengguna yang berwenang dan kapabilitas AI menggunakannya tanpa paparan yang tidak perlu dalam batas izin yang telah ditetapkan. Penerapan kebijakan konektor yang disertai kepemilikan yang jelas dapat menjadikan pembatasan tersebut bagian dari kegiatan pengembangan sehari-hari.

Risiko Keamanan dan Solusi untuk Agen AI High-Code

Ketika tim menggunakan agen pengodean AI untuk membangun sistem khusus, perubahan yang dihasilkan dapat muncul lebih cepat daripada kemampuan orang untuk memeriksanya. Karena itu, keamanan high-code memerlukan kontrol atas proses pengembangan sekaligus lingkungan tempat agen menjalankan tugas.

Tantangan Keamanan Khusus dalam Pengembangan High-Code

Agen pengodean dapat menghadapi injeksi perintah tidak langsung saat membaca repositori eksternal yang berisi instruksi dari pihak penyerang. Jika agen mengikuti instruksi tersebut saat memiliki akses ke alat pengembangan, agen mungkin menjalankan perintah yang tidak aman atau memaparkan kredensial. Potensi konsekuensinya sebagian bergantung pada berkas, alat, dan tujuan eksternal mana yang dapat dijangkau melalui lingkungan eksekusinya.

Panduan sandbox NVIDIA membahas paparan kredensial di dalam batas eksekusi tersebut. Panduan itu menyatakan bahwa “lingkungan sandbox sebaiknya mengandalkan pemberian rahasia secara eksplisit” untuk membatasi akses ke kredensial. Oleh karena itu, agen tidak boleh mewarisi kredensial lingkungan secara penuh jika tugasnya hanya memerlukan akses terbatas. Tim harus menyediakan kredensial khusus untuk tugas tersebut dan memastikan rahasia lain yang tidak terkait tetap berada di luar jangkauan agen.

Strategi Memperkuat Alur Pengembangan Agen Berbasis Kode

Lingkungan eksekusi terbatas harus membatasi akses ke berkas dan koneksi keluar sesuai dengan tugasnya. Tim juga harus menerapkan pengujian keamanan aplikasi statis pada kode yang dihasilkan. Peninjau independen harus memeriksa keputusan otorisasi atau logika bisnis yang mungkin luput dari pemeriksaan otomatis. Lapisan-lapisan ini menangani batas eksekusi dan kelemahan pada perangkat lunak yang dihasilkan.

Amazon Web Services merekomendasikan pemisahan pembuatan kode dari evaluasi dalam kerangka kerjanya untuk kontrol agen pengodean. AWS mencatat bahwa “sesi terpisah membantu menghindari bias konfirmasi diri.” Namun, dua sesi yang menggunakan model sama dapat memiliki titik buta mendasar yang sama selama peninjauan. Jika memungkinkan, model peninjau yang berbeda dan evaluasi manusia terhadap perubahan yang sensitif terhadap keamanan dapat menambah pemeriksaan lebih lanjut.

Membangun Strategi Keamanan yang Mencakup Kedua Pendekatan

Keamanan AI untuk pengembangan agen low-code dan berbasis kode membutuhkan pemantauan aktivitas bersama di setiap titik tempat agen bertukar informasi. Misalnya, alur kerja low-code dapat mengirimkan konten ke agen yang dibuat khusus, yang kemudian memanggil layanan bisnis lain. Meninjau setiap komponen secara terpisah dapat membuat tim keamanan kehilangan konteks yang diperlukan untuk memahami keseluruhan rangkaian proses.

Para pakar keamanan AI di Darktrace berpendapat bahwa organisasi harus memeriksa perintah dan sesi serta respons di berbagai perangkat AI generatif perusahaan dan kedua pendekatan pengembangan. Pandangan Darktrace juga mencakup lingkungan perangkat lunak sebagai layanan dan layanan akses aman di tepi jaringan. Dengan visibilitas tersebut, organisasi memperoleh konteks sehingga “mereka dapat mendeteksi serangan perintah percakapan yang cerdik dan perangkaian berbahaya.”

Pandangan Darktrace mendukung strategi keamanan AI yang lebih luas untuk pengembangan agen low-code dan berbasis kode, karena visibilitas perintah, pemantauan sesi, dan pengawasan identitas membantu tim memahami interaksi agen di berbagai perangkat yang saling terhubung. Tim keamanan harus memeriksa bagaimana instruksi berubah dalam sesi-sesi yang terhubung dan apakah tindakan selanjutnya tetap sesuai dengan otorisasi awal. Tim juga harus mempertimbangkan tingkat sensitivitas informasi yang disimpan untuk keperluan investigasi.

Tata Kelola dan Pemantauan untuk Keamanan Agen AI Jangka Panjang

Setiap agen harus memiliki penanggung jawab yang jelas dan cakupan pekerjaan yang diizinkan, apa pun metode pengembangannya. Tata kelola juga harus menetapkan siapa yang dapat menyetujui perubahan pada cakupan tersebut dan siapa yang dapat menghentikan aktivitas ketika agen berperilaku di luar dugaan.

Penelitian tentang tata kelola agen menunjukkan bahwa agen memerlukan kewenangan yang dapat diautentikasi dan diaudit untuk mendukung akuntabilitas tersebut. Pendekatan ini menghubungkan orang yang memberikan izin dengan tugas yang boleh dilakukan agen. Dengan demikian, organisasi dapat memeriksa suatu tindakan berdasarkan otorisasi tersebut.

Tim harus menyimpan catatan aktivitas yang menghubungkan izin yang didelegasikan dengan penggunaan alat dan hasilnya. Peninjauan berkala harus mengevaluasi kembali izin tersebut seiring perubahan kemampuan, mencabut akses yang tidak lagi diperlukan setelah pekerjaan selesai, dan memastikan penanggung jawabnya masih sesuai. Tim pengembangan dan keamanan dapat menggunakan peninjauan ini untuk menjaga agar kontrol operasional tetap selaras dengan tujuan agen yang telah disetujui.

Mengantisipasi Risiko Keamanan Agen AI

Pengembangan low-code menuntut pengelolaan izin platform dan konektor secara cermat, sementara pengembangan berbasis kode memerlukan perhatian ketat terhadap lingkungan eksekusi khusus dan peninjauan kode. Pemantauan terpusat dan akuntabilitas yang konsisten menjadi landasan bersama untuk mengawasi cara agen mengakses informasi dan bertindak di berbagai sistem bisnis yang saling terhubung. Seiring bertambahnya kemampuan, pengembang harus meninjau ulang perlindungan keamanan bersamaan dengan perubahan pada alat dan tanggung jawab agen, serta memastikan aktivitas yang diizinkan untuk setiap penerapan tetap jelas sepanjang siklus hidupnya.