Vin Sharma, Salah Satu Pendiri dan CEO Vijil – Seri Wawancara

Vin Sharma adalah salah satu pendiri sekaligus CEO Vijil, dengan pengalaman lebih dari 30 tahun di bidang keamanan siber, sumber terbuka, komputasi awan, dan infrastruktur AI. Sebelum mendirikan perusahaan tersebut, ia memimpin pekerjaan rekayasa pembelajaran mendalam di AWS untuk Amazon SageMaker dan Amazon Bedrock, mengembangkan infrastruktur pusat data di Intel, serta memegang berbagai peran di bidang produk dan rekayasa di Hewlett-Packard. Kariernya dimulai dengan pengujian tim merah otomatis untuk sistem UNIX tepercaya, pengalaman yang membentuk fokusnya pada upaya menjadikan agen AI perusahaan andal, aman, dan terlindungi.

Vijil menyediakan infrastruktur kepercayaan bagi agen AI perusahaan, membantu organisasi mengevaluasi perilaku, menerapkan kontrol, dan meningkatkan ketahanan sepanjang siklus hidup agen. Pendekatannya memadukan pengujian, keamanan, dan umpan balik berkelanjutan untuk menyelaraskan perilaku agen dengan tujuan dan kebijakan yang ditetapkan organisasi. Dalam wawancara ini, Sharma membahas cara mendefinisikan dan mengukur kepercayaan, alasan pengujian agen berbeda dari keamanan perangkat lunak konvensional, serta pengawasan yang dibutuhkan perusahaan seiring meningkatnya otonomi agen.

Anda menghabiskan lebih dari 30 tahun bekerja di berbagai perusahaan, termasuk AWS, Intel, dan Hewlett-Packard, sebelum mendirikan Vijil. Apa yang pada akhirnya meyakinkan Anda bahwa kepercayaan dan keamanan AI merupakan masalah besar yang belum terpecahkan dan layak menjadi dasar untuk mendirikan perusahaan?

Sebelum bergabung dengan sebuah perusahaan rintisan keamanan 30 tahun lalu, saya menempuh pendidikan pascasarjana dengan mempelajari AI dan pembelajaran mesin. Sejak itu, saya bekerja di tim produk yang membangun keamanan kelas militer ke dalam sistem operasi berbasis Unix dan Linux, server web aman untuk perbankan daring, lingkungan eksekusi tepercaya untuk komputasi awan, serta enkripsi ke dalam platform analitik data. Belakangan ini, perjalanan saya kembali ke titik awal dengan membangun layanan AI/ML siap pakai untuk perusahaan di AWS. Pengalaman tersebut meyakinkan saya bahwa membangun kepercayaan ke dalam sistem kecerdasan lebih menantang daripada membangun sistem cerdas itu sendiri. Industri AI tampaknya secara luas berkomitmen untuk meningkatkan kemampuan agen, tetapi saya yakin kita perlu menginvestasikan sumber daya dalam jumlah yang sama untuk membangun mekanisme pengawasan dan kontrol yang dapat diskalakan ke dalam agen. Tanpa metrik dan mekanisme yang disesuaikan dengan kebutuhan organisasi tertentu, gelombang awal adopsi yang penuh antusiasme akan kandas pada risiko dan ROI, karena perusahaan tidak akan mampu membuktikan bahwa agen mereka bekerja demi kepentingan terbaik mereka.

Vijil dibangun berlandaskan gagasan bahwa banyak agen AI tidak pernah digunakan di lingkungan produksi karena perusahaan tidak dapat memverifikasi keandalan, keamanan, dan keselamatannya secara memadai. Di mana Anda melihat kesenjangan kepercayaan terbesar saat perusahaan beralih dari prototipe AI ke penerapan di lingkungan produksi?

Hambatan dalam menerapkan lebih banyak agen dengan tingkat otonomi yang terus meningkat adalah kemampuan organisasi untuk menetapkan perilaku yang diinginkan dari agen mereka dan memverifikasi bahwa agen tersebut berperilaku sesuai harapan. Bukan hanya itu—organisasi juga harus mampu melakukannya dengan skala dan kecepatan yang sepadan dengan cara kerja agen. Masuk akal jika kita memerlukan cara agar agen dapat mengukur dan mengubah perilaku agen lain. Dua kesenjangan terbesar adalah mengetahui apa yang perlu diukur (apa arti “baik” bagi agen) dan mengetahui apa yang perlu diubah (komponen sistem agen mana yang perlu disetel agar menghasilkan perilaku yang diinginkan oleh pihak pemberi mandat: model dan parameternya, perintah sistem, instruksi pengguna, kerangka kerja agen, atau graf sistem multiagen).

Bagaimana Vijil mendefinisikan dan mengukur “kepercayaan” pada agen AI, dan sinyal atau tolok ukur apa yang paling penting untuk menentukan apakah suatu agen siap beroperasi di lingkungan perusahaan?

Kami mendefinisikan kepercayaan sebagai manfaat yang diharapkan dari pendelegasian tugas kepada agen otonom, setelah memperhitungkan risiko bahwa agen tersebut mengkhianati maksud kita. Artinya, agen dapat dipercaya jika berperilaku benar dalam kondisi normal, penuh gangguan, maupun bermusuhan, dan jika gagal, meminimalkan dampak kegagalannya. Kepercayaan kemudian dapat diukur berdasarkan tiga pilar: keandalan, keamanan, dan keselamatan. Agen dapat diandalkan jika bekerja sesuai harapan dalam beragam kondisi; aman jika bekerja sesuai harapan dalam kondisi bermusuhan; dan selamat jika mampu meminimalkan risiko bisnis, hukum, dan teknis.

Agen AI dapat berperilaku tak terduga karena menggabungkan model, alat, sumber data, memori, dan sistem eksternal. Apa perbedaan pengujian agen dengan pengujian keamanan aplikasi tradisional atau evaluasi model konvensional?

Perangkat lunak tradisional mengalami kegagalan dengan cara-cara yang kini telah dipahami dengan baik. Secara umum, ini mencakup ketidakmampuan menangani masukan yang tidak valid, kelemahan dalam logika dan desain sistem, kesalahan dalam implementasi, kerentanan tersembunyi terhadap serangan, serta efek samping yang tidak diinginkan dari keluaran. Pengujian untuk mendeteksi kegagalan semacam ini dapat dilakukan dengan cara yang cukup terprediksi. Agen memperluas ruang lingkup kegagalan secara drastis, hingga pengujian tersebut sama sekali tak dapat dijangkau oleh evaluasi model, pengujian unit, pengujian integrasi, pengujian keamanan aplikasi, pengujian penetrasi, maupun pemeriksaan kepatuhan. Untuk menguji permukaan risiko baru yang ditimbulkan agen, kita memerlukan metrik dan mekanisme baru untuk mengevaluasi perilaku agen berdasarkan tujuan yang ditetapkan oleh pihak pemberi mandat, persona penggunanya, serta kebijakan organisasi, industri, dan wilayah tempat agen tersebut beroperasi.

Latar belakang Anda mencakup memimpin upaya rekayasa pembelajaran mendalam untuk Amazon SageMaker dan Amazon Bedrock. Pelajaran apa dari membangun infrastruktur AI di AWS yang paling memengaruhi pendekatan Anda terhadap keamanan dan keandalan agen di Vijil?

Wawasan yang paling membentuk pemikiran saya adalah bahwa menemukan masalah keandalan, keamanan, dan kepatuhan layanan sejak awal siklus pengembangan jauh lebih efektif dan efisien daripada menemukannya menjelang peluncuran, seperti yang lazim dilakukan, atau—yang lebih buruk—setelah layanan beroperasi, yang berarti kita terbangun karena menerima telepon tentang layanan yang bermasalah.

Vijil tidak hanya berfokus pada pengujian agen sebelum penerapan, tetapi juga melindungi dan terus menyempurnakannya saat beroperasi. Risiko apa yang baru terlihat ketika agen mulai berinteraksi dengan pengguna, data, dan sistem perusahaan di dunia nyata?

Dunia nyata selalu punya kemungkinan tak terbatas untuk mengejutkan kita. Agen yang terkejut pun rentan melakukan kesalahan. Tidak ada yang terlalu memedulikan agen yang keliru saat membuat meme. Namun, agen yang dirancang untuk membantu atau menggantikan penasihat keuangan, paralegal, pengacara, perawat, dokter, pasien, atau profesional lain di industri yang harus membuktikan perilaku fidusia tidak dapat berfungsi kecuali batas toleransinya ditetapkan dengan ketat, dipantau secara cermat, dan perilaku agen segera dipulihkan.

Seiring perusahaan menerapkan agen yang semakin otonom dan mampu melakukan tindakan, bukan sekadar menghasilkan respons, bagaimana model keamanannya perlu berkembang? Apakah konsep tradisional seperti izin, identitas, dan kontrol akses sudah memadai?

Tidak. Saat agen menjadi pelaku dalam suatu organisasi, agen perlu diberi identitas unik yang dapat diverifikasi. Agen juga perlu diberi peran yang mengikat perilakunya sekaligus komponen fungsionalnya (alat dengan izin akses ke sumber daya) melalui kebijakan kontrol akses wajib. Perilaku agen perlu dipantau terus-menerus untuk mendeteksi penyimpangan dari tujuan yang dimaksud, dan agen perlu diarahkan agar tetap tangguh saat diserang.

Vijil berkembang dari putaran pendanaan awal sebesar $6 juta hingga putaran Seri A sebesar $17 juta, sambil membangun tim pendiri yang beranggotakan sekitar 20 orang dan meraih pendapatan berulang tahunan pertamanya sebesar $1 juta. Keputusan apa yang paling penting dalam membantu Anda beralih dari konsep teknis awal menuju adopsi komersial?

Sejak awal, kami memilih untuk membangun lapisan kepercayaan yang terintegrasi dengan platform pilihan pelanggan. Namun, kami memperkirakan perusahaan akan semakin menginginkan penyesuaian yang lebih luas, kendali yang lebih terperinci, dan biaya yang lebih rendah untuk sistem multiagen yang menggunakan model terbuka. Strategi jangka panjang untuk membangun lapisan platform, bukan produk tunggal, memberi kami keunggulan dibandingkan pesaing, tetapi juga menciptakan tantangan: menemukan perusahaan yang siap menerapkan tata kelola agen dalam skala besar tidak semudah menjual layanan yang memindahkan sistem tanpa banyak perubahan.

Anda memulai karier dengan mengembangkan pengujian tim merah otomatis untuk sistem UNIX tepercaya pada 1995. Hampir tiga dekade kemudian, bagaimana prinsip-prinsip pengujian tim merah berubah ketika sistem yang diuji adalah agen AI yang mampu bernalar, beradaptasi, dan menggunakan alat eksternal?

Secara historis, pengujian tim merah berarti menguji pertahanan suatu organisasi terhadap serangan terkoordinasi. Prinsip umumnya tetap berlaku. Kita masih perlu mengoordinasikan serangan dalam kondisi terkendali untuk menyelidiki kelemahan organisasi yang diuji. Namun, pendekatan pada masa ketika latihan tim merah dirancang dengan skenario tetap untuk menguji sistem perangkat lunak kini tidak lagi memadai, karena agen AI tidak seperti perangkat lunak deterministik—agen dirancang untuk beradaptasi dengan lingkungannya sehingga serangan yang sama tidak dapat diulang dengan hasil yang dapat diprediksi. Saya berpendapat bahwa agen harus diperlakukan seperti perusahaan. Karena itu, pengujian tim merah terhadap agen harus menyesuaikan diri dengan tujuan agen, menyelidiki penyimpangannya dari maksud penggunanya, serta kemauan dan kemampuannya untuk menghindari kebijakan lingkungannya.

Ke depan, apakah Anda memperkirakan pengujian independen dan standar kepercayaan terukur untuk agen AI akan menjadi prasyarat penerapan di perusahaan? Apa yang perlu dilakukan di seluruh industri agar tingkat jaminan tersebut menjadi praktik standar?

Saat ini, pengembang mengevaluasi kemampuan agen, tim merah menguji ketahanannya terhadap injeksi prompt dan jailbreak, sementara tim GRC baru mulai menguji kepatuhannya terhadap peraturan. Sangat sedikit organisasi yang menerapkan verifikasi perilaku secara terus-menerus di latar belakang sepanjang siklus hidup agen, sementara model, alat, sumber daya, alur kerja, dan lingkungan sasaran berubah. Yang lebih penting lagi, Vijil membantu perusahaan dengan cara yang unik: menelusuri perilaku nyata agen saat beroperasi kembali ke spesifikasinya melalui umpan balik yang terus menyempurnakan agen. Agen yang mampu bertahan dari serangan adalah agen yang beradaptasi agar tetap tangguh.

Terima kasih atas wawancara yang menarik ini. Pembaca yang ingin mengetahui lebih lanjut tentang pengujian, perlindungan, dan penyempurnaan berkelanjutan agen AI perusahaan dapat mengunjungi Vijil.