Jonathan Zanger, Chief Technology Officer di Check Point – Seri Wawancara

Jonathan Zanger, Chief Technology Officer di Check Point, membawa kombinasi langka dari pengalaman intelijen militer elit, keahlian AI yang mendalam, dan kepemimpinan operasional di seluruh startup dan perusahaan global. Sebelum posisinya saat ini, ia menjabat sebagai CTO di Trigo, di mana ia memimpin pengembangan sistem AI dan visi komputer generasi berikutnya yang memungkinkan retail tanpa gesekan dan pencegahan kerugian skala besar, sambil mengatur produk dan R&D dengan penerapan komersial dunia nyata. Sebelumnya, ia memegang peran kepemimpinan R&D senior di Trigo dan menghabiskan lebih dari satu dekade di Unit 8200 Israel, akhirnya memimpin divisi R&D siber yang bertanggung jawab atas inisiatif intelijen dan keamanan siber skala nasional dan mendapatkan pengakuan nasional atas karyanya.

Check Point Software Technologies (CHKP ) adalah pemimpin global dalam keamanan siber, menyediakan solusi keamanan yang didorong AI, disampaikan melalui cloud yang dirancang untuk melindungi perusahaan dan pemerintah dari ancaman digital yang semakin canggih. Perusahaan ini melayani lebih dari 100.000 organisasi di seluruh dunia dengan platform komprehensif yang mengamankan jaringan, lingkungan cloud, titik akhir, dan pengguna melalui pendekatan preventif yang bertujuan untuk menghentikan serangan sebelum mereka terjadi. Arsitektur terintegrasi mereka memanfaatkan kecerdasan buatan dan intelijen ancaman waktu nyata untuk menyederhanakan operasi keamanan, mengurangi risiko, dan memungkinkan organisasi untuk berkembang dengan aman saat mereka mengadopsi AI, komputasi cloud, dan sistem terdistribusi.

Anda telah memimpin inisiatif keamanan siber dan AI skala besar, membangun sistem yang didorong AI di Trigo, dan sekarang mengawasi strategi AI di Check Point. Apa saja mode kegagalan spesifik yang telah Anda amati ketika sistem AI beralih dari lingkungan yang terkendali ke produksi, terutama ketika mereka diberi akses ke alat dan data perusahaan?

Dua hal berubah secara fundamental dalam produksi. Pertama, skala mengubah kasus tepi menjadi peristiwa sehari-hari. Tingkat false positif 0,1 persen terdengar sangat baik di laboratorium, tetapi ketika Anda memproses jutaan interaksi, itu berarti ribuan insiden yang memerlukan perhatian. Outlier statistik dalam pengujian menjadi kenyataan operasional pada skala besar.

Kedua, produksi berarti paparan adversarial. Di lingkungan yang terkendali, inputnya bersahabat dan dapat diprediksi. Di dunia nyata, beberapa pengguna dan aktor ancaman akan secara aktif mencoba menipu sistem, memanfaatkan setiap saluran data yang tidak tepercaya untuk memanipulasi perilaku. Transisi dari demo ke produksi bukanlah masalah penskalaan. Ini adalah pergeseran dari lingkungan yang kooperatif ke lingkungan yang diperebutkan, dan itu menuntut asumsi desain yang secara fundamental berbeda.

Di sistem agen, di mana model dapat memanggil API, mengeksekusi kode, dan menghubungkan tindakan, apa saja permukaan serangan yang paling kritis yang tim keamanan belum instrumentasikan dengan benar?

Permukaan kritis yang paling banyak tim abaikan adalah data itu sendiri. Sistem agen secara teratur mengakses sumber data yang tidak tepercaya — email masuk, situs web, tiket Jira, kode sumber terbuka, dokumentasi eksternal. Data tersebut diingest dan dianalisis oleh model sebagai bagian dari proses penalaran mereka.

Ini menciptakan dua risiko konkret. Pertama, keracunan memori — di mana konten yang dimanipulasi secara halus membentuk respons dan keputusan model di masa depan tanpa injeksi prompt yang jelas. Kedua, injeksi prompt tidak langsung — di mana instruksi adversarial disematkan dalam data eksternal dan secara efektif menjebak model dari dalam. Penyerang tidak pernah menyentuh prompt secara langsung. Mereka hanya menanamkan instruksi di mana agen akan menemukannya.

Injeksi prompt sering kali dicitrakan sebagai masalah model, tetapi dalam praktiknya menjadi masalah sistem-level. Bagaimana perusahaan harus merancang ulang arsitektur mereka untuk mengisolasi input model, eksekusi alat, dan akses data sensitif?

Injeksi prompt bukanlah masalah universal dengan solusi universal. Apakah input yang diberikan sah atau adversarial sepenuhnya bergantung pada konteks. Meminta agen untuk “mengubah kata sandi admin” adalah sah jika itu adalah agen bantuan teknis. Permintaan yang sama kepada chatbot pengecer online adalah serangan.

Oleh karena itu, arsitektur lebih penting daripada teknik deteksi tunggal. Sistem memerlukan mekanisme deterministik dan non-deterministik yang bekerja bersama. Kontrol deterministik mengelola akses ke alat dan data berdasarkan identitas agen, identitas pengguna, dan peran sistem yang ditentukan. Kontrol non-deterministik, berbasis model, menambahkan kemampuan untuk memahami bahasa, konteks, dan niat. Anda memerlukan kedua lapisan — penerapan kebijakan yang ketat dan penalaran kontekstual yang cerdas — karena tidak ada yang cukup sendirian.

Banyak agen AI bergantung pada generasi yang ditingkatkan dengan pengambilan dan sumber data eksternal. Apa saja risiko sekitar keracunan data dan manipulasi konteks dalam pipa ini, dan bagaimana mereka dapat diminimalkan pada saat runtime?

Risikonya berbeda tergantung pada arah aliran data. Untuk sumber data internal, risiko utama adalah kebocoran data sensitif — paparan PII, berbagi data antar pelanggan, informasi internal yang disajikan kepada pihak yang tidak berwenang. Untuk sumber data eksternal, risikonya termasuk bias model dari informasi yang tidak diverifikasi, injeksi prompt tidak langsung yang disematkan dalam konten yang diambil, dan ketergantungan pada sumber yang tidak tepercaya atau dimanipulasi.

Mitigasi harus terjadi pada tingkat transaksi, secara real-time. Setiap interaksi agen harus diamankan dalam dua arah: memastikan data sensitif tidak bocor dari dalam ke luar, dan memastikan informasi yang beracun atau adversarial tidak dimasukkan dari luar ke dalam sistem atau model. Anda tidak dapat menyelesaikan ini hanya pada waktu ingestion karena konteks dinamis dan lanskap ancaman berubah terus-menerus.

AI Defense Plane Anda memperkenalkan lapisan kontrol terpadu di seluruh penggunaan AI karyawan, aplikasi, dan sistem agen. Apa saja tantangan arsitektur terbesar dalam membangun sistem yang dapat mengamati dan menegakkan kebijakan di seluruh tumpukan AI yang sangat terfragmentasi?

Kami percaya bahwa di masa depan, beban kerja agen akan melintasi titik akhir, aplikasi, layanan SaaS, dan beban kerja cloud — semua terhubung dalam apa yang kami sebut “Internet of Agents”. Ide di balik AI Defense Plane adalah untuk menemukan, mengatur, dan melindungi infrastruktur agen perusahaan yang berkembang dalam satu panel kaca.

Tantangan arsitektur inti adalah mengevaluasi profil risiko dan konteks setiap agen secara dinamis sambil mengembangkan perlindungan waktu nyata yang efisien untuk setiap transaksi agen. Ini berarti mempertahankan tingkat blokir yang tinggi terhadap ancaman yang sebenarnya sambil meminimalkan false positif — pada kecepatan produksi dan skala, di seluruh lingkungan yang berjalan. Membangun sistem yang dapat mengamati dan menegakkan kebijakan secara konsisten di seluruh tumpukan AI yang sangat terfragmentasi dan berkembang dengan cepat ini memerlukan kami untuk memikirkan kembali bagaimana kami mengabstrak dan mengevaluasi aktivitas AI pada tingkat dasar.

Platform ini menekankan pengambilan keputusan waktu nyata pada kecepatan mesin di seluruh bahasa dan alur kerja. Bagaimana Anda menyeimbangkan keterbatasan latensi dengan kebutuhan untuk inspeksi dan kontrol yang mendalam dari tindakan yang didorong AI di lingkungan produksi?

Kami mengembangkan dan melatih model dasar khusus untuk pencegahan ancaman, lalu menggunakan teknik destilasi untuk membuatnya sangat efisien. Ini memungkinkan kami untuk menjalankan inferensi dengan cepat dan dengan komputasi minimal — bahkan pada CPU atau GPU komoditas — sambil mempertahankan cakupan multi-bahasa dan multi-modal, termasuk analisis gambar dan audio, dengan akurasi maksimal.

Pendekatan ini memungkinkan kami untuk memeriksa transaksi agen dengan mendalam tanpa menjadi bottleneck. Keamanan yang memperkenalkan latensi yang tidak dapat diterima akan dibypass. Keamanan yang tidak terlihat dari alur kerja tetapi menegakkan kontrol yang bermakna adalah apa yang sebenarnya diterapkan dan tetap diterapkan.

Agen AI semakin banyak beroperasi dengan izin yang didelegasikan di seluruh sistem yang berbeda. Bagaimana organisasi harus merancang ulang manajemen identitas dan akses untuk aktor non-manusia, terutama ketika agen secara dinamis memperluas cakupan mereka melalui penggunaan alat?

Kesalahan yang paling banyak organisasi buat adalah memperlakukan agen AI baik sebagai perpanjangan pengguna manusia atau sebagai akun layanan tradisional. Tidak ada model yang sesuai. Pikirkan mereka sebagai karyawan digital — entitas dengan peran, tanggung jawab, dan batasan yang ditentukan.

Identitas agen harus ditentukan oleh tiga dimensi: alur kerja spesifik yang dijalankan agen, pengguna yang memiliki atau membuat agen, dan pengguna yang saat ini berinteraksi dengannya. Ketiga faktor tersebut membentuk apa yang seharusnya dilakukan agen. Di luar itu, organisasi perlu menerapkan prinsip zero-trust terhadap agen — tidak pernah menganggap kepercayaan berdasarkan asal, terus-menerus memverifikasi perilaku, dan menegakkan akses dengan hak istimewa yang minimal di setiap langkah. Tanpa ini, agen akan secara diam-diam mengumpulkan lebih banyak wewenang daripada yang dimaksudkan.

Banyak perusahaan sekarang memiliki penggunaan AI bayangan di seluruh kopilot, plugin, dan skrip internal. Apa saja telemetri yang harus tim keamanan kumpulkan untuk mendapatkan visibilitas nyata tentang bagaimana AI berinteraksi dengan data sensitif?

Visibilitas perlu beroperasi pada tingkat transaksi agen — tidak hanya prompt dan respons, tetapi juga panggilan alat, data yang dikembalikan oleh alat tersebut, dan tindakan yang diambil sebagai hasilnya. Tim keamanan perlu melihat rantai penuh: apa yang diminta, data apa yang diakses, alat apa yang diaktifkan, parameter apa yang dilewati, dan apa yang terjadi selanjutnya.

Tanpa telemetri tingkat transaksi ini, Anda tidak dapat menjawab pertanyaan dasar tentang paparan, penyalahgunaan, atau dampak. AI bayangan tidak berbahaya karena keberadaannya. Ini berbahaya karena beroperasi tanpa tingkat pemerintahan atau wawasan ini.

Menguji agen agresif secara fundamental berbeda dari pengujian aplikasi statis. Bagaimana Anda mensimulasikan perilaku adversarial di seluruh alur kerja multi-langkah, dan apa saja jenis eksploitasi yang paling umum ditemukan?

Kami mengoperasikan Gandalf (https://gandalf.lakera.ai), yang merupakan latihan red-teaming AI terbesar di dunia. Ini adalah platform crowdsourced di mana pengguna nyata mencoba membujuk agen AI untuk melanggar batasan mereka. Ini memberi kami dataset unik dan terus berkembang dari teknik adversarial nyata — bukan serangan teoretis, tetapi strategi yang digunakan orang nyata untuk memanipulasi sistem AI.

Kami memanfaatkan dataset ini untuk menggerakkan kemampuan red-teaming kami. Serangan yang paling banyak kami lihat melibatkan pengguna yang secara bertahap membujuk agen untuk melanggar batasan mereka — melalui injeksi prompt tidak langsung, pembingkaian kreatif, manipulasi konteks, dan eksploitasi kepercayaan inkremental di seluruh interaksi multi-langkah. Masalah ini tidak terlihat jika Anda hanya menguji prompt individual. Anda harus menguji urutan dan kampanye adversarial yang berkelanjutan.

Seiring penyerang mulai menggunakan agen otonom untuk menyelidiki sistem secara terus-menerus, apakah Anda mengharapkan pertahanan untuk bergeser ke kontrol adaptif waktu nyata yang didorong oleh AI, dan apa saja arsitektur yang terlihat dalam praktiknya?

Ya. Pertahanan statis tidak dapat mengimbangi penyerang otonom yang beroperasi terus-menerus. Pertahanan harus menjadi adaptif, didorong waktu nyata, dan otomatis. Ini berarti pemantauan AI yang terus-menerus, penilaian risiko terus-menerus, dan penegakan segera ketika kebijakan dilanggar. Kecepatan dan skala serangan yang didorong AI hanya dapat diatasi oleh pertahanan yang sama cepatnya, dengan kecepatan mesin.

Dalam praktiknya, keamanan menjadi loop umpan balik daripada himpunan aturan. Sistem AI diamati, dievaluasi, dan dibatasi secara dinamis, dengan kecepatan dan skala yang sama dengan operasinya. Perubahan ini penting jika organisasi ingin mengirimkan AI dengan aman pada skala perusahaan.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi Check Point Software Technologies.