Rony Ohayon, CEO dan Pendiri DeepKeep – Seri Wawancara

Rony Ohayon, CEO dan Pendiri DeepKeep, adalah seorang wirausaha dan teknolog yang berpengalaman dengan karir yang meliputi AI, keamanan siber, sistem otonom, dan teknologi video skala besar. Ia telah mendirikan dan memimpin beberapa perusahaan di bidang ini, termasuk peran utama dalam koneksi kendaraan otonom, transmisi video langsung, dan rekayasa lanjutan, serta pekerjaan akademis sebelumnya di bidang teknik komputer.

DeepKeep adalah platform keamanan AI yang dirancang untuk membantu perusahaan melindungi AI, AI generatif, LLM, penglihatan komputer, dan sistem multimodal di seluruh siklus hidupnya. Perusahaan ini fokus pada mengidentifikasi kerentanan, memblokir ancaman adversarial, mencegah masalah seperti kebocoran data dan manipulasi prompt, mendukung kepatuhan regulasi, dan menyediakan pemantauan terus-menerus untuk memastikan penerapan AI yang dapat dipercaya, tangguh, dan dilindungi.

Anda telah memimpin inovasi besar di bidang transmisi video, koneksi kendaraan otonom, dan sistem AI. Apa dari karir Anda yang membuat Anda yakin bahwa tantangan besar berikutnya yang perlu dipecahkan adalah mengamankan AI perusahaan?

Saya selalu termotivasi untuk mengatasi tantangan yang memiliki dampak besar dan mengubah industri. Selama beberapa tahun, saya menyadari pola berulang di mana teknologi baru, terutama AI, sering kali melampaui langkah keamanan, meninggalkan kerentanan kritis di belakang.

Adopsi AI oleh perusahaan, terutama dengan munculnya model bahasa besar (LLM) dan AI agen, membuka peluang baru untuk risiko, dan bisnis sering merasa terlalu berat dan tidak siap untuk menggunakan sistem ini dengan aman dan percaya diri. Pengalaman saya di sistem AI menekankan betapa pentingnya mengintegrasikan keamanan ke jantung teknologi ini untuk memastikan bahwa mereka tidak hanya inovatif, tetapi juga aman dan dapat dipercaya, menghasilkan hasil yang dapat diandalkan untuk mendukung bisnis secara proaktif. Pemahaman ini memimpin pendirian DeepKeep, dengan fokus pada mengamankan sistem AI sehingga bisnis dapat dengan percaya diri mengadopsi AI untuk meningkatkan produktivitas dan pertumbuhan bisnis, tanpa mengorbankan keamanan atau privasi.

Ketika Anda dan co-pendiri meluncurkan DeepKeep pada 2021, apa blind spot keamanan AI yang membuat Anda yakin bahwa ada kebutuhan mendesak untuk platform yang didedikasikan, dan bagaimana wawasan itu membentuk arah awal perusahaan?

Setelah beberapa tahun bekerja dengan AI di penglihatan komputer, yang memerlukan upaya besar untuk memastikan bahwa itu dapat diandalkan dan tangguh, kami menyadari bahwa sudah waktunya untuk merancang solusi yang didedikasikan untuk memastikan kepercayaan dan keamanan di penglihatan komputer.

Pada 2021, sebelum ledakan LLM, kami meluncurkan DeepKeep untuk mengatasi risiko ini di model penglihatan komputer.

Dapatkah Anda membawa kami kembali ke prototipe awal—apa yang sebenarnya dilakukan, seberapa kecil tim itu, dan bagaimana Anda memvalidasi bahwa Anda berada di jalur yang benar?

Ketika kami mendirikan DeepKeep, fokusnya masih pada AI tradisional – penglihatan komputer, model tabel, dan NLP awal – jauh sebelum munculnya model bahasa besar. Prototipe pertama kami adalah sistem untuk merakit kelasifikasi penglihatan komputer untuk menguji ketangguhannya terhadap serangan adversarial. Bersamaan dengan itu, kami membangun versi awal dari firewall AI yang dapat mendeteksi dan menandai serangan ini secara real-time.

Kasus penggunaan awal berasal dari industri otomotif, asuransi, dan jasa keuangan, di mana perilaku model yang salah membawa risiko operasional yang nyata. Kami adalah tim kecil yang terdiri dari sekitar delapan orang pada saat itu, yang memungkinkan kami untuk beriterasi dengan cepat dan menghasilkan prototipe fungsional awal.

Kami memvalidasi bahwa kami berada di jalur yang benar dengan berbicara langsung dengan pelanggan potensial, yang secara konsisten menyoroti ketangguhan adversarial sebagai kekhawatiran yang muncul. Sekitar waktu yang sama, kerangka kerja seperti ATLAS MITRE – pertama kali dirilis pada 2021 – mulai muncul, yang merupakan sinyal eksternal penting bahwa bidang keamanan AI dan pemodelan ancaman adversarial akan tumbuh. Keselarasan antara umpan balik pelanggan dan arah industri memberi kami kepercayaan bahwa kami berada di jalur yang benar.

DeepKeep dirancang dari awal untuk mengamankan sistem AI bukan perangkat lunak tradisional. Bagaimana Anda memprioritaskan jenis model dan permukaan serangan yang perlu difokuskan pertama?

Dari awal, kami tahu bahwa mengamankan AI perusahaan memerlukan pergeseran paradigma. Sementara banyak organisasi cukup pintar untuk mengetahui bahwa mereka perlu melakukan pengujian penetrasi dan evaluasi untuk model yang mereka gunakan, kami memahami bahwa tindakan tersebut hanya awal. Risiko sebenarnya muncul dalam ekosistem aplikasi penuh, bukan hanya model itu sendiri.

Jadi, sementara mengamankan chatbot AI mandiri dengan merakit tradisional adalah titik awal industri, kami dengan cepat beralih ke mengembangkan solusi yang mengamankan aplikasi AI kustom dan agen AI, dan akan berkembang untuk mengamankan langkah berikutnya di mana agen berinteraksi dengan satu sama lain dan ada intelijen antar domain yang signifikan.

Kami memungkinkan pemindaian model di semua jenis model, tetapi juga melindungi terhadap ancaman paling mendesak seperti serangan adversarial, kebocoran data, penyalahgunaan sistem, dan erosi kepercayaan dengan merakit model dan menerapkan pengaman yang mengamankan prompt dan respons AI.

Yang sangat penting, kami juga mengamankan “lapisan semantik” AI dengan memahami konteks di mana model beroperasi. Ini memastikan bahwa model tidak dapat dimanipulasi dengan mudah.

Apa yang menjadi pivot teknis atau strategis terbesar yang Anda buat antara tahap pendirian dan arah produk DeepKeep saat ini?

Salah satu keputusan terbesar yang kami buat adalah memperluas keamanan model tradisional ke ranah keamanan aplikasi AI. Awalnya, kami fokus pada mengamankan model individu, tetapi ketika lanskap AI berkembang, kami menyadari bahwa mengamankan ekosistem AI seluruhnya, di mana beberapa model, agen, dan kasus penggunaan berpotongan, jauh lebih kritis. Ini memimpin kami untuk memperluas pendekatan kami dengan mengintegrasikan merakit, firewall AI komprehensif untuk melindungi setiap interaksi agen, karyawan, dan aplikasi dengan AI, dan pemantauan waktu jalankan.

Keputusan kunci lainnya adalah menawarkan fleksibilitas penerapan penuh, termasuk solusi cloud-agnostik, on-prem, dan terisolasi, yang memungkinkan perusahaan untuk mengamankan DeepKeep di lingkungan apa pun. Kami juga baru-baru ini mengintegrasikan pengaman Informasi Pribadi terkemuka industri ke dalam platform kami, yang telah memberikan pelanggan kami tingkat perlindungan data yang lebih dalam dan memastikan bahwa perusahaan dapat memenuhi persyaratan kepatuhan global saat mereka meningkatkan penggunaan AI.

DeepKeep menempatkan penekanan yang sama pada keamanan dan kepercayaan. Pada tahap apa fokus ganda ini menjadi inti identitas perusahaan?

Fokus pada keamanan dan kepercayaan menjadi jelas pada awalnya, terutama ketika kami mulai memahami pelanggan kami dan kebutuhan mereka.

Ketika menangani model AI, keamanan dan kepercayaan berjalan seiring dan memainkan peran yang sama karena, pada akhirnya, keduanya dapat menyebabkan hasil yang merusak dan destruktif. Aplikasi tidak dapat tangguh dan tidak dapat diandalkan, dan sebaliknya.

Alat keamanan siber tradisional tidak dirancang untuk injeksi prompt, halusinasi, kebocoran data, atau manipulasi model. Vektor ancaman emerging mana yang Anda lihat perusahaan bergumul dengan paling, dan bagaimana masalah dunia nyata ini mempengaruhi arsitektur DeepKeep?

Dari ancaman yang muncul, injeksi prompt dan kebocoran data adalah kekhawatiran paling mendesak yang kami lihat perusahaan bergumul dengannya. Ketika aplikasi AI dan agen AI menjadi lebih terintegrasi ke dalam proses bisnis, risiko manipulasi prompt dan paparan data sensitif yang tidak disengaja menjadi lebih menonjol. Masalah ini memimpin kami untuk merancang DeepKeep dengan fokus pada keamanan kontekstual, melindungi tidak hanya model, tetapi seluruh aliran data dan interaksi dalam ekosistem AI. Infrastruktur kami dibangun untuk menguji lapisan ini pada fase pengembangan, dan melindungi selama waktu jalankan dengan mengamankan setiap interaksi AI.

Platform Anda menggabungkan pengaman, merakit, dan lapisan perlindungan data. Dari sudut pandang teknis, mana yang paling sulit untuk direkayasa pada skala perusahaan, dan apa yang Anda pelajari saat membangun sistem yang harus beradaptasi dengan model AI yang berkembang cepat?

Setiap lapisan – pengaman, merakit, dan perlindungan data – memiliki tantangan rekayasa tersendiri, tetapi kami menemukan bahwa tantangan yang mereka miliki bersama adalah yang paling sulit.

Yang pertama adalah kecepatan perubahan: risiko baru, jailbreak, dan teknik serangan muncul terus-menerus, sehingga apa pun yang statis menjadi usang dengan cepat. Yang kedua adalah adopsi konteks: di perusahaan, pendekatan satu-ukuran-untuk-semua tidak berfungsi karena setiap aplikasi memiliki kebijakan, sensitivitas data, dan perilaku pengguna yang berbeda.

Untuk mengatasi tantangan pertama, kami membangun arsitektur yang sepenuhnya modular dengan komponen gaya plugin, yang memungkinkan kami untuk menambahkan serangan baru ke mesin merakit atau pengaman baru ke firewall dengan cepat dan tanpa mengganggu sistem.

Dan untuk memecahkan tantangan kedua, kami merancang sistem yang sadar konteks. Ini menganalisis lingkungan aplikasi dan secara otomatis menyesuaikan langkah-langkah keamanan yang relevan – yang sangat penting ketika model AI dan kasus penggunaan yang mendasarinya berkembang dengan cepat.

Kedua kemampuan ini, modularitas dan kesadaran konteks, telah menjadi kunci untuk beroperasi pada skala perusahaan, sambil menjaga kecepatan dengan sistem AI yang berkembang cepat.

Keamanan AI adalah disiplin yang terus berkembang. Apa celah yang Anda lihat di dalam perusahaan saat ini—baik dalam kebijakan, alat, atau pemahaman risiko—yang paling langsung membentuk bagaimana Anda merancang tumpukan keamanan DeepKeep dan onboarding pelanggan?

Celah signifikan bervariasi tergantung pada industri, ukuran perusahaan, dan kematangan adopsi AI.

Salah satu celah terbesar yang kami lihat di perusahaan besar saat ini adalah kurangnya solusi tunggal yang mencakup semua kebutuhan keamanan AI. Banyak dari bisnis ini menyadari kebutuhan mereka akan solusi keamanan AI, tetapi ketika adopsi meningkat, sehingga juga kebutuhan akan cakupan keamanan tambahan. Kami belajar sejak dini bahwa ada nilai dalam solusi yang kuat dan komprehensif yang mencakup kemampuan yang beroperasi bersama dan dengan integrasi yang mulus. Pelanggan mendapat manfaat dari solusi di mana keseluruhan lebih besar dari jumlah bagian-bagiannya.

Ketika pasar matang, kami mengidentifikasi celah lain, yaitu bahwa organisasi mencari alat keamanan yang lebih disesuaikan dan kurang generik untuk melindungi agen dan aplikasi mereka. Salah satu alasan di balik pendekatan kami yang sadar konteks adalah untuk mengatasi celah ini, dengan pemahaman bahwa setiap aplikasi dan agen berbeda dan perlu dilindungi secara sesuai.

Jika kita melihat lima tahun ke depan, bagaimana Anda perkirakan risiko AI perusahaan akan berkembang—dan di mana Anda percaya DeepKeep perlu berada untuk tetap di depan masa depan itu?

Saya perkirakan bahwa risiko AI terbesar dalam lima tahun ke depan akan berkembang seiring dengan kemajuan dalam otonomi AI. Ketika agen menjadi lebih otonom, terintegrasi dalam setiap operasi bisnis, dan mampu melakukan tugas yang kompleks, potensi untuk pelanggaran keamanan dan penyalahgunaan akan tumbuh. Kami memprediksi perkembangan Internet of Agents (IoA), di mana agen berinteraksi dengan satu sama lain, membentuk jaringan interaksi AI yang jauh lebih kompleks untuk dilindungi.

Untuk tetap di depan, DeepKeep akan terus berkembang untuk mengamankan sistem AI yang semakin kompleks, memastikan bahwa kami menyediakan perlindungan waktu jalankan di tion across multiple AI models and support the growing trend of AI-powered decision making. Our goal is to be the trusted partner that businesses rely on to secure their entire AI ecosystem, no matter how sophisticated it becomes. Thank you for the great interview, readers who wish to learn more should visit DeepKeep.