Pendanaan

Zenity Mengumpulkan $125 Juta karena Perusahaan Menghadapi Risiko Keamanan Agen AI Otonom

mm
Tambahkan Unite.AI ke sumber pilihan Anda di Google

Zenity telah mengumpulkan $125 juta dalam pendanaan Seri C karena bisnis memindahkan agen intelijen buatan dari eksperimen yang terkendali ke sistem yang dapat mengakses data, memanggil perangkat lunak, dan menyelesaikan tugas operasional.

Norwest memimpin putaran ini, dengan Qumra Capital, SoftBank Vision Fund 2, Hitachi Ventures dan LG Technology Ventures bergabung sebagai investor baru. Investor yang sudah ada, Vertex Ventures, Third Point Ventures, DTCP, dan Intel Capital juga berpartisipasi. Perusahaan tidak mengungkapkan valuasinya.

Pendanaan ini mengikuti pendanaan Seri B Zenity sebesar $38 juta pada Oktober 2024 dan membawa pendanaan yang diungkapkan perusahaan menjadi setidaknya $180 juta.

Dari Eksperimen AI ke Sistem Otonom

Ukuran putaran ini mencerminkan perubahan yang lebih luas dalam cara perusahaan mengadopsi AI. Gelombang pertama kecerdasan buatan generatif terutama melibatkan karyawan yang berinteraksi dengan chatbot untuk menghasilkan teks, meringkas dokumen, atau mengambil informasi.

Agen AI memperkenalkan tingkat risiko yang berbeda karena mereka dapat mengambil tindakan. Tergantung pada izin mereka, agen mungkin mengakses database internal, memanggil antarmuka pemrograman aplikasi, memperbarui catatan, menjalankan kode, mengirim pesan, atau memulai alur kerja yang melibatkan beberapa sistem perusahaan.

Ini menggeser masalah keamanan melampaui apakah model menghasilkan respons yang tidak pantas. Organisasi juga harus memahami agen mana yang telah diterapkan, siapa yang mengendalikannya, informasi apa yang dapat diakses, dan tindakan apa yang mereka izinkan untuk dilakukan.

Suatu agen dapat berperilaku persis seperti yang dirancang sementara masih menciptakan insiden keamanan jika memiliki izin yang berlebihan, menghadapi informasi yang dimanipulasi, atau menafsirkan instruksi penyerang sebagai bagian dari tugas yang sah.

Zenity menggambarkan ini sebagai masalah “lapisan agen”. Platformnya dirancang untuk memeriksa konfigurasi agen, izin, alat yang terhubung, memori, dan tindakan runtime, bukan hanya melihat prompt yang memasuki model atau respons yang dihasilkannya.

Bagaimana Zenity Mengamankan Agen AI

Zenity membagi platformnya menjadi tiga area utama: observabilitas, pengelolaan postur keamanan, dan deteksi serta respons.

Komponen observabilitas menemukan dan menginventarisasi agen yang beroperasi di seluruh organisasi. Ini termasuk agen yang tertanam dalam platform perangkat lunak sebagai layanan, agen yang dikembangkan secara internal yang berjalan di lingkungan cloud, dan alat lokal yang dipasang pada perangkat karyawan.

Tujuannya adalah untuk memberikan tim keamanan gambaran yang terus diperbarui tentang setiap agen, termasuk pemilik, konfigurasi, izin, integrasi, dan perilaku runtime. Ini menjadi semakin penting karena departemen dan karyawan individu mendapatkan kemampuan untuk membuat agen tanpa melalui proses pengembangan perangkat lunak atau tinjauan keamanan konvensional.

Lapisan tata kelola Zenity mengevaluasi konfigurasi dan izin sebelum agen memasuki produksi. Kebijakan dapat digunakan untuk mengidentifikasi akses yang berlebihan, integrasi yang tidak aman, atau alat yang dapat memungkinkan agen untuk beroperasi di luar perannya yang dimaksud. Platform dapat terus memeriksa kontrol tersebut saat agen dimodifikasi seiring waktu.

Pada saat runtime, Zenity menganalisis jalur eksekusi agen, termasuk panggilan alat, akses memori, penggunaan data, dan interaksi dengan sistem lain. Perusahaan mengatakan dapat menggunakan konteks ini untuk mengizinkan, memodifikasi, atau memblokir tindakan sebelum terjadi.

Pendekatan ini dimaksudkan untuk membedakan antara permintaan normal dan permintaan yang tampaknya normal yang telah dipengaruhi oleh konten berbahaya. Ini juga mengatasi keterbatasan penting dari penyaringan prompt: hasil berbahaya dapat muncul dari urutan tindakan yang secara individu tidak berbahaya.

Mengcover SaaS, Cloud, dan Perangkat Karyawan

Zenity berusaha untuk menyediakan lapisan keamanan yang umum di seluruh ekosistem agen yang terfragmentasi.

Untuk lingkungan perangkat lunak sebagai layanan, ia mendukung agen yang terkait dengan platform seperti Microsoft 365 Copilot, Microsoft Copilot Studio, ChatGPT Enterprise, dan Salesforce (CRM ) Agentforce. Sistem ini dapat memberikan agen akses ke dokumen bisnis, catatan pelanggan, komunikasi, dan alur kerja yang perusahaan tidak sepenuhnya host atau kontrol.

Platform ini juga mendukung agen kustom yang dibangun dengan layanan seperti AWS Bedrock, Azure AI Foundry, dan Google Vertex AI. Zenity memantau alat dan layanan cloud yang dipanggil oleh agen-agen ini sambil menerapkan kebijakan selama pengembangan dan eksekusi.

Area ketiga melibatkan agen berbasis perangkat seperti asisten pengkodean, aplikasi desktop, dan browser agen. Alat ini dapat beroperasi di dalam lingkungan yang telah diautentikasi karyawan, potensialmente mewarisi akses ke file, sesi browser, dan layanan yang terhubung.

Menggabungkan lingkungan ini ke dalam satu sistem dapat menyederhanakan tata kelola, tetapi juga menciptakan tantangan teknis yang signifikan. Arsitektur, izin, dan telemetri yang tersedia dari copilot perangkat lunak sebagai layanan dapat berbeda secara substansial dari agen cloud kustom atau alat yang dipasang secara lokal.

Penelitian Keamanan Menyoroti Model Ancaman yang Muncul

Zenity telah mendukung pengembangan produknya dengan penelitian yang dilakukan melalui Zenity Labs, yang menyelidiki bagaimana sistem otonom dapat dimanipulasi melalui konten yang tidak tepercaya.

Penelitian AgentFlayer mereka mengeksaminasi rantai serangan zero-klik dan satu-klik yang melibatkan platform AI perusahaan yang banyak digunakan. Demonstrasi tersebut termasuk skenario di mana instruksi berbahaya yang disampaikan melalui email, dokumen, kasus dukungan, atau alat kolaborasi menyebabkan agen mengungkapkan informasi, menyalahgunakan alat yang terhubung, atau mengubah respons mereka.

Penelitian lebih lanjut memeriksa browser agen Comet Perplexity. Peneliti Zenity menunjukkan bagaimana instruksi tersembunyi di dalam undangan kalender dapat mempengaruhi browser saat melakukan tugas rutin. Dalam satu skenario, agen yang dikompromikan menavigasi vault web 1Password yang tidak terkunci dan mengirimkan kredensial melalui permintaan web biasa.

Penelitian ini mengaitkan masalah ini dengan pemisahan yang tidak cukup antara niat pengguna dan konten pihak ketiga yang dihadapi agen. Karena agen sudah beroperasi dalam sesi browser yang telah diautentikasi, ia dapat potensialmente menggunakan akses yang telah diberikan pengguna secara sah.

Demonstrasi ini mengilustrasikan mengapa keamanan agen tidak dapat bergantung sepenuhnya pada mendeteksi prompt yang jelas-jelas berbahaya. Instruksi mungkin terkubur di dalam data yang diharapkan agen untuk dibaca, sementara tindakan yang dihasilkan mungkin menyerupai browsing normal, pengambilan dokumen, atau aktivitas aplikasi.

Mereka juga menekankan pentingnya batasan yang tetap dapat ditegakkan bahkan ketika penalaran agen telah dimanipulasi.

Mengumpulkan Dana untuk Ekspansi Global dan Pengembangan Produk

Zenity mengatakan bahwa pendapatannya telah meningkat tiga kali lipat dalam dua tahun terakhir dan berada pada jalur untuk meningkat tiga kali lipat lagi tahun ini. Perusahaan melaporkan bahwa banyak pelanggannya adalah organisasi Fortune 500 dan Global 2000 yang beroperasi di industri yang diatur seperti jasa keuangan, layanan kesehatan, farmasi, manufaktur, dan energi.

Sekarang mereka memiliki lebih dari 230 karyawan, dengan penelitian dan pengembangan yang berpusat di Tel Aviv dan fungsi pemasaran dan operasional yang dipimpin dari New York.

Pendanaan Seri C akan digunakan untuk mempercepat pengembangan produk, memperluas Zenity Labs, dan memperkuat kehadiran perusahaan di Eropa dan wilayah Asia-Pasifik. Ini juga akan memberi Zenity sumber daya tambahan untuk mendukung jumlah framework agen yang meningkat saat infrastruktur AI perusahaan menjadi lebih beragam.

Ekspansi ini datang kurang dari dua tahun setelah putaran institusional sebelumnya, ketika Zenity masih menekankan asal-usulnya dalam keamanan aplikasi low-code dan no-code. Posisi saat ini mencerminkan bagaimana kekhawatiran sebelumnya telah berkembang: karyawan yang dapat membangun aplikasi bisnis sederhana sekarang dapat membuat agen yang dapat mengambil keputusan dan mengoperasikan sistem yang terhubung.

Keamanan Agen AI Menjadi Kategori Sendiri

Penggalangan dana Zenity menandakan kepercayaan investor bahwa keamanan agen AI dapat berkembang menjadi kategori keamanan siber yang substansial, bukan hanya fitur dalam produk cloud, identitas, atau endpoint yang ada.

Argumen untuk kategori yang didedikasikan adalah bahwa alat konvensional umumnya hanya melihat sebagian dari aktivitas agen. Platform keamanan cloud dapat memeriksa infrastruktur, sistem identitas dapat mengelola izin, dan produk endpoint dapat mendeteksi ancaman tingkat sistem operasi. Mereka tidak selalu memahami peran agen yang dimaksud atau bagaimana rantai panggilan alat terkait dengan tujuan pengguna asli.

Zenity masih perlu membuktikan bahwa kontrol berbasis niat dapat beroperasi di seluruh kerangka kerja yang berubah cepat tanpa membuat alert yang berlebihan, memblokir pekerjaan yang sah, atau menambahkan latensi yang tidak dapat diterima. Perusahaan juga harus menunjukkan bahwa perusahaan akan membeli platform keamanan agen terpisah daripada mengandalkan kontrol yang ditambahkan oleh penyedia cloud dan perangkat lunak utama.

Peluang pasar yang langsung bagaimanapun menjadi lebih jelas. Ketika agen mendapatkan akses ke data sensitif dan mulai mengontrol proses bisnis yang signifikan, organisasi akan memerlukan lebih dari sekadar catatan tentang apa yang terjadi setelah insiden. Mereka akan memerlukan mekanisme yang dapat mengidentifikasi agen mana yang ada, membatasi apa yang dapat mereka lakukan, dan mengintervensi sebelum tindakan yang tidak disengaja menjadi pelanggaran.

Zenity’s $125 juta Seri C memberikan perusahaan sumber daya yang signifikan untuk mengejar peran tersebut saat tim keamanan mempersiapkan diri untuk lingkungan perusahaan yang semakin banyak dihuni oleh perangkat lunak otonom.

Antoine adalah seorang pemimpin visioner dan rekan pendiri Unite.AI, yang dipandu oleh semangat tak tergoyahkan untuk membentuk dan mempromosikan masa depan AI dan robotika. Sebagai seorang wirausaha serial, ia percaya bahwa AI akan menjadi sangat mengganggu masyarakat seperti listrik, dan sering tertangkap berbicara tentang potensi teknologi disruptif dan AGI.

Sebagai seorang futuris, ia berdedikasi untuk mengeksplorasi bagaimana inovasi ini akan membentuk dunia kita. Selain itu, ia adalah pendiri Securities.io, sebuah platform yang berfokus pada investasi di teknologi-teknologi canggih yang mendefinisikan kembali masa depan dan membentuk kembali seluruh sektor.