Sushil Kumar, CEO Cyara – Seri Wawancara

Sushil Kumar, CEO Cyara adalah eksekutif perangkat lunak perusahaan yang berpengalaman dan wirausahawan dengan lebih dari 25 tahun kepemimpinan di bidang kecerdasan buatan, DevOps, infrastruktur cloud, strategi produk, dan pengujian perangkat lunak. Ia bergabung dengan Cyara sebagai CEO pada Desember 2025, setelah menjabat sebagai co‑founder dan CEO RelicX.ai, di mana ia membangun platform otomasi pengujian berbasis niat yang didukung AI generatif yang kemudian diakuisisi oleh Harness. Selanjutnya ia memimpin integrasi teknologi RelicX ke dalam Harness dan membantu membentuk strategi AI Test Automation perusahaan tersebut. Pada awal kariernya, Kumar pernah menjabat sebagai General Manager DevOps di Broadcom, Senior Vice President of Products di CA Technologies, dan menghabiskan lebih dari 16 tahun di Oracle, di mana ia memegang peran kepemimpinan produk senior serta membantu mengembangkan bisnis perangkat lunak perusahaan besar. Dalam semua peran tersebut, ia fokus pada pembangunan dan penskalaan platform AI, cloud, DevOps, dan otomasi untuk perusahaan besar. Penunjukannya di Cyara difokuskan pada memperluas kemampuan jaminan pengalaman pelanggan berbasis AI serta jangkauan global perusahaan.

Cyara adalah perusahaan jaminan pengalaman pelanggan yang membantu perusahaan menguji, memantau, dan memvalidasi interaksi pelanggan melalui saluran suara, digital, pesan, dan AI percakapan. Platform Cyara Agentic dirancang untuk mengatasi tantangan yang semakin meningkat akibat pengalaman pelanggan yang digerakkan AI, termasuk pengujian agen AI non-deterministik, mendeteksi halusinasi dan drift perilaku, memvalidasi kepatuhan, memantau sistem produksi, serta menilai perjalanan pelanggan end‑to‑end. Platform ini menggabungkan pengujian agen AI, pemantauan produksi, jaminan suara dan telekomunikasi, pengujian saluran digital, dan observabilitas CX, mendukung lebih dari 350 juta perjalanan pelanggan setiap tahun di lebih dari 140 negara. Seiring perusahaan menerapkan agen AI yang semakin otonom ke dalam alur kerja yang berhadapan dengan pelanggan, Cyara menempatkan teknologinya sebagai lapisan jaminan untuk mengevaluasi apakah sistem tersebut berperilaku dapat diandalkan, aman, dan konsisten sebelum dan sesudah penyebaran.

Anda telah menghabiskan sebagian besar karier Anda membangun dan menskalakan perangkat lunak perusahaan, mulai dari Oracle dan CA/Broadcom hingga mendirikan Relicx dan kini memimpin Cyara. Bagaimana pengalaman itu membentuk pandangan Anda bahwa agen AI seharusnya dikelola lebih seperti anggota tenaga kerja daripada seperti perangkat lunak tradisional?

Saya telah menghabiskan sebagian besar karier saya membangun dan menskalakan perangkat lunak perusahaan, dan disiplin yang kami bangun di sana adalah disiplin yang berfokus pada sistem deterministik. Anda tahu apa yang seharusnya dilakukan perangkat lunak. Anda memvalidasinya terhadap harapan tersebut. Ketika terjadi kegagalan, itu memberi tahu Anda: sebuah kesalahan, transaksi yang gagal, sebuah peringatan.

Agen AI tidak beroperasi seperti itu. Mereka bersifat non-deterministik, sehingga input yang sama dapat mengambil jalur yang berbeda. Lebih penting lagi, mereka dapat bertindak atas nama perusahaan. Mereka membuat komitmen: pengembalian dana, kebijakan, janji. Dan ketika salah satu komitmen itu salah, tidak ada yang rusak. Jawaban yang salah terdengar persis seperti jawaban yang benar. Transaksi berhasil, dasbor tetap hijau, dan pelanggan pergi dengan sesuatu yang tidak pernah disetujui perusahaan.

Setelah perangkat lunak dapat membuat keputusan dan komitmen, serta dapat salah tanpa memberi tahu Anda, ia memerlukan model operasional yang berbeda.

Di sinilah perbandingan dengan tenaga kerja menjadi relevan. Anda tidak mengelola seorang karyawan dengan menuliskan skrip untuk setiap keputusan yang akan mereka buat. Anda memberi mereka peran, menetapkan otoritas yang menyertainya, dan memperluas otoritas tersebut seiring mereka memperolehnya. Sebuah agen berperilaku sama di bawah struktur yang serupa.

Menurut saya, otonomi bukan keputusan penempatan. Itu adalah serangkaian promosi. Sebuah agen memperoleh masing‑masing promosi dengan menunjukkan bahwa ia dapat melakukan pekerjaan, tetap berada dalam otoritasnya, dan menyadari kapan ia membutuhkan bantuan.

Apa bentuk model operasional \”mirip HR\” untuk agen AI di dalam sebuah perusahaan, dan elemen apa yang sebaiknya perusahaan terapkan terlebih dahulu?

Mulailah dengan pekerjaan. Setiap agen harus memiliki sesuatu yang mendekati deskripsi pekerjaan sebelum mendekati produksi. Apa yang harus dicapai, informasi apa yang menjadi otoritatif baginya, data pelanggan apa yang dapat digunakannya, keputusan apa yang dapat diambilnya secara mandiri, dan di mana batas tanggung jawabnya. Jika sebuah perusahaan tidak dapat menuliskannya dalam satu paragraf, agen tersebut belum siap untuk peran. Ia hanya siap untuk demo.

Empat hal mengikuti peran tersebut, dan urutannya penting. Bukti sebelum peluncuran, yang berarti membuktikan bahwa agen dapat melakukan pekerjaan dalam kondisi yang menyerupai dunia nyata, bukan hanya dalam tes terkontrol. Pengawasan selama agen beroperasi, sehingga Anda mengetahui apa yang sebenarnya dilakukan agen, bukan sekadar apakah sistem merespons. Gerbang promosi, sehingga otoritas tambahan diberikan ketika ada bukti yang mendukung, bukan sebelumnya. Dan seorang pemilik di bisnis, bukan di teknik, yang bertanggung jawab atas apa yang diizinkan agen lakukan.

Jika urutan salah, hal lainnya tidak akan berlaku. Jika tanggung jawab tidak jelas, kinerja baik tidak dapat dibuktikan, begitu pula kegagalan. Peran harus pertama, kemudian bukti mengikutinya.

Jika sebuah agen AI diberikan peran spesifik, bagaimana organisasi harus mendefinisikan tanggung jawab, izin, dan batasannya sebelum mengizinkannya berinteraksi dengan pelanggan atau sistem kritis?

Peran menjelaskan untuk apa agen tersebut. Izin menjelaskan apa yang dapat dijangkau. Kedua hal itu merupakan dua percakapan yang berbeda, dan perusahaan cenderung hanya memiliki percakapan pertama.

Jelaskan secara eksplisit tiga hal. Sistem dan data apa yang dapat disentuh agen, serta arahannya, karena membaca catatan pelanggan dan mengubahnya bukanlah izin yang sama. Apa yang dapat ia lakukan secara mandiri, yang menjadi tempat uang dan tanggung jawab berada: pengembalian dana, kredit, atau pengecualian kebijakan. Dan apa yang memaksa penyerahan, baik kasus yang dapat Anda sebutkan sebelumnya maupun sinyal bahwa agen telah melampaui kompetensinya.

Ini bukan keputusan yang dapat diserahkan kepada tim teknologi. Mereka menentukan risiko yang diambil perusahaan. Orang yang bertanggung jawab atas pengalaman pelanggan dan eksposur kepatuhan perlu berpendapat tentang batasan-batasan tersebut, dan biasanya mereka adalah yang terakhir dimintai pendapat.

Kemudian Anda harus membuktikan bahwa agen tetap berada dalam batasan tersebut. Tujuannya bukan menghilangkan setiap kemungkinan kesalahan. Akan ada kesalahan. Pertanyaannya adalah apakah agen memahami batasnya, tahu kapan harus berhenti, dan dapat melakukan tugas yang diberikan tanpa menimbulkan konsekuensi di tempat lain dalam perjalanan pelanggan.

Anda berargumen bahwa otonomi yang lebih besar harus diperoleh daripada diberikan sejak awal. Apa yang harus ditunjukkan oleh agen AI sebelum perusahaan memperluas ruang lingkup tindakan yang dapat ia lakukan secara independen?

Sekarang mudah untuk membangun agen AI. Bagian yang sulit adalah membuktikan bahwa ia layak mendapatkan otonomi.

Sebelum memperluas apa yang dapat dilakukan agen secara mandiri, perusahaan memerlukan bukti bahwa agen tersebut melaksanakan tugas yang diberikan secara konsisten dan tetap berada dalam batasannya. Itu berarti bagaimana ia menangani situasi yang Anda harapkan, serta situasi yang tidak terduga. Agen dapat tampak kuat dalam kondisi terkontrol namun berperilaku berbeda ketika konteks atau sistem di sekitarnya berubah.

Seorang pelanggan mungkin memulai dengan pertanyaan penagihan sederhana dan menjadi frustrasi setelah pembayaran gagal. Agen harus mengenali perubahan itu saat terjadi dan mengubah arah, alih-alih terus melanjutkan jalur yang telah divalidasi.

Tiga hal harus terpenuhi sebelum otoritas diperluas. Agen melakukan tugasnya dalam kondisi nyata, bukan hanya kondisi bersih. Ia mengetahui batas kompetensinya dan berhenti di situ. Dan seseorang dapat menyediakan bukti untuk keduanya atas permintaan.

Tingkat bukti harus sebanding dengan tingkat otonomi. Keputusan kecil, bukti ringan. Akses ke sistem pembayaran, atau kemampuan untuk mengikat perusahaan pada pengecualian kebijakan, harus memiliki standar yang jauh lebih tinggi.

Bagaimana perusahaan harus terus-menerus mengevaluasi kinerja agen AI setelah mereka diterapkan, terutama ketika kualitas keputusan mereka tidak dapat ditangkap hanya dengan metrik pengujian perangkat lunak tradisional?

Di sinilah pemikiran perangkat lunak tradisional gagal. Dengan perangkat lunak deterministik Anda menguji apakah sesuatu lulus atau gagal. Dengan agen AI, Anda dapat memperoleh respons yang berhasil dari sistem namun tetap mengalami interaksi pelanggan yang gagal.

Jadi Anda mengevaluasi hasil, bukan responsnya. Apakah agen memahami apa yang ingin dicapai pelanggan? Apakah ia menggunakan informasi yang tepat? Apakah ia menyelesaikan perjalanan? Apakah ia tetap berada dalam batasannya dan melakukan eskalasi ketika seharusnya?

Evaluasi dasar, menilai jawaban terhadap set emas, adalah standar minimum. Setiap perusahaan akan memiliki itu. Dimensi yang menentukan apakah pelanggan terus mempercayai Anda berada di bawahnya: kepatuhan, bias, penyalahgunaan, dan bagaimana agen bertahan dengan pemanggil nyata, aksen mereka, kebisingan latar, handset murah, interupsi di tengah kalimat. Dalam suara hal ini lebih penting daripada yang orang perkirakan, karena setiap skor berdasar pada transkrip. Jika lapisan suara salah mendengar pertanyaan, agen menjawab pertanyaan yang tidak ada yang menanyakannya.

Perhitungan ini layak dipertimbangkan. Skor 99% dalam evaluasi terdengar luar biasa. Dengan satu juta percakapan per tahun, itu berarti sepuluh ribu yang gagal.

Dua prinsip tetap berlaku. Validasi harus independen dari agen dan platform model. Kami tidak membangun agen sendiri, yang menjadi alasan mengapa saya dapat menyatakan secara tegas bahwa tidak ada vendor yang seharusnya menjadi hakim AI mereka sendiri. Standarnya adalah kebijakan perusahaan sendiri, komitmen pelanggan, dan kewajiban regulatori, bukan kartu skor vendor.

Dan setiap kegagalan produksi harus menjadi gerbang. Bukan tiket, bukan item backlog. Sebuah tes yang harus dilewati agen sebelum rilis berikutnya diluncurkan. Jika masalah terjadi di produksi dan tidak menjadi sesuatu yang harus dilalui agen, Anda membayar untuk menemukan masalah yang sama dua kali.

Kepercayaan dan tata kelola semakin sering disebut sebagai hambatan utama untuk memperluas AI yang bersifat agen. Apakah Anda percaya teknologi berkembang lebih cepat daripada kemampuan perusahaan untuk mengawasinya, dan risiko apa yang ditimbulkannya?

Saya pikir itulah yang sebenarnya terjadi, dan kesenjangan tersebut bersifat struktural bukan kegagalan upaya. Sebuah ide dapat menjadi agen yang berhadapan dengan pelanggan dalam hitungan minggu. Disiplin operasional seputar agen itu, kepemilikan, bukti, pengawasan, memakan waktu jauh lebih lama, karena melibatkan orang dan akuntabilitas, bukan hanya perangkat lunak.

Risikonya adalah kesenjangan tetap tidak terlihat sementara semakin melebar. Seorang agen dapat memberikan jawaban yang salah dengan keyakinan kepada pelanggan tanpa ada kesalahan, tanpa transaksi yang gagal, dan tanpa peringatan. Setiap dasbor tampak hijau. Operasi tradisional bergantung pada sistem yang memberi tahu Anda ketika ada masalah, dan agen tidak dapat diandalkan melakukan hal itu.

Saya tidak berpikir jawabannya adalah memperlambat. Perusahaan yang akan menang di sini akan bergerak cepat. Jawabannya adalah membangun bukti dan pengawasan yang memungkinkan Anda bergerak cepat dengan keyakinan. Semakin banyak otonomi yang diberikan kepada agen, semakin banyak bukti yang Anda butuhkan bahwa ia dapat memikul tanggung jawab.

Ketika agen otonom membuat keputusan yang buruk, siapa yang seharusnya pada akhirnya bertanggung jawab: pengembang, unit bisnis yang mengoperasikannya, vendor yang menyediakan model, atau eksekutif yang menyetujui penggunaannya?

Pada akhirnya perusahaan yang mengoperasikan agen memiliki hasilnya. Beberapa pihak terlibat dalam membangun dan mengoperasikan sistem, tetapi pelanggan tidak memiliki hubungan dengan penyedia model. Pelanggan memiliki hubungan dengan perusahaan yang namanya tercantum pada interaksi.

Itu tidak berarti akuntabilitas berada pada satu orang. Akuntabilitas mengalir melalui rantai keputusan. Pengembang bertanggung jawab atas cara sistem dibangun. Bisnis memutuskan apa yang boleh dilakukan agen. Vendor bertanggung jawab atas teknologi yang disediakannya. Kepemimpinan bertanggung jawab memastikan perusahaan memiliki kontrol dan pengawasan untuk mengelola risiko secara menyeluruh.

Kesalahannya adalah menganggap bahwa karena model yang membuat keputusan, modellah yang memilikinya. Itu tidak benar. Jika seorang agen membuat komitmen kepada pelanggan atas nama Anda, komitmen tersebut menjadi milik merek. Pelanggan memahami hal ini secara naluriah, begitu pula regulator.

Agent AI dapat berperilaku tidak terduga ketika mereka menghadapi situasi yang tidak diperkirakan selama pengujian. Bagaimana perusahaan harus menguji kasus tepi ini sebelum agen diberikan akses ke pelanggan, sistem keuangan, atau data sensitif?

Anda harus mengasumsikan bahwa agen pada akhirnya akan menemui sesuatu yang tidak dirancang untuknya. Pertanyaannya adalah apa yang terjadi ketika itu terjadi.

Jadi, lakukan validasi di luar jalur yang diharapkan. Berikan agen permintaan yang ambigu. Berikan informasi yang bertentangan. Berikan konteks yang tidak lengkap. Tempatkan dalam situasi di mana jawaban yang tepat adalah menghentikan dan meningkatkan alih-alih melanjutkan. Tambahkan kondisi dunia nyata, yang dalam suara berarti aksen, kebisingan, koneksi buruk, dan penelepon yang mengubah topik di tengah percakapan. Tujuannya bukan untuk mengonfirmasi bahwa agen berfungsi, melainkan untuk mengetahui bagaimana ia berperilaku ketika kondisi tidak bersih.

Poin yang lebih penting adalah Anda harus memvalidasi seluruh perjalanan, bukan agen secara terpisah. Model biasanya bukan masalahnya. Ketika sesuatu berjalan salah, pertanyaan pertama saya adalah konteks apa yang diterima model. Mungkin itu adalah artikel pengetahuan yang usang, atau dua sistem yang membawa kebijakan yang bertentangan, atau serah terima yang kehilangan apa yang sudah dijelaskan pelanggan. Setiap komponen dapat lulus ujiannya masing-masing dan perjalanan pelanggan tetap dapat gagal di sela-sela antar komponen.

Lapisan antara sistem tersebut adalah yang telah kami habiskan bertahun-tahun untuk menginstrumentasikannya, meliputi 450 perusahaan dan lebih dari 350 juta perjalanan pelanggan per tahun. Baik bersifat agen maupun tidak, ia mengalami kegagalan dengan cara yang sama. Kami juga melihat agen yang dibangun di atas teknologi lebih dari 55 vendor berbeda, serta setiap platform pusat kontak utama, yang menunjukkan pola ini tetap berlaku terlepas dari model apa yang mendasarinya.

Sebelum agen mendapatkan akses ke sesuatu yang penting, perusahaan harus memiliki bukti tentang apa yang dilakukannya ketika segala sesuatunya berjalan baik dan ketika tidak.

Bagaimana Anda melihat evolusi pengujian AI saat perusahaan beralih dari perangkat lunak deterministik ke sistem yang beralasan, merencanakan, berkomunikasi, dan mengambil tindakan di berbagai aplikasi?

Pengujian harus beralih dari menanyakan apakah sistem menghasilkan jawaban yang diharapkan menjadi menanyakan apakah sistem mencapai hasil yang tepat.

Itu merupakan pergeseran signifikan. Seorang agen mungkin mengambil beberapa jalur berbeda untuk menyelesaikan masalah pelanggan yang sama, dan jalur-jalur tersebut dapat berubah seiring waktu seiring model dan pengetahuan di baliknya berubah. Anda tidak dapat menulis skrip untuk setiap interaksi yang mungkin. Anda harus mengevaluasi apakah agen memahami niat, membuat keputusan yang tepat sepanjang proses, dan tetap berada dalam batasan yang diberikan.

Saya ingin berhati-hati tentang satu hal, karena industri mulai melakukan kesalahan dengan cara yang mahal. Pengujian pra-peluncuran kini lebih penting, bukan kurang. Itulah yang menentukan apakah agen siap. Argumen bahwa Anda dapat melewatkannya dan langsung mengamati produksi justru merupakan argumen untuk menemukan masalah di depan pelanggan.

Yang berubah adalah pengujian pra-peluncuran tidak lagi menjadi akhir proses. Produksi mengungkap kondisi yang tidak dapat sepenuhnya direproduksi oleh lingkungan terkendali, dan apa yang diungkap produksi menjadi tes yang harus dilalui agen sebelum rilis berikutnya. Bukti sebelum peluncuran, kewaspadaan dalam produksi, dan keduanya saling melengkapi. Agen yang beroperasi pada bulan keenam harus secara terukur lebih baik daripada yang diluncurkan.

Ke depan, apa yang akan membedakan organisasi yang berhasil membangun tenaga kerja AI terpercaya dari mereka yang tetap terjebak menjalankan pilot AI bersifat agen kecil?

Organisasi yang mendapatkan hasil nyata dari agen-agen adalah yang membangun model operasional berdasarkan bukti. Organisasi yang terhambat biasanya tidak terhalang oleh teknologi. Mereka terhalang karena tidak ada yang dapat menghasilkan apa yang dibutuhkan pada tingkat persetujuan berikutnya. Bagian hukum mengajukan pertanyaan yang wajar, atau komite risiko melakukannya, dan tidak ada jawaban, sehingga pilot tetap menjadi pilot. Teknologi mungkin sudah siap, namun organisasi masih tidak dapat membenarkan memberikannya otoritas lebih.

Itulah perbedaan antara pilot dan tenaga kerja operasional. Dalam sebuah pilot, selalu ada yang mengawasi. Dalam model operasional, setiap agen memiliki tugas yang dapat Anda nyatakan dalam satu kalimat. Otoritasnya terbatas dan dituliskan. Kinerjanya dievaluasi oleh sesuatu selain tim yang membuatnya. Kegagalan produksi menjadi gerbang rilis. Lebih banyak otonomi mengikuti bukti.

Perbedaan kedua adalah kepemilikan. Pada perusahaan yang berkembang, agen tersebut menjadi bagian dari fungsi bisnis yang dilayaninya, dengan pemilik yang bernama dan bertanggung jawab atas apa yang dilakukannya. Jika tetap menjadi proyek AI yang dimiliki oleh tim AI, ia tetap kecil, karena tidak ada pemimpin bisnis yang akan menanggung risiko sesuatu yang tidak mereka kendalikan.

Tidak ada yang eksotis dalam hal ini. Ini mirip dengan cara perusahaan sudah mengelola orang-orang yang mereka percayai dengan tanggung jawab nyata.

Sebuah pilot dapat dijalankan berdasarkan keyakinan organisasi. Skalabilitas memerlukan bukti.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin belajar lebih lanjut harus mengunjungi Cyara.