Prince Kohli, Presiden dan CEO Sauce Labs – Seri Wawancara

Prince Kohli, Presiden dan CEO Sauce Labs, adalah eksekutif teknologi veteran dengan pengalaman luas yang mencakup kecerdasan buatan, perangkat lunak perusahaan, komputasi awan, otomatisasi, jaringan, dan keamanan siber. Sebelum bergabung dengan Sauce Labs pada Februari 2025, ia menghabiskan lebih dari enam tahun sebagai Chief Technology Officer di Automation Anywhere, di mana ia membantu mengembangkan teknologi otomatisasi berbasis AI untuk perusahaan besar. Sebelumnya, Kohli menjabat sebagai Senior Vice President of Engineering di ThoughtSpot dan memegang peran kepemimpinan senior di Ericsson, termasuk mengawasi organisasi R&D global yang terdiri dari lebih dari 10.000 insinyur. Ia juga menghabiskan hampir satu dekade di Citrix memimpin inisiatif platform, jaringan awan, rekayasa, dan operasi. Pada awal kariernya, ia ikut mendirikan perusahaan keamanan aplikasi Teros dan bekerja sebagai pemimpin teknis di SGI. Selain peran eksekutifnya, Kohli telah berkontribusi pada inisiatif tata kelola teknologi melalui Ethical AI Governance Group dan sebelumnya berpartisipasi dalam kelompok kerja Safe Systems and Technologies di World Economic Forum.

Sauce Labs adalah perusahaan kualitas perangkat lunak dan pengujian berkelanjutan yang menyediakan infrastruktur dan alat bagi perusahaan untuk menguji aplikasi web dan seluler di berbagai peramban, sistem operasi, lingkungan virtual, dan perangkat nyata. Platformnya mendukung kemampuan termasuk pengujian otomatis dan manual, pengujian visual, distribusi aplikasi seluler, pelaporan kesalahan, serta penulisan dan analitik pengujian berbasis AI, sambil terintegrasi dengan alur kerja integrasi dan pengiriman berkelanjutan yang umum. Sauce Labs semakin memposisikan teknologinya di sekitar AURA, platform AI-Unified Release Assurance, yang menggunakan agen AI untuk membantu menghasilkan, mengeksekusi, dan menganalisis pengujian sambil mempertahankan pengawasan manusia sepanjang proses rilis perangkat lunak. Perusahaan menyatakan bahwa infrastrukturnya telah mendukung lebih dari 8,7 miliar eksekusi pengujian dan lebih dari 300.000 pengguna perusahaan, dengan mengandalkan hampir dua dekade data pengujian lintas platform.

Sebelum bergabung dengan Sauce Labs, Anda memimpin otomatisasi berbasis AI di Automation Anywhere dan mengelola organisasi cloud serta rekayasa utama di perusahaan termasuk Ericsson dan Citrix. Bagaimana pengalaman tersebut membentuk pandangan Anda tentang masalah kualitas perangkat lunak, dan apa yang meyakinkan Anda untuk menjadikan jaminan rilis AI‑native sebagai prioritas utama di Sauce Labs?

Di Ericsson dan Citrix, saya menyaksikan betapa cepatnya sebuah cacat perangkat lunak dapat menyebar dan memengaruhi infrastruktur global, menimbulkan dampak besar pada keamanan, operasi pelanggan, kepercayaan, dan pendapatan. Automation Anywhere menunjukkan kepada saya bagaimana AI mengubah kecepatan dan struktur kerja, dan menjadi jelas bahwa pengujian harus dibangun kembali untuk mengimbangi kecepatan perangkat lunak yang dihasilkan AI. Sauce Labs merupakan pelopor otomasi pengujian, sehingga jaminan rilis AI‑native adalah masalah utama berikutnya yang kami dirikan untuk diselesaikan.

Penelitian Sauce Labs menemukan bahwa 80% organisasi melacak insiden produksi, gangguan, atau cacat yang memengaruhi pelanggan hingga kode yang dihasilkan AI. Apakah hal ini lebih menunjukkan kelemahan pada kode yang dihasilkan AI, atau pada perusahaan yang mengadopsi alat pengkodean AI tanpa memperbarui proses pengujian dan tata kelola mereka?

Angka 80% menunjukkan masalah di seluruh sistem pengiriman perangkat lunak. Industri AI telah menarik lebih dari satu triliun dolar modal swasta, sebagian besar didasarkan pada keyakinan bahwa AI akan membuat bisnis jauh lebih produktif. Namun, menghasilkan lebih banyak kode hanya menciptakan nilai jika perusahaan dapat yakin akan kualitas dan keamanannya sebelum kode tersebut masuk ke produksi.

Kode yang dihasilkan AI dapat memperkenalkan bug halus dan masalah keamanan, dan perusahaan dipaksa untuk melewatkan kode tersebut melalui proses pengujian dan tata kelola yang sudah kesulitan mengikuti kecepatan. Hal ini menciptakan masalah eksekusi bernilai triliunan dolar: AI dapat mempercepat pembuatan perangkat lunak, tetapi tanpa jaminan rilis yang dimodernisasi, AI juga dengan mudah mempercepat cacat. Setiap bug pada akhirnya akan terdeteksi, sehingga perusahaan harus memastikan menemukan bug tersebut sebelum pelanggan atau penyerang melakukannya.

Laporan menyatakan bahwa pengembang menghasilkan kode 741% lebih banyak sementara kecepatan rilis hanya meningkat kurang dari 20%. Apa yang menghalangi sistem validasi untuk mengikuti kecepatan tersebut, dan di mana biasanya muncul bottleneck terbesar dalam siklus hidup pengembangan perangkat lunak?

Pembuatan kode telah melampaui pembuatan, pemeliharaan, dan analisis pengujian. Bottleneck terbesar biasanya muncul setelah kode ditulis dan perlu diverifikasi dalam konteks perjalanan pengguna. Hal ini seringkali sangat kompleks, bahkan lebih kompleks daripada kode itu sendiri, karena harus memperhitungkan jalur end‑to‑end yang melibatkan fungsi dan objek kode, dengan perubahan semantik kecil di satu tempat dapat menimbulkan efek besar di hilir. Menulis pengujian yang secara tepat dan lengkap menangkap niat aplikasi secara tradisional hampir tidak mungkin, serta memerlukan banyak pekerjaan manual dan pemeliharaan. Selain itu, setelah pengujian dijalankan dan ada kegagalan, tim harus memahami dan mendiagnosa masalah, termasuk memutuskan apakah kegagalan berasal dari produk atau pengujian yang usang. Pekerjaan tersebut masih sangat bergantung pada tinjauan manual dan konteks rekayasa.

Lebih dari setengah perusahaan yang disurvei mengakui secara sadar merilis perangkat lunak dengan cacat kritis, sementara 66% menyatakan mereka mengorbankan standar kualitas atau pengujian untuk memenuhi tenggat waktu. Mengapa organisasi menerima tingkat risiko ini, dan apa yang perlu diubah agar kualitas perangkat lunak menjadi prioritas tingkat bisnis bukan hanya checkpoint teknik akhir?

Organisasi menerima risiko tersebut karena target rilis terkait dengan komitmen pelanggan, pendapatan, dan produk yang mendesak, dan biaya cacat sering muncul belakangan di berbagai tim. Kualitas menjadi prioritas bisnis hanya ketika pemimpin mengukur insiden produksi, dampak pelanggan, paparan keamanan, biaya perbaikan ulang, dan pendapatan yang tertunda bersamaan dengan kecepatan rilis.

Sauce Labs memposisikan AURA sebagai platform loop tertutup yang menulis, mengeksekusi, dan menganalisis pengujian sambil belajar dari setiap rilis. Bagaimana perbedaan secara teknis dan operasional dibandingkan dengan generasi pengujian berbantuan AI, skrip pengujian yang menyembuhkan diri sendiri, atau alat otomatisasi lain yang sudah digunakan tim rekayasa?

Sebagian besar alat pengujian AI menangani tugas spesifik, seperti menghasilkan pengujian atau memperbaiki locator yang rusak. AURA menghubungkan seluruh proses dengan memahami niat aplikasi, menulis dan mengeksekusi pengujian, menganalisis kegagalan, serta mengirimkan perilaku produksi kembali ke pengembangan. Ia dapat secara otomatis menangani banyak perubahan dan melibatkan manusia ketika makna atau perilaku yang diharapkan dari aplikasi berubah. Selain itu, pengujian yang dihasilkannya stabil, artinya tidak perlu dimodifikasi ketika perubahan yang tidak memengaruhi semantik terjadi pada aplikasi, peramban, perangkat, dan sejenisnya. Akhirnya, karena AURA menyertakan cloud eksekusi pengujian di dalamnya, ia dapat mengalihkan seluruh proses dari pengembang atau tim rekayasa kualitas.

AURA dirancang untuk memverifikasi perangkat lunak terhadap “niat bisnis.” Bagaimana niat tersebut didefinisikan dan diterjemahkan menjadi kebutuhan yang dapat diuji, siapa yang bertanggung jawab menyetujuinya, dan bagaimana platform menangani kebutuhan yang ambigu, tidak lengkap, atau terbuka untuk interpretasi?

Niat bisnis berasal dari kebutuhan produk, kriteria penerimaan, aturan bisnis, perjalanan pengguna, dan cara pelanggan sebenarnya menggunakan aplikasi. Pemimpin produk menentukan hasil yang diharapkan, dan tim rekayasa serta kualitas menerjemahkan hasil tersebut menjadi perilaku yang dapat diverifikasi sistem. Ketika kebutuhan tidak lengkap atau ambigu, AURA harus menampilkan ketidakpastian tersebut dan meminta persetujuan manusia sebelum mengubah hasil yang diharapkan.

Sauce Labs melaporkan bahwa perusahaan yang menggunakan AURA mengalami 90% lebih sedikit insiden produksi, siklus rilis 47% lebih cepat, dan memulihkan 38% kapasitas rekayasa. Bagaimana hasil ini diukur, selama periode penerapan berapa, dan validasi independen apa yang digunakan untuk membedakan dampak AURA dari perubahan organisasi atau rekayasa lainnya?

Dalam penerapan di perusahaan, kami mengukur perubahan pada insiden produksi, kecepatan siklus rilis, dan kapasitas rekayasa setelah tim mengimplementasikan AURA. Penerapan tersebut menunjukkan lebih dari 90% penurunan insiden produksi, siklus rilis 47% lebih cepat, dan pemulihan 38% kapasitas rekayasa, dengan hasil yang divalidasi secara independen. Pelanggan seperti Walmart dan Keller Williams juga melaporkan peningkatan signifikan dalam frekuensi rilis, cakupan pengujian, dan waktu siklus.

Penelitian menemukan bahwa 64% organisasi menambah jumlah tenaga jaminan kualitas meskipun insiden terus meningkat. Mengapa perusahaan tidak dapat menutup kesenjangan verifikasi hanya dengan merekrut lebih banyak penguji, dan bagaimana Anda memperkirakan perubahan tanggung jawab pengembang, insinyur kualitas, dan tim keandalan situs seiring pengujian menjadi lebih otonom?

AI dapat meningkatkan volume kode jauh lebih cepat daripada kemampuan perusahaan menambah jumlah penguji, dan menambah orang juga menimbulkan lebih banyak serah terima dan koordinasi. Pengembang harus mendefinisikan niat secara jelas, insinyur kualitas akan lebih fokus pada risiko, cakupan, dan tata kelola, serta tim keandalan situs akan mengirimkan perilaku produksi kembali ke proses rilis. Agen dapat menangani eksekusi dan analisis berulang pada skala yang dibutuhkan model pengembangan baru ini.

Seiring agen AI memperoleh tanggung jawab untuk menulis, menjalankan, dan menafsirkan pengujian, di mana manusia harus tetap mempertahankan wewenang pengambilan keputusan? Jenis ketidakpastian, risiko keamanan, atau potensi dampak pelanggan apa yang harus secara otomatis menghentikan rilis atau memicu tinjauan manusia?

Manusia harus mempertahankan wewenang akhir atas keputusan rilis, terutama ketika melibatkan penilaian, dampak pelanggan, atau risiko bisnis. Agen AI dapat mengotomatisasi tugas pengujian yang membosankan, berulang, dan jelas definisinya, tetapi manusia harus menyetujui rilis produksi setiap kali kode atau hasil pengujian tidak dapat dipahami, dijelaskan, atau direproduksi sepenuhnya. Tinjauan juga harus wajib ketika kebutuhan tidak jelas, kerentanan keamanan mungkin terjadi, komponen pihak ketiga belum divalidasi dengan memadai, atau kegagalan dapat memengaruhi pendapatan, data sensitif, pengalaman pelanggan, atau operasi kritis.

Dalam situasi tersebut, perilaku yang tidak dapat dijelaskan, hasil pengujian yang tidak konsisten, atau bukti yang tidak memadai mengenai kesiapan rilis harus secara otomatis menghentikan rilis.

Kami telah melihat kasus pada pelanggan kami di mana sebuah pengujian yang tampak “flaky,” lulus secara tidak konsisten tanpa pola kegagalan yang jelas, sering kali diabaikan. Namun, proses yang dikelola dengan baik pada beberapa pelanggan tersebut memerlukan ketelitian, dan dengan bantuan platform kami, mereka dapat melacak kegagalan tersebut ke cacat berbasis timing yang halus namun kritis, yang bila dirilis dapat menyebabkan dampak besar dengan biaya sangat tinggi.

Anda juga pernah bekerja dengan Ethical AI Governance Group dan kelompok kerja Safe Systems and Technologies di World Economic Forum. Seiring kode yang dihasilkan AI dan pengujian otonom semakin terhubung, standar tata kelola apa yang diperlukan perusahaan untuk memastikan bahwa percepatan pembuatan perangkat lunak tidak menimbulkan risiko sistemik, keamanan, atau akuntabilitas baru?

Semakin cepat AI dapat menciptakan perangkat lunak, lapisan verifikasi dan tata kelola harus semakin kuat. Lapisan ini memiliki banyak komponen. Perusahaan harus memiliki batasan yang jelas mengenai apa yang dapat diputuskan agen secara otonom, dengan tinjauan manusia diperlukan ketika terdapat ketidakpastian terkait niat bisnis, keamanan, kepatuhan, atau perubahan semantik yang berarti. Mereka juga memerlukan jejak audit tentang apa yang diubah agen, mengapa perubahan itu dilakukan, dan bukti apa yang mendukung keputusan rilis. Pada akhirnya, tata kelola harus diukur berdasarkan kualitas dan prediktabilitas apa yang mencapai produksi, seperti secara khusus melacak seberapa sering kode yang dihasilkan menyebabkan insiden dalam 90 hari setelah rilis, bukan seberapa cepat AI dapat menghasilkan kode.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut dapat mengunjungi Sauce Labs.