Shanea Leven, Pendiri dan CEO di Empromptu AI – Seri Wawancara

Shanea Leven, Pendiri dan CEO di Empromptu AI, adalah seorang veteran pemimpin produk dengan pengalaman luas dalam membangun platform pengembang dan produk yang didorong oleh AI di perusahaan teknologi besar. Sebelum meluncurkan Empromptu pada 2025, dia mendirikan CodeSee, sebuah platform pengembang AI yang membantu tim memvisualisasikan dan memahami basis kode yang kompleks, yang kemudian diakuisisi oleh GitKraken pada 2024. Sebelumnya dalam karirnya, dia memegang peran kepemimpinan produk senior di perusahaan seperti Docker, Cloudflare, eBay, dan Google (GOOGL ), di mana dia bekerja pada inisiatif yang berkisar dari API pembayaran Google Assistant hingga program pendidikan pengembang yang digunakan oleh ratusan ribu pembelajar.

Empromptu AI adalah platform perusahaan yang dirancang untuk membantu organisasi membangun dan mengirimkan aplikasi AI terintegrasi dengan lebih mudah. Platform ini menggabungkan pengembangan aplikasi, integrasi data, tata kelola, evaluasi, memori, dan orkestrasi model menjadi satu lingkungan, memungkinkan perusahaan untuk berpindah dari eksperimen AI yang cepat ke sistem produksi dengan kontrol dan keandalan yang diperlukan untuk penggunaan perusahaan.

Anda menghabiskan lebih dari 15 tahun membangun platform pengembang di perusahaan seperti Google, eBay, Cloudflare, dan Docker sebelum mendirikan CodeSee, yang kemudian diakuisisi oleh GitKraken, dan sekarang memimpin Empromptu AI. Bagaimana pengalaman itu membentuk perspektif Anda tentang mengapa banyak alat AI gagal setelah mereka meninggalkan tahap demo, dan apa masalah spesifik yang Anda tentukan untuk diselesaikan saat Anda mendirikan Empromptu?

Salah satu hal yang dipelajari dalam membangun platform pengembang adalah bahwa masalah terberat tidak pernah ada di demo. Demo selalu berfungsi. Tes yang sebenarnya adalah apa yang terjadi ketika ribuan pengembang menggunakan sistem, ketika data kotor, ketika integrasi rusak, dan ketika bisnis nyata bergantung padanya.

Di Google, Cloudflare, Docker, dan eBay, saya menghabiskan tahun-tahun bekerja pada platform yang harus beroperasi pada skala global. Lingkungan tersebut mengajarkan sesuatu dengan cepat: keandalan, tata kelola, dan keterbacaan tidaklah fitur yang ditambahkan kemudian. Mereka adalah arsitektur.

Ketika saya mulai membangun aplikasi AI, modelnya buruk dan ketika mereka mulai membaik, saya menyadari bahwa industri tersebut mengulangi kesalahan yang sama yang kita lihat dalam gelombang perangkat lunak sebelumnya. Dalam alat pengembang, ada konsep yang tampaknya telah dilupakan. Seberapa cepat Anda bisa mendapatkan hello world? Hari ini, versi generatif dari hello world adalah prototipe SaaS yang berfungsi penuh. Tapi sekarang kita tidak hanya membuat kode SaaS aplikasi; kita membuat kode aplikasi AI penuh. AI yang membangun AI memerlukan sistem lain untuk memasukkannya ke dalam produksi.

Anda dapat menghasilkan aplikasi AI yang berfungsi atau fitur dengan cepat, yang menarik dan sangat berguna. Tapi sistem yang dominan masih kekurangan infrastruktur yang diperlukan untuk lingkungan produksi. Hal-hal seperti pipa data terstruktur, kerangka evaluasi, kontrol tata kelola, pemantauan, dan pengelolaan konteks jangka panjang dilewatkan, tapi kita telah memasukkannya sambil menjaga semua bagian luar biasa dari kode getaran.

Ketika saya dan rekan pendiri saya mendirikan Empromptu, masalah yang ingin kita selesaikan sangat sederhana: bagaimana kita membuat aplikasi AI siap produksi dari awal?

Alih-alih mengobati tata kelola, kesiapan data, evaluasi, dan optimasi sebagai alat terpisah atau proses setelah fakta, kita membangunnya langsung ke dalam platform. Ideanya adalah tim harus dapat membangun aplikasi AI dengan cepat, tetapi dengan keandalan, kualitas, dan kontrol yang sama yang mereka harapkan dari sistem perangkat lunak perusahaan.

Anda telah berbicara tentang kesenjangan antara demo AI yang mengesankan dan sistem yang siap produksi. Dari perspektif Anda, apa kesalahan arsitektur paling umum yang dilakukan tim ketika mencoba mengubah prototipe AI menjadi produk yang dapat diandalkan yang digunakan oleh pelanggan nyata?

Kesalahan paling umum yang dilakukan tim adalah menganggap model sebagai produk.

Di awal prototipe, model melakukan sebagian besar pekerjaan yang terlihat. Anda memicu, menghasilkan jawaban, dan jika jawabannya terlihat baik, sistem tampaknya berfungsi. Itu menciptakan ilusi bahwa memperbaiki model adalah tantangan utama.

Tapi di sistem produksi, model hanya salah satu komponen dalam arsitektur yang jauh lebih besar.

Kesalahan pertama adalah mengobati data sebagai sesuatu yang tidak penting. Di prototipe, tim sering menguji dengan dataset kecil dan bersih. Sekali sistem terhubung ke data operasional nyata, hal-hal berubah dengan cepat. Data tiba tidak lengkap, tidak konsisten, duplikat, atau dalam format yang tidak terduga. Tanpa pipa data terstruktur untuk menormalkan dan memvalidasi input, sistem menjadi tidak dapat diandalkan terlepas dari seberapa baik modelnya.

Kesalahan kedua adalah tidak adanya kerangka evaluasi. Banyak tim meluncurkan fitur AI tanpa mendefinisikan apa yang dimaksud dengan “baik”. Mereka mungkin memeriksa output secara manual selama pengembangan, tetapi mereka tidak membangun pipa evaluasi otomatis yang terus mengukur akurasi, drift, dan kasus tepi sekali sistem hidup. Tanpa pagar pengaman itu, kegagalan sering ditemukan oleh pelanggan bukan oleh insinyur.

Isu ketiga adalah kurangnya mekanisme tata kelola dan kontrol. Sistem AI adalah probabilistik, yang berarti mereka dapat berperilaku berbeda di bawah kondisi yang sedikit berbeda. Di lingkungan yang teratur atau berisiko tinggi, ketidakpastian itu harus dikendalikan dengan kebijakan deterministik, alur kerja persetujuan, dan log audit yang menangkap bagaimana keputusan dibuat.

Apa ini benar-benar turun ke adalah bahwa sistem AI produksi tidak hanya model. Mereka adalah sistem operasional.

Perusahaan yang sukses dengan AI hari ini adalah mereka yang mengobati pipa data, evaluasi, tata kelola, dan pemantauan sebagai infrastruktur inti, bukan tambahan opsional.

Banyak platform pengkodean AI berjanji bahwa siapa saja dapat membangun aplikasi menggunakan prompt sederhana. Mengapa alat-alat ini sering bekerja dengan baik untuk demonstrasi tetapi bergelut ketika perusahaan mencoba menggunakannya dalam lingkungan produksi nyata?

Banyak platform ini bekerja dengan baik untuk demonstrasi karena mereka dioptimalkan untuk saat penciptaan, bukan untuk siklus hidup sistem nyata.

Tapi ada perbedaan mendasar antara menggunakan AI untuk menghasilkan halaman pendaratan dan menggunakan AI untuk membangun aplikasi AI.

Halaman pendaratan sebagian besar adalah perangkat lunak statis. Sekali itu dirender dengan benar, pekerjaan hampir selesai. Sistem tidak perlu membuat keputusan probabilistik, mengonsumsi data yang berubah terus, atau beradaptasi dengan perilaku pengguna yang tidak terduga.

Aplikasi AI benar-benar berbeda. Mereka adalah sistem dinamis yang bergantung pada pipa data, perilaku model, kerangka evaluasi, dan pemantauan terus-menerus. Aplikasi harus mengelola konteks, mendeteksi ketika output bergeser, menangani kasus tepi, dan beroperasi dengan aman ketika model menghadapi situasi yang belum pernah dilihat sebelumnya.

Sebagian besar alat pengkodean prompt tidak menangani lapisan-lapisan itu karena mereka dirancang untuk mendapatkan sesuatu yang berfungsi dengan cepat. Mereka menghasilkan kode yang menghasilkan hasil yang terlihat, yang sempurna untuk lingkungan demo. Tapi sistem produksi memerlukan kemampuan yang jauh lebih besar: penanganan data terstruktur, kontrol tata kelola, pipa evaluasi, keterbacaan, dan mekanisme untuk memperbarui perilaku dengan aman seiring waktu.

Jadi ketika perusahaan mencoba mengirimkan sistem ini dalam lingkungan nyata, kesenjangan menjadi jelas. Prototipe bekerja karena lingkungan dikendalikan. Produksi kacau.

Empromptu fokus pada mengubah perangkat lunak yang ada menjadi sistem asli AI daripada memaksa perusahaan untuk membangun semuanya dari awal. Apa yang sebenarnya terjadi dalam transformasi ini pada tingkat infrastruktur dan produk?

Pada tingkat produk, setiap aplikasi sepenuhnya mandiri dan dikontainerisasi. Kami membuat semua yang Anda butuhkan, dari frontend, backend, database, model, eval, llms opps aturan, dan semuanya sangat fleksibel tergantung pada kebutuhan perusahaan.

Kami memiliki beberapa opsi untuk aplikasi AI:

“Headless” sehingga jika pelanggan sudah memiliki frontend, kami dapat menghubungkannya ke sistem kami dan mengirimkan data kembali

Sepenuhnya dikontainerisasi sehingga mereka dapat diterapkan pada infrastruktur kami atau dalam infrastruktur pelanggan, sehingga mereka dapat berada di tempat secara default.

Atau kami dapat menghasilkannya dan menerapkannya langsung ke cloud untuk opsi yang paling nyaman.

Setiap kode yang mereka miliki, kami dapat mengimpor langsung ke dalam sistem kami dan mengagentifikasinya jika belum diagentifikasi. Misalnya, kami melihat ini dengan sejumlah pelanggan yang telah mencoba membangun aplikasi mereka di platform populer seperti Lovable, Replit, Bolt, atau Base44. Seringkali mereka tidak berfungsi. Tapi pelanggan telah menghabiskan banyak waktu dan energi dan kredit ke dalam aplikasi ini, jadi kami mengonsumsinya, menulis ulang, dan membuat semua AI berfungsi.

Dan kami dapat melakukan ini karena kami memiliki sejumlah teknologi khusus, seperti:

• Adaptive context engine untuk mengelola konteks
• Infinite memory untuk mengonsumsi aplikasi kode berjalan lama
• Custom data models dan golden data pipelines untuk memastikan kami dapat menangani pembersihan data dan pelabelan sintetis yang diperlukan

Platform Anda menekankan konteks, evaluasi, tata kelola, dan data terstruktur sebagai komponen inti dari sistem AI. Mengapa elemen-elemen ini sering diabaikan ketika tim terburu-buru menambahkan fitur AI ke produk mereka?

Karena mereka sulit dilakukan! Rekan pendiri saya, Dr. Sean Robinson, memimpin laboratorium penelitian kami, dan dia adalah seorang astrofisikawan komputasi yang telah menciptakan sejumlah teknologi yang terinspirasi oleh ide-ide gila saya, tetapi juga kebutuhan pelanggan dan arah pasar. Pengalaman gabungan kami dalam membangun banyak aplikasi agen, memasukkan satelit ke ruang angkasa, dan membangun di perusahaan teknologi terbesar di dunia memberi kami wawasan yang membantu kami memecahkan masalah yang rumit dengan lebih baik daripada orang lain.

Anda bekerja dengan banyak pendiri yang tidak pernah menulis kode sebelumnya. Apa kesalahpahaman terbesar yang dimiliki pendiri non-teknis ketika mereka pertama kali mencoba membangun aplikasi AI?

Saya pikir ada dua kesalahpahaman besar:

Pertama, AI adalah sihir. AI bukanlah sihir. Ini hanya rekayasa yang baik. Dan akhirnya, Anda mencapai batas pada apa yang dapat Anda lakukan di platform ini tanpa insinyur nyata.

Kedua, mereka memiliki keterampilan manajemen produk teknis yang hebat. Saya memiliki latar belakang dalam manajemen produk teknis dan keterampilan menerjemahkan visi, terkadang visi yang sangat besar, menjadi potongan-potongan kecil yang dapat dikirim dengan spesifikasi teknis yang tepat untuk mengartikulasikan secara tepat apa yang Anda inginkan. Itu sebenarnya adalah keterampilan yang sangat sulit yang membutuhkan waktu.

Contohnya, katakanlah Anda membangun aplikasi yang mengunggah PDF dan menyimpan PDF sehingga Anda dapat kembali dan melihatnya nanti. Itu disebut persistensi. PDF itu dienkripsi menjadi kode dan disimpan ke database.

Tapi jika Anda tidak tahu bahwa itu disebut persistensi, bagaimana Anda bisa mengetik? Pastikan data itu bertahan. Pilihan kata teknis seperti berbicara bahasa yang berbeda. Ada perbedaan antara menulis dalam bahasa alami dan menulis dalam bahasa teknis.

Banyak perusahaan rintisan berasumsi bahwa solusi untuk membangun produk AI adalah dengan merekrut lebih banyak insinyur. Mengapa Anda percaya bahwa pendekatan ini sering gagal, dan apa yang harus dipertimbangkan pendiri ketika membangun produk yang ditenagai AI?

Merekrut lebih banyak insinyur terkadang adalah jawaban yang tepat. Jika Anda membangun produk yang sangat teknis atau bekerja di garis depan penelitian model, Anda pasti membutuhkan tim insinyur yang kuat. Tidak ada pengganti untuk insinyur yang baik ketika datang untuk memecahkan masalah yang sulit.

Tapi kesalahan yang banyak perusahaan rintisan buat adalah menganggap bahwa lebih banyak insinyur secara otomatis menyelesaikan tantangan membangun produk AI.

Di kenyataan, masalah terberat dalam produk AI sering bukanlah masalah rekayasa murni. Mereka adalah masalah sistem seperti masalah rekayasa lainnya. Insinyur secara khusus diajarkan untuk berpikir dalam sistem. Tapi pengembangan generatif berbeda dengan pengembangan deterministik. Banyak dari kita membuat perubahan ini ketika kita beralih dari pemrograman berorientasi objek ke pemrograman fungsional. Apakah mereka berdua pemrograman? Ya, tentu saja, tapi apakah mereka cara berpikir yang berbeda? Ya, tentu saja.

Aplikasi AI berada di persimpangan data, desain produk, alur kerja operasional, dan perilaku model. Anda bisa merekrut tim insinyur yang luar biasa, tapi jika pipa data tidak dapat diandalkan, kriteria evaluasi tidak jelas, atau sistem kekurangan tata kelola dan pemantauan, produk masih akan bergelut ketika mencapai pengguna nyata.

Masalah lainnya adalah bahwa banyak tim melompat langsung ke pembangunan sebelum mereka mendefinisikan bagaimana sistem AI akan berperilaku di produksi. Pertanyaan seperti bagaimana sistem akan dievaluasi, bagaimana kasus tepi akan ditangani, bagaimana keputusan akan dicatat, dan bagaimana model akan diperbarui seiring waktu sering datang kemudian. Dengan saat itu, arsitektur sudah sulit untuk diubah.

Apa yang harus dipertimbangkan pendiri sebenarnya adalah model operasional dari sistem AI mereka.

Siapa yang memiliki pipa data?

Bagaimana kinerja model diukur terus-menerus, bukan hanya selama pengembangan?

Apa yang terjadi ketika sistem menghadapi situasi yang belum pernah dilihat sebelumnya?

Bagaimana Anda memperbarui perilaku dengan aman tanpa merusak alur kerja hilir?

Terkadang memecahkan masalah itu berarti merekrut lebih banyak insinyur. Tapi itu juga bisa berarti memilih infrastruktur yang tepat, mendefinisikan konstrain produk yang kuat, dan membangun sistem yang memungkinkan tim kecil untuk beroperasi dengan andal pada skala besar.

Perusahaan yang sukses dengan AI hari ini bukanlah mereka yang memiliki tim insinyur terbesar. Mereka adalah yang mengobati AI sebagai sistem berjalan lama yang membutuhkan disiplin data, evaluasi, tata kelola, dan perbaikan terus-menerus yang dibangun dari awal.

Anda telah berargumentasi bahwa beberapa model bisnis saat ini dalam alat pengembang AI tidak sejalan dengan membangun produk yang tahan lama. Apa insentif dalam ekosistem alat AI saat ini yang Anda pikir mengarahkan perusahaan ke arah yang salah?

Salah satu kesenjangan insentif terbesar saat ini adalah bahwa banyak alat pengembang AI dioptimalkan untuk metrik pertumbuhan daripada keawetan produk.

Banyak perusahaan di ruang ini diberi penghargaan untuk seberapa cepat pengguna dapat membuat sesuatu yang mengesankan. Jika alat dapat menghasilkan aplikasi yang berfungsi, fitur, atau demo dalam beberapa menit, itu mengarah ke pendaftaran, berbagi media sosial, dan kegembiraan investor. Dari sudut pandang adopsi produk, itu masuk akal.

Tapi insentif itu sering berhenti di titik penciptaan.

Pekerjaan yang lebih sulit dalam perangkat lunak AI terjadi setelah titik itu.

Itu adalah saat kepercayaan dibangun. Ketika Anda dapat mengandalkan kualitas. Bahwa pengguna ingin kembali lagi dan lagi tanpa frustrasi AI dari output yang buruk. Perlu memberikan respons yang baik bahkan di hadapan ketidaktahuan manusia atau kejahatan.

Isu lainnya adalah bahwa banyak alat dioptimalkan untuk generasi kode daripada desain sistem. Menghasilkan kode dengan cepat berguna, tapi membangun produk AI melibatkan lebih dari sekedar menghasilkan kode. Ini memerlukan mendefinisikan bagaimana sistem mengelola konteks, bagaimana keputusan dievaluasi, bagaimana kegagalan ditangani, dan bagaimana perilaku berkembang dengan aman seiring waktu.

Perusahaan yang selaras insentif mereka di sekitar membantu pelanggan menjalankan sistem AI dengan andal, bukan hanya membangunnya dengan cepat, adalah mereka yang akan menciptakan nilai abadi dalam ekosistem ini.

Beberapa pelanggan Anda termasuk wirausaha yang membangun produk sangat spesifik, seperti alat kesehatan khusus atau bisnis berfokus pada keberlanjutan, sering tanpa tim insinyur tradisional. Apa pola yang Anda lihat di antara pendiri yang berhasil mengubah ide-ide ini menjadi produk AI yang berfungsi?

Salah satu pola paling menarik yang kami lihat adalah bahwa pendiri yang sukses tidak selalu yang paling teknis. Mereka adalah yang memahami masalah yang mereka pecahkan dengan sangat baik.

Banyak wirausaha yang menggunakan Empromptu adalah ahli domain. Mereka mungkin berasal dari perawatan kesehatan, keuangan, keberlanjutan, atau industri khusus lainnya. Apa yang mereka bawa adalah pengetahuan yang mendalam tentang alur kerja, peraturan, dan keputusan yang ada di lingkungan tersebut. Konteks itu sangat berharga ketika merancang produk AI karena itu mendefinisikan apa yang sebenarnya harus dilakukan sistem.

Pendiri yang sukses cenderung mendekati AI kurang seperti eksperimen teknologi dan lebih seperti sistem produk. Mereka mulai dengan pertanyaan yang sangat konkrit. Keputusan apa yang harus AI bantu pengguna buat? Sumber data apa yang dibutuhkan? Apa yang terlihat seperti jawaban yang benar dalam domain ini? Apa pagar pengaman yang perlu ada sehingga sistem berperilaku dengan bertanggung jawab?

Pola lainnya adalah bahwa mereka berpikir dengan hati-hati tentang struktur. Tim yang sukses dengan cepat menyadari bahwa output AI hanya sebaik konteks dan data yang memberinya. Mereka menginvestasikan waktu di awal untuk mendefinisikan pipa data, mengatur sumber pengetahuan, dan membuat kriteria evaluasi yang jelas untuk apa yang terlihat seperti “baik” dalam domain ini.

Kami juga melihat pendiri sukses mengadopsi kolaborasi manusia-AI sebagai gantinya mencoba mengotomatisasi semuanya sekaligus. Mereka merancang alur kerja di mana AI menangani analisis berulang atau sintesis data, sementara manusia tetap bertanggung jawab atas penilaian dan keputusan akhir. Keseimbangan itu membuat sistem jauh lebih dapat diandalkan, terutama di bidang seperti perawatan kesehatan atau keuangan.

Dalam banyak cara, perubahan terbesar adalah mindset. Pendiri yang sukses tidak berpikir tentang AI sebagai fitur yang mereka tambahkan. Mereka berpikir tentang AI sebagai lapisan operasional baru untuk bagaimana produk mereka bekerja.

Seiring sistem AI menjadi lebih terintegrasi ke dalam operasi bisnis inti, apa kemampuan yang akan mendefinisikan generasi berikutnya dari platform aplikasi AI?

Saya tahu ini gila dan saya mungkin mengatakan sesuatu yang tidak sopan, tapi orang akan dapat membuat kode getaran mereka sendiri dengan model kustom. Sesuatu yang laboratorium penelitian kami sebut model nano ahli akan membantu mengendalikan biaya.

Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi Empromptu AI.