Yoav Naveh, Salah Satu Pendiri dan Co-CEO Reindeer – Seri Wawancara

Yoav Naveh adalah salah satu pendiri sekaligus Co-CEO Reindeer, dengan pengalaman membangun perusahaan teknologi, mengembangkan bisnis, dan berinvestasi pada para pendiri. Sebelum bergabung dengan Reindeer, ia membangun ConvertMedia, melanjutkan kiprahnya di Taboola, dan berinvestasi melalui INT3. Kini, ia berfokus membantu perusahaan beralih dari penerapan AI yang terpisah-pisah ke agen yang mampu menangani pekerjaan operasional yang kompleks, belajar dari keahlian manusia, dan tetap andal saat proses bisnis berubah.

Reindeer mengembangkan agen AI untuk perusahaan yang menangani operasi inti di berbagai bidang, seperti keuangan, rantai pasok, logistik, dan layanan bersama. Platformnya memadukan pelaksanaan alur kerja dengan masukan ahli, evaluasi, dan persetujuan manusia agar agen dapat beradaptasi dengan pengecualian dan kebijakan yang terus berkembang. Dalam wawancara ini, Naveh membahas keterbatasan model penerapan yang sangat bergantung pada rekayasa, cara mengubah pengetahuan institusional menjadi konteks bagi agen, serta tata kelola dan pengukuran yang diperlukan untuk mengurangi total beban kerja manusia seiring waktu.

Setelah membangun ConvertMedia, mengembangkan bisnis di Taboola, dan berinvestasi pada para pendiri lain melalui INT3, masalah apa yang mendorong Anda kembali membangun perusahaan, dan bagaimana masalah itu membentuk keputusan Anda untuk ikut mendirikan Reindeer?

Pasar AI terlalu menarik untuk sekadar kami amati dari pinggir. Rekan pendiri saya, Yair, dan saya sangat tertarik pada kesenjangan antara betapa bermanfaatnya AI saat kami menggunakannya sendiri dan betapa sulitnya perusahaan mengadopsinya dalam skala besar. Teknologinya berkembang sangat pesat, tetapi sebagian besar organisasi masih kesulitan menerjemahkan potensi tersebut menjadi perubahan operasional yang berarti.

AI akan mengubah cara perusahaan beroperasi, tetapi untuk mewujudkannya dibutuhkan lebih dari sekadar teknologi yang lebih baik. Diperlukan pemimpin yang bersedia memikirkan ulang cara kerja dilakukan, serta pendekatan praktis untuk menerapkan AI dalam operasi sehari-hari tanpa menambah lapisan kerumitan baru.

Tantangan itulah yang membentuk Reindeer. Kami membangun platform yang membantu perusahaan beralih dari agen pertama mereka ke kawanan agen yang belajar dari masukan manusia dan terus berkembang seiring waktu. Tujuan kami adalah menjembatani kesenjangan antara potensi AI dan penerapannya di dunia nyata, serta membantu perusahaan mengubah operasi inti mereka menjadi tenaga kerja berbasis AI agentik tanpa harus membangun ulang atau terus-menerus memelihara setiap agen.

Anda berpendapat bahwa model rekayasa yang menempatkan insinyur langsung di lapangan berisiko mengubah AI perusahaan menjadi bisnis jasa yang padat karya. Dalam hal apa rekayasa yang terintegrasi menciptakan nilai jangka panjang, dan kapan hal itu berubah menjadi ketergantungan yang menghambat pelanggan untuk berkembang?

Insinyur yang ditempatkan langsung di lapangan berperan penting dalam integrasi yang kompleks dan membawa agen awal ke tahap produksi. Masalah mulai muncul ketika proses kerja itu sendiri berubah, sementara para insinyur tersebut terus dibutuhkan untuk memastikan agen tetap mampu menjalankan tugasnya. Terutama dalam skala besar. Model FDE berjalan baik saat Anda memiliki 5 agen. Namun, model itu tidak lagi efektif saat jumlahnya mencapai seratus agen.

Jika setiap alur kerja baru atau pengecualian tak terduga membutuhkan lebih banyak rekayasa, berarti yang Anda kembangkan bukanlah skala perangkat lunak, melainkan skala tenaga kerja manusia yang mahal.

Sebagian besar perusahaan yang menerapkan FDE mengklaim bahwa para insinyurnya pada akhirnya akan beralih ke tugas lain. Perusahaan harus meminta bukti bahwa hal itu benar sebelum menandatangani kontrak yang mensyaratkan FDE. Kita sudah melihat betapa rapuhnya RPA ketika proses bisnis berkembang. Kita tidak seharusnya menganggap agen yang dibangun secara manual akan berbeda.

Alur kerja perusahaan sering kali memuat pengecualian yang tidak terdokumentasi dan praktik yang saling bertentangan di antara tim. Bagaimana Reindeer menangkap cara kerja yang sebenarnya sekaligus membedakan pengetahuan institusional yang berguna dari kebiasaan yang sebaiknya tidak diotomatisasi?

Sebagian besar perusahaan memiliki sangat banyak pengetahuan institusional yang tidak terdokumentasi di mana pun. Pengetahuan itu tersimpan di kepala para pekerja. Agen kami memulai dengan pengetahuan yang belum lengkap dan belajar melalui kasus nyata, dengan meminta arahan dari ahli bidang terkait ketika menghadapi situasi yang belum dikenal.

Namun, belajar dari seorang karyawan bukan berarti meniru perilakunya begitu saja. Sistem kami membedakan pengecualian yang hanya terjadi pada individu tertentu dari pola yang berulang, lalu mengusulkan perubahan yang lebih luas untuk disetujui manusia.

Kami tidak berusaha mengotomatisasi setiap kebiasaan. Kami berupaya mengubah pengetahuan institusional yang bernilai menjadi kecerdasan yang andal, tanpa mengharuskan insinyur mengantisipasi setiap kemungkinan sebelumnya.

Sebagian besar perusahaan AI agentik memulai dengan mendokumentasikan proses, lalu menuliskannya dalam kode berdasarkan wawancara dan pemeriksaan data masa lalu secara saksama. Namun, dalam praktiknya, cara paling efektif untuk mempelajari suatu proses terlihat setiap kali anggota tim baru bergabung—mereka tidak menghafal data setahun penuh atau SOP setebal 3.000 halaman. Mereka mempelajari beberapa keterampilan, melihat beberapa contoh, mulai bekerja, mengajukan pertanyaan saat menjumpai sesuatu yang tidak mereka pahami, lalu membangun pengetahuan mereka. Inilah proses yang kami bangun.

AI agentik juga memberi perusahaan kesempatan untuk merancang ulang suatu proses, alih-alih sekadar mengotomatisasikannya dalam bentuk yang ada. Tim yang hanya terdiri atas manusia, otomatisasi berbasis aturan, dan perangkat lunak tradisional masing-masing membentuk proses sesuai keterbatasannya sendiri. Dengan agen yang belajar bersama para ahli, Reindeer membantu perusahaan memikirkan ulang bagaimana suatu proses seharusnya berjalan, termasuk praktik mana yang perlu dipertahankan, mana yang perlu dihentikan, dan di bagian mana agen maupun manusia dapat memberikan nilai terbesar.

Saat Anda mengatakan bahwa agen Reindeer terus belajar dalam produksi, apa sebenarnya yang berubah: bobot model, memori, logika alur kerja, atau kebijakan eksplisit? Bisakah Anda menjelaskan contoh pengecualian yang mengajari agen untuk menangani kasus-kasus berikutnya secara berbeda?

Yang berubah adalah konteks dan keterampilan agen: logika alur kerja, kebijakan, serta instruksi tentang kapan masing-masing harus diterapkan.

Ambil contoh agen faktur. Agen itu menerima faktur yang nilainya 4% lebih tinggi daripada pesanan pembelian dan tidak dapat menemukan kebijakan yang mencakupnya. Alih-alih memprosesnya, agen tersebut meneruskan kasus itu kepada seorang ahli. Ahli itu menjelaskan bahwa pemasok ini memiliki pengecualian yang telah disetujui untuk biaya tambahan bahan bakar. Agen tersebut menyelesaikan kasus itu, dan penjelasannya disimpan sebagai konteks khusus untuk pemasok tersebut.

Jika jenis pengecualian yang sama muncul lagi pada pemasok lain dan para ahli lain menanganinya dengan cara yang sama, sistem akan mengusulkan perubahan kebijakan, misalnya, “biaya tambahan bahan bakar hingga 5% dapat diterima jika diizinkan oleh kontrak.” Usulan tersebut menjalani pengujian dan mendapat persetujuan manusia sebelum digunakan oleh agen. Jawaban seorang ahli menyelesaikan satu kasus. Pola yang muncul di berbagai kasus menjadi calon aturan baru.

Keputusan seorang karyawan mungkin tepat untuk satu pelanggan atau transaksi, tetapi belum tentu cocok dijadikan aturan umum. Bagaimana Anda menentukan apakah masukan harus tetap menjadi pengecualian satu kali atau dijadikan usulan perubahan kebijakan?

Kami memisahkan penyelesaian kasus individual dari perubahan cara agen beroperasi ke depannya.

Seorang karyawan mungkin mengizinkan pengecualian untuk satu pelanggan, tetapi bukan berarti pengecualian yang sama harus berlaku secara universal. Saya bahkan berpendapat bahwa dua karyawan yang berbeda mungkin memberikan penyelesaian berbeda untuk pengecualian pelanggan yang sama. Sistem kami mengevaluasi situasi, mengidentifikasi pola yang berulang, menyelaraskan pertentangan, dan mencari kemungkinan konflik dengan kebijakan yang sudah ada.

Jika ada bukti yang mendukung perubahan yang lebih luas, kami menjalankan agen melalui platform evaluasi kami—semacam “Truman Show” untuk agen—lalu mengusulkan pembaruan untuk mendapat persetujuan manusia.

Tujuannya adalah belajar dari manusia, bukan meniru keputusan mereka secara membabi buta. Jika tidak, Anda hanya mengotomatiskan kesalahan.

Agen dapat menunjukkan peningkatan pada kasus-kasus terbaru, tetapi menjadi kurang andal dalam situasi yang sebelumnya dapat ditanganinya dengan benar. Pengujian dan proses persetujuan seperti apa yang harus dilalui suatu usulan perubahan sebelum diterapkan di lingkungan produksi, dan bagaimana Anda mendeteksi serta membatalkan kemunduran kinerja?

Pembelajaran berkelanjutan tanpa tata kelola berbahaya, jadi setiap usulan perubahan harus melewati tiga perlindungan: pengujian regresi, persetujuan manusia, dan ambang batas keyakinan yang menentukan kapan agen boleh bertindak sendiri.

Pengujian dilakukan terlebih dahulu, dan prosesnya lebih sulit daripada kedengarannya karena pekerjaan operasional tidak memiliki kunci jawaban tetap. Kami memilih kasus-kasus representatif dari masukan para ahli, menetapkan kriteria untuk membandingkan keluaran, lalu menguji ulang kasus-kasus tersebut pada agen saat ini maupun versi yang diusulkan. Tindakan yang menimbulkan dampak lanjutan, seperti mengirim email, dijalankan dalam simulator yang dibuat berdasarkan proses sebelumnya, sedangkan kasus uji yang tidak lagi sesuai dengan kebijakan saat ini dihentikan. Dengan begitu, kami dapat mengukur dampak sebenarnya dari suatu perubahan; agen harus percaya bahwa mereka berada di dunia nyata, dan tindakan mereka benar-benar berdampak—misalnya, sebuah catatan dimasukkan ke SAP atau email dikirim kepada pelanggan. Itulah satu-satunya cara untuk membangun kerangka evaluasi yang benar-benar sesuai bagi setiap agen.

Seorang manajer kemudian meninjau perubahan tersebut, bukti yang mendasarinya, serta hasil pengujiannya, dan dapat menyetujui, merevisi, atau menolaknya. Cara agen beroperasi tidak akan berubah sebelum persetujuan itu diberikan.

Ambang batas keyakinan melindungi bisnis setelah perubahan diterapkan. Agen hanya bertindak sendiri jika tingkat keyakinannya melampaui ambang batas tersebut; segala hal di bawahnya akan diteruskan kepada ahli. Tim operasional mengatur sendiri ambang batas itu, sehingga mereka dapat memulai dengan pendekatan konservatif dan memberi agen lebih banyak keleluasaan seiring terbentuknya rekam jejak.

Jika kualitas menurun setelah perubahan, sistem secara otomatis memperketat ambang batas peninjauan agar lebih banyak kasus diteruskan kepada ahli, dan masukan mereka mengungkap masalah melalui siklus yang sama dengan siklus yang mengusulkan perubahan tersebut. Setiap perubahan kebijakan diberi versi, dikaitkan dengan pihak yang bertanggung jawab, dan dicatat, sehingga tim dapat melihat apa yang berubah, siapa yang menyetujuinya, dan alasannya, serta mengembalikan kebijakan ke versi sebelumnya.

Mengurangi pekerjaan rekayasa tetap dapat menyisakan banyak pekerjaan bagi tim operasional yang meninjau pengecualian dan mengoreksi agen. Bagaimana Anda mengukur apakah Reindeer mengurangi total upaya manusia yang dibutuhkan, alih-alih sekadar mengalihkan upaya tersebut ke tim lain?

Kenyataannya, sebagian besar perusahaan sudah memiliki tim yang menangani pekerjaan ini secara manual. Tujuan kami bukan mengalihkan beban kerja itu ke tim lain, melainkan menguranginya seiring waktu. Kami memberdayakan orang-orang paling berpengalaman dari tim yang sudah ada tersebut untuk mengajari agen cara menangani pengecualian dan mengambil keputusan yang lebih baik secara mandiri.

Masalah dengan model FDE adalah model itu sering mengalihkan pekerjaan dari karyawan operasional yang biayanya relatif rendah kepada tenaga rekayasa yang mahal. Itu bukan menyelesaikan masalah tenaga kerja, melainkan membuatnya lebih mahal. Reindeer tidak melibatkan tenaga rekayasa dalam perhitungan tersebut. Sebaliknya, kami mengukur keberhasilan berdasarkan seberapa banyak pekerjaan yang dapat diselesaikan agen secara mandiri dari waktu ke waktu dan seberapa sedikit campur tangan manusia yang dibutuhkan di seluruh proses.

Kami melacak tiga hal: proporsi kasus yang diselesaikan agen dari awal hingga akhir tanpa bantuan manusia, jumlah interaksi dengan pakar per kasus, dan total waktu penanganan per kasus oleh agen dan manusia secara keseluruhan. Jika angka ketiga tidak menurun, berarti kami hanya memindahkan pekerjaan ke tempat lain.

Dapatkah Anda menjelaskan satu penerapan di Hellmann Worldwide Logistics atau Papaya Global dan memaparkan perubahan sejak peluncuran hingga operasional berkelanjutan? Apa yang terjadi pada akurasi, tingkat pengecualian, waktu penyelesaian, dan jumlah intervensi manusia yang diperlukan?

Hellmann Worldwide Logistics adalah contoh bagus tentang bagaimana agen dapat meningkatkan operasional di dunia nyata seiring waktu. Tim penetapan harga mereka menghabiskan banyak waktu untuk memproses permintaan pengiriman secara manual melalui email, spreadsheet, dan dokumen lainnya; proses ini sering kali membutuhkan waktu berhari-hari untuk menghasilkan penawaran.

Kami memulai dengan sekitar 20 contoh permintaan untuk memahami alur kerja dan melatih agen. Setelah itu, para pakar penetapan harga Hellmann mulai bekerja langsung dengan sistem, memberikan masukan dan membantu sistem menangani pengecualian. Kami melacak akurasi dan kecepatan selama pengujian, lalu terus memantau kinerja setelah agen mulai beroperasi.

Saat ini, permintaan rutin ditangani secara otomatis, sementara kasus yang lebih kompleks diteruskan kepada tim. Yang penting, agen mengenali ketika ada informasi yang kurang alih-alih membuat asumsi, sehingga karyawan dapat turun tangan ketika keahlian mereka memang diperlukan.

Hasilnya, waktu penyelesaian penawaran menjadi lebih singkat, tugas entri data manual berkurang, dan waktu untuk berinteraksi langsung dengan pelanggan bertambah. Hellmann juga mencatat peningkatan tingkat keberhasilan penawaran. Tujuannya bukan menghilangkan manusia dari proses, melainkan terus mengurangi pekerjaan rutin yang memerlukan campur tangan mereka.

Apa yang Anda pelajari tentang batas pendekatan ini? Karakteristik alur kerja apa yang menunjukkan bahwa alur tersebut siap ditangani agen adaptif, dan apa yang menandakan bahwa bisnis sebaiknya merancang ulang prosesnya terlebih dahulu atau tetap menggunakan otomatisasi konvensional?

Tidak semua proses membutuhkan agen AI. Peluang terbaik terdapat pada alur kerja berulang dengan volume tinggi yang memerlukan pertimbangan kontekstual, khususnya jika informasinya tersebar di berbagai sistem dan karyawan sering menangani pengecualian.

Pelajaran paling jelas dari penerapan kami adalah bahwa fungsi baru tengah muncul di perusahaan, sebagaimana fungsi operasi pendapatan muncul seiring CRM dan DevOps seiring komputasi awan. Ketika perusahaan beralih dari beberapa agen menjadi banyak agen, mereka membutuhkan seseorang atau sebuah tim untuk mengelola agen seperti kepala departemen mengelola tenaga kerja: bertanggung jawab atas KPI dan ROI agen, menentukan pekerjaan mana yang sebaiknya ditangani agen dan mana yang tidak, serta menyetujui cara agen berubah. Perusahaan yang sudah membangun fungsi ini bergerak paling cepat, dan merekalah yang berada pada posisi terbaik untuk menang.

Praktik yang berbeda-beda bukan alasan untuk menunda. Para pakar hampir selalu memiliki pendapat berbeda dalam setiap operasi, dan sistem kami dirancang untuk mengungkap pertentangan tersebut serta mengubahnya menjadi usulan kebijakan. Menyelesaikan perbedaan itu merupakan bagian dari tugas penanggung jawab fungsi tersebut, yang menjadi alasan lain untuk menetapkan peran itu sebelum memperluas penggunaan agen.

Pendekatan ini juga memiliki batas. Operasi inti tidak akan sepenuhnya diotomatisasi, dan kami tidak menargetkan hal itu. Cakupan kerja agen diperluas secara bertahap, sementara kasus berisiko tinggi tetap ditangani manusia berdasarkan rancangan.

Seiring peningkatan model fondasi dan alat untuk membangun agen, bagian mana dari penerapan di perusahaan yang menurut Anda akan menjadi komoditas, dan keunggulan apa yang sedang dibangun Reindeer yang makin kuat setiap kali agen diterapkan dalam produksi?

Model fondasi akan semakin mudah saling menggantikan karena biayanya makin rendah, kecepatannya meningkat, dan kemampuannya bertambah. Membangun agen dasar dan menghubungkannya ke sistem perusahaan juga semakin mudah.

Namun, membangun agen tidak sama dengan membuatnya andal dalam lingkungan bisnis yang kompleks dari waktu ke waktu.

Keunggulan kompetitif yang sesungguhnya adalah pengetahuan eksklusif tentang cara perusahaan benar-benar beroperasi, yang terus berubah. Setiap kasus dalam produksi memberi agen kami kesempatan untuk belajar, menangani pengecualian di masa mendatang, dan mengurangi intervensi manusia.

Biaya model akan semakin rendah. Membangun agen akan semakin mudah.

Para pemenang akan meniadakan infrastruktur rekayasa manusia yang mahal dan diperlukan agar agen tetap berfungsi dan relevan dari waktu ke waktu.

Terima kasih atas wawancara yang menarik ini. Pembaca yang ingin mempelajari lebih lanjut tentang agen AI adaptif untuk perusahaan, otomatisasi operasional, dan pembelajaran dengan bimbingan manusia dapat mengunjungi Reindeer.