Wawancara
Rahul Nambiar, Salah Satu Pendiri dan Direktur Utama Propensity Labs – Seri Wawancara

Poin utamaMengadaptasi prompt ke model yang lebih murah membuatnya setara dengan model premium…
Lihat selengkapnya
- Mengadaptasi prompt ke model yang lebih murah membuatnya setara dengan model premium pada 7% dari biayanya.
- Model yang lebih murah sering gagal karena pola perilaku yang dapat diperbaiki, bukan karena kemampuan mentah yang tidak memadai.
- Tim harus mengukur biaya per tugas yang berhasil diselesaikan, bukan hanya biaya per token.
Rahul Nambiar adalah salah satu pendiri dan direktur utama Propensity Labs. Sebelumnya, ia membangun infrastruktur berskala besar di AWS sebelum pindah ke Meta, tempat ia memimpin pengembangan inventaris data pengguna berskala eksabita dengan menggunakan klasifikasi pembelajaran mesin. Kini, ia berfokus pada pemahaman tentang perilaku model AI serta penggabungan perutean model dan penyesuaian instruksi untuk meningkatkan efisiensi biaya dan keandalan alur kerja berbasis agen.
Propensity Labs mengembangkan sistem yang membantu tim memilih dan mengarahkan model AI sesuai dengan beban kerja mereka. Pendekatannya menggabungkan evaluasi perilaku model, penyesuaian perintah otomatis, dan perutean antarmodel, dengan tujuan membantu pengguna memperoleh hasil lebih optimal dari model yang tersedia tanpa harus menjadi ahli dalam setiap model.
Karier Anda membawa Anda dari Meta, tempat Anda memimpin pengembangan teknologi privasi dalam proyek inventaris data berskala eksabita, ke AWS, dan kini menjadi direktur utama Propensity Labs. Bagaimana latar belakang teknis tersebut membentuk pandangan Anda tentang keterbatasan model AI saat ini dan potensi perutean instruksi khusus?
Saya sebenarnya memulai karier di AWS, lalu pindah ke Meta. Salah satu hal yang saya pelajari dari membangun sistem berskala besar adalah bahwa kita sering kali dapat memperoleh peningkatan besar dengan memahami dan mengoptimalkan perilaku komponen yang mendasarinya, alih-alih menganggapnya sebagai kotak hitam yang bisa saling menggantikan. Hal yang sama berlaku untuk model AI. Kami mendapati bahwa bahkan model yang sangat mumpuni pun memiliki keunikan perilaku yang dapat dipahami dan diatasi, sering kali dengan peningkatan kinerja dan efisiensi biaya yang mengejutkan.
Dalam eksperimen terbaru Anda, Anda menunjukkan bahwa model-model lebih kecil yang diarahkan dengan perutean mengungguli model premium dengan biaya yang jauh lebih rendah. Apa kendala rekayasa utama dalam menerapkan perutean model semacam ini di lingkungan produksi dibandingkan dengan pengujian tolok ukur?
Dengan menyesuaikan perintah untuk Luna dan mengatasi kelemahannya, kami berhasil membuat kinerjanya menyamai Sol dengan biaya 7% saja dalam tolok ukur berbasis agen kompleks Tau3 dari Sierra. Perutean antara Luna yang telah disesuaikan dan Sol memungkinkan kami menyamai kinerja Astra dengan biaya 16% saja.
Salah satu pelajaran besar bagi kami adalah bahwa perutean maupun penyesuaian perintah harus benar-benar disesuaikan dengan beban kerja tertentu. Tolok ukur menyediakan lingkungan dan sistem penilaian yang terstruktur, yang dapat digunakan untuk mempelajari kinerja model dalam tugas apa pun dan mengevaluasi hasilnya. Hal ini membantu menentukan cara menyesuaikan perintah untuk model tersebut dan kapan harus mengarahkan tugas ke model tertentu.
Alur kerja produksi tidak tersaji serapi itu. Kita memiliki rekam jejak model dalam menyelesaikan tugas, tetapi tidak ada cara yang andal untuk mengetahui apakah model benar-benar berhasil dan seperti apa hasil yang baik. Yang kami pelajari adalah cara memanfaatkan data penggunaan yang sudah ada, baik evaluasi maupun rekam jejak produksi, lalu menyusun kembali pengaturan evaluasi agar kami dapat menguji berbagai model dan penyesuaian pada beban kerja yang sama.
Hal menariknya adalah perutean dan penyesuaian perlu dipertimbangkan secara bersamaan. Model yang lebih murah mungkin gagal menyelesaikan tugas dengan perintah yang sudah ada, tetapi dapat berhasil setelah perintah tersebut disesuaikan dengan perilaku model itu. Dengan begitu, pilihan model yang seharusnya menjadi tujuan perutean sejak awal pun berubah.
Anda menyebutkan penyesuaian instruksi untuk model tertentu. Bagaimana Anda membedakan instruksi yang berlaku umum dengan instruksi yang harus disesuaikan secara khusus dengan kelebihan dan kelemahan arsitektur model tertentu?
Banyak instruksi yang tampaknya berlaku umum ternyata perlu disesuaikan dengan modelnya. Berikut contoh sederhana: halusinasi dalam respons satu giliran. Kami mempelajari dua model berbeda, yaitu DeepSeek V4 Pro dan GPT-6 Luna. Keduanya sangat cenderung mengarang sesuatu ketika tidak mengetahui jawabannya. Ada aspek dalam proses pelatihan mereka yang membuat keduanya sangat enggan untuk tidak menjawab dan mengatakan, “Saya tidak tahu.” Perilaku ini serupa, tetapi cara kami mengatasinya melalui perintah sangat berbeda.
DeepSeek V4 Pro dapat didorong untuk tidak menjawab hingga mencapai tingkat yang sama dengan model Claude jika kepadanya diberikan banyak variasi instruksi seperti, “Tidak apa-apa mengatakan saya tidak tahu.” Taktik yang sama hanya sedikit berpengaruh pada Luna. Luna paling baik merespons ketika diberi konsekuensi berupa nilai jika jawabannya salah. Instruksi seperti, “Jawaban yang salah bernilai -90 poin, sedangkan jawaban yang benar hanya mendapat +10,” membuatnya tidak menjawab sesering kakaknya yang lebih besar, Sol. Perilakunya sama, tetapi cara untuk mendorong kedua model agar tidak berperilaku demikian sangat berbeda. Untuk menyesuaikan instruksi dengan model tertentu, Anda perlu memahami secara mendalam model tersebut sekaligus alur kerja tempat model itu digunakan.
Seiring perusahaan beralih ke alur kerja berbasis agen, bukti apa yang Anda lihat bahwa perutean di antara model yang lebih murah dan terspesialisasi merupakan strategi yang lebih tahan lama daripada menunggu satu model terdepan yang kemampuannya terus meningkat untuk menangani semuanya?
Model terdepan baru muncul kira-kira setiap minggu. Misalkan Anda memilih model terbesar dan terbaik saat ini untuk seluruh alur kerja Anda. Dalam beberapa bulan, atau bahkan beberapa minggu, kemungkinan akan ada model yang lebih kecil yang mampu menangani sebagian besar, bahkan seluruh alur kerja Anda. Pada saat yang sama, kemungkinan juga akan tersedia model yang lebih besar atau lebih terspesialisasi dengan kinerja lebih baik dalam alur kerja Anda. Jika tidak beralih di antara model atau menggunakan perutean antarmodel, Anda kehilangan peluang untuk meningkatkan kinerja sekaligus menghemat biaya.
Namun, mengikuti semua perkembangan ini merepotkan. Orang seharusnya tidak perlu menjadi ahli dalam berbagai model yang ada. Di sinilah kami yakin dapat membantu, dengan memastikan Anda selalu mendapatkan model terbaik untuk beban kerja Anda, dengan biaya serendah mungkin untuk tingkat kinerja yang Anda inginkan. Terkadang, solusinya adalah memilih model paling mumpuni yang tersedia untuk menangani sebagian beban kerja Anda. Di lain waktu, solusinya adalah mengadaptasi sebagian besar beban kerja Anda agar dapat ditangani oleh model yang jauh lebih murah.
Saat mengelola sistem yang merutekan tugas ke beberapa model, bagaimana Anda menangani konsistensi dan privasi data, khususnya ketika tugas tersebut melibatkan informasi sensitif?
Kami berperan sebagai lapisan perantara antara pengguna dan penyedia model. Pengguna memilih penyedia yang ingin mereka gunakan dan memasukkan kunci API mereka sendiri. Kami memilih model terbaik dari penyedia tersebut untuk seluruh atau sebagian beban kerja mereka, mengadaptasi beban kerja itu, lalu mengarahkannya ke model yang tepat. Kami hanya menggunakan hasil evaluasi atau jejak yang dipilih pelanggan untuk dibagikan, dan kami tidak melatih model dengan data mereka ataupun menyimpannya.
Anda mendirikan Propensity Labs bersama Mana Azarm. Bagaimana Anda membagi fokus antara sisi riset perilaku model dan sisi praktis rekayasa sistem dalam membangun alur kerja agen ini?
Keahlian kami saling melengkapi dengan baik dalam hal ini. Mana, yang merupakan Kepala Ilmuwan kami sekaligus profesor, lebih berfokus pada aspek perilaku model, sedangkan saya berfokus pada rekayasa sistem. Atau, setidaknya, begitulah pembagian yang kami inginkan. Kenyataannya lebih rumit, dan pada akhirnya kami masing-masing mengerjakan apa pun yang menjadi hambatan utama saat itu.
Bagi para CTO yang saat ini mengeluarkan banyak biaya untuk panggilan API model premium, apa langkah paling mudah untuk menguji perutean model dan adaptasi instruksi dalam alur kerja yang sudah mereka gunakan?
Silakan berbincang dengan kami! Namun, serius, saya akan mencoba menjalankan model yang lebih kecil dari generasi terbaru pada beban kerja spesifik Anda, lalu melihat apa saja yang mampu ditanganinya. Saya menduga banyak orang masih mengandalkan model yang lebih besar dari generasi sebelumnya. Dengan pesatnya peningkatan kemampuan model, mereka mungkin belum menyadari bahwa baru-baru ini telah tersedia alternatif yang lebih kecil dan lebih murah, yang mampu menangani beban kerja mereka.
Apa kesalahpahaman paling umum yang dimiliki pengembang tentang kemampuan model yang lebih murah jika batasan atau panduan yang tepat diberikan?
Kesalahpahaman yang paling umum adalah anggapan bahwa ketika model yang lebih murah gagal, penyebabnya semata-mata karena model itu tidak cukup mumpuni. Menurut saya, ada manfaatnya jika kita menganalisis secara mendalam bagaimana dan di bagian mana model yang lebih murah gagal dalam alur kerja Anda. Sebagian kegagalan itu terjadi karena pola tertentu yang cenderung diikuti model. Jika pola tersebut dikenali dan model diarahkan untuk menghindarinya, model itu mungkin dapat berhasil dalam alur kerja Anda. Sebagian lainnya terjadi karena model yang lebih murah memang tidak memiliki kemampuan dasar untuk menyelesaikan tugas tertentu dengan benar. Untuk tugas seperti itulah Anda memerlukan model yang lebih besar.
Pekerjaan Anda mencakup persinggungan antara privasi, skala, dan biaya. Dalam melihat perkembangan infrastruktur AI selama 12–18 bulan ke depan, menurut Anda, di mana kesenjangan terbesar antara kebutuhan bisnis dan apa yang disediakan ekosistem perangkat saat ini?
Dari percakapan dengan para praktisi yang menerapkan model di lingkungan produksi, saya melihat bahwa banyak dari mereka merasa takut ketinggalan (FOMO) dan, sampai batas tertentu, lelah mengikuti perkembangan model-model baru beserta kemampuannya yang terus meningkat. Sebagian besar teknologi cenderung makin mudah digunakan dan diterapkan seiring waktu. Namun, LLM justru semakin sulit digunakan, dengan begitu banyak model dan pengaturan yang harus dipilih, seperti suhu, tingkat upaya penalaran, dan penyimpanan tembolok. Menurut saya, ada banyak manfaatnya jika penggunaan model disederhanakan dan detailnya diabstraksikan, sehingga tim dapat berfokus pada hal yang ingin mereka capai dengan model, bukan pada cara mencapainya.
Metrik apa yang sebaiknya diprioritaskan tim teknis saat mulai bereksperimen dengan perutean multi-model, agar mereka tidak sekadar mengejar penghematan biaya dengan mengorbankan keandalan?
Saya akan mulai dengan tingkat keberhasilan tugas, tingkat kegagalan, latensi, dan biaya untuk setiap tugas yang berhasil diselesaikan. Biaya per token saja tidak terlalu berguna jika model yang lebih murah lebih sering gagal. Karena itu, Anda perlu menghitung seluruh biaya suatu tugas, termasuk percobaan ulang serta setiap model pengklasifikasi atau pengambil keputusan yang dipanggil untuk melakukan perutean.
Bagian tersulitnya adalah mengukur keandalan. Kami melihat pola yang umum: tim kesulitan memindahkan agen mereka dari satu model ke model lain, lalu mencurahkan seluruh upaya untuk evaluasi selama beberapa bulan, dan setelah itu mendapati bahwa proses perpindahan model menjadi jauh lebih mudah. Saya sangat menyarankan agar Anda sedini mungkin berinvestasi dalam evaluasi yang andal untuk alur kerja Anda dan terus memperbaruinya seiring perubahan alur kerja serta cara pengguna memakainya.
Terima kasih atas wawancara yang luar biasa ini. Para pembaca yang ingin mendalami perutean model, adaptasi instruksi, dan metode evaluasi untuk menghasilkan alur kerja AI yang lebih andal dan hemat biaya dapat mengunjungi Propensity Labs.












