Crux Labs Menghimpun Lebih dari $6 Juta untuk Mengubah Penilaian di Perusahaan Menjadi Agen AI yang Lebih Baik

Agen AI dapat menyelesaikan tugas, tetapi tetap membuat keputusan yang akan ditolak oleh karyawan berpengalaman. Bagian tersulit sering kali adalah memahami aturan tak tertulis: kapan harus mengajukan pertanyaan lain, kapan harus meminta penanganan lebih lanjut, dan seperti apa hasil yang baik bagi bisnis tertentu.

Crux Labs sedang membangun platform untuk mengubah penilaian para ahli menjadi proses evaluasi dan peningkatan berkelanjutan bagi agen perusahaan. Startup asal New York ini muncul dari fase pengembangan tertutup dengan pendanaan lebih dari $6 juta dalam putaran yang mengalami kelebihan permintaan, dipimpin bersama oleh Benchstrength dan Misneach, dengan partisipasi dari Analog Ventures dan Pareto Holdings.

Perusahaan berencana menggunakan dana tersebut untuk memperluas tim riset dan rekayasa serta mempercepat penerapan di perusahaan. Inti taruhannya adalah bahwa bisnis membutuhkan sistem evaluasi yang disesuaikan dengan para ahli mereka sendiri, dengan lingkar umpan balik yang menghubungkan perilaku di lingkungan produksi dengan perubahan pada agen itu sendiri.

Mengapa Jejak Agen Baru Langkah Awal

Observabilitas agen membantu tim memeriksa tindakan yang dilakukan sistem: rangkaian pesan, pemanggilan alat, dan langkah-langkah lain di balik suatu interaksi. Catatan itu berguna ketika terjadi masalah. Namun, untuk menentukan apakah interaksi tersebut sudah cukup baik, diperlukan kriteria yang mencerminkan tugas dan kebutuhan bisnis.

Crux berpendapat bahwa peninjauan manual tidak dapat mengimbangi penerapan berskala besar. Dalam pengumumannya, perusahaan menyebut bahwa tim hanya mengambil sampel 1% dari jejak agen, sehingga sebagian besar lalu lintas lainnya tidak diperiksa secara langsung. Angka tersebut merupakan gambaran masalah menurut perusahaan, bukan hasil survei industri yang dipublikasikan.

Pengambilan sampel bisa sangat membatasi, terutama ketika kegagalan yang penting jarang terjadi. Agen mungkin berperilaku cukup baik dalam kasus-kasus umum, tetapi kesulitan menghadapi pengecualian yang langsung dikenali oleh staf berpengalaman. Tantangannya adalah mengubah pengenalan tersebut menjadi evaluasi yang dapat diterapkan secara konsisten pada kumpulan interaksi yang jauh lebih besar.

Bagi Crux, peluangnya terletak di antara orang-orang yang memahami bidang tersebut dan para insinyur yang membangun agen. Para ahli bidang dapat menjelaskan seperti apa interaksi yang berhasil, tetapi pemahaman itu perlu menjadi bagian berulang dari cara sistem diukur dan ditingkatkan.

Menghimpun Penilaian dan Menyesuaikan Evaluasi

Crux menjelaskan alur kerja yang dimulai di dalam perangkat dan proses yang sudah digunakan perusahaan. Agen-agen Crux menghimpun penilaian para ahli dan menggunakannya untuk menyesuaikan evaluasi khusus. Evaluasi tersebut kemudian mendukung pemantauan dan pemberian peringatan di lingkungan produksi, sementara hasilnya menjadi masukan untuk peningkatan agen berikutnya.

Tahap penyesuaian ini penting. Evaluasi umum mungkin memberi nilai tinggi pada jawaban yang lancar, tetapi luput memenuhi persyaratan khusus bisnis. Evaluasi yang berlandaskan penilaian ahli dimaksudkan untuk mengenali perbedaan antara jawaban yang terdengar benar dan jawaban yang memenuhi harapan organisasi.

“Agen sangat piawai mencapai tujuan, tetapi tidak memiliki akses ke heuristik yang telah kita kumpulkan selama bertahun-tahun dalam pikiran kita,” kata Julie Kheyfets, salah satu pendiri sekaligus CEO Crux. “Crux membantu setiap perusahaan merangkum penilaian ini dan menggunakannya untuk meningkatkan agen mereka dengan cepat.”

Hasil yang diharapkan adalah proses evaluasi yang terus berkembang seiring dengan hal-hal yang dipelajari para ahli dari interaksi nyata. Ketika pola kegagalan baru muncul, organisasi dapat memasukkan pengetahuan tersebut ke dalam cara mereka menilai perilaku selanjutnya, alih-alih membiarkannya tersebar di tiket dukungan dan catatan masing-masing peninjau.

Memantau Seluruh Arus Lalu Lintas di Lingkungan Produksi

Crux menyatakan bahwa evaluasi khususnya dioptimalkan untuk pemantauan dan pemberian peringatan secara waktu nyata pada 100% lalu lintas di lingkungan produksi. Ini adalah klaim tentang cakupan: evaluasi diterapkan pada seluruh arus lalu lintas. Artinya bukan evaluasi tersebut mendeteksi setiap kemungkinan kegagalan atau selalu sependapat dengan para ahli manusia.

Perbedaan ini penting karena evaluasi otomatis menghadirkan tantangan pengukuran tersendiri. Sistem yang meninjau setiap interaksi tetap dapat melewatkan perilaku penting jika kriterianya tidak lengkap. Karena itu, menyesuaikan kriteria tersebut berdasarkan keahlian bidang merupakan inti dari tawaran Crux, bukan langkah opsional sebelum pemantauan dimulai.

Perusahaan juga menyatakan bahwa hasil evaluasi mendorong peningkatan yang diterapkan di lingkungan produksi. Pengumumannya tidak merinci bagian mana dari proses tersebut yang mengubah prompt, kebijakan, model, atau komponen lain, maupun bagaimana persetujuan pelanggan ditangani. Tawaran yang diungkapkan adalah layanan evaluasi dan peningkatan menyeluruh, bukan teknik pelatihan model tertentu.

Tim Pendiri Berpengalaman dalam AI Perusahaan

Kheyfets dan salah satu pendiri sekaligus CTO, Krishna Kulkarni, bertemu di Princeton University. Kheyfets memiliki pengalaman selama satu dekade dalam menerapkan AI di industri yang kompleks, termasuk memimpin operasi Tractable AI di Amerika Utara dan menjabat sebagai CEO Block Renovation.

Menurut perusahaan, Kulkarni sebelumnya memimpin bidang rekayasa merek di Meta, mengembangkan produk AI di Checkr, dan membantu mengembangkan Healthify dari nol hingga melayani 20 juta pasien. Crux sedang membangun tim peneliti dan insinyur yang berfokus pada evaluasi dan peningkatan agen.

“Tim rekayasa tahu cara membangun agen AI, dan para ahli bidang tertentu tahu seperti apa keberhasilan itu, tetapi perusahaan belum memiliki penghubung di antara keduanya,” kata Kulkarni. “Crux menjadikan keahlian di bidang tertentu sebagai bagian dari upaya berkelanjutan untuk meningkatkan agen, sehingga para insinyur dapat membangun agen yang benar-benar selaras dengan kebutuhan bisnis.”

Perusahaan melaporkan adanya minat awal dari perusahaan Fortune 500 dan bisnis yang berkembang pesat di bidang layanan kesehatan, keamanan siber, layanan keuangan, dan industri kompleks lainnya. Dalam pengumuman tersebut, perusahaan tidak menyebutkan nama para pelanggan itu ataupun mengungkapkan pendapatan, jumlah penerapan, atau peningkatan yang terukur.

Alasan Bisnis untuk Evaluasi yang Disesuaikan dengan Perusahaan

Crux memosisikan dirinya sebagai tim khusus di dalam perusahaan yang bertugas mengevaluasi dan meningkatkan agen. Argumen bisnisnya adalah bahwa staf produk dan rekayasa seharusnya menghabiskan lebih sedikit waktu untuk menyusun proses peninjauan dan mendiagnosis kegagalan yang berulang, sementara para ahli memiliki cara praktis untuk memengaruhi sistem yang mewakili bisnis mereka.

Kebutuhan akan keahlian di bidang tertentu juga terlihat pada platform iMerit untuk pelatihan dan evaluasi AI yang dipandu para ahli, tempat pengorganisasian masukan para spesialis menjadi bagian dari alur kerja peningkatan model.

Bagi investor, peluangnya berkaitan dengan apa yang terjadi setelah agen mulai digunakan dalam lingkungan produksi. Pembuatan agen menimbulkan kebutuhan baru untuk terus mengukur perilakunya, mengidentifikasi kekurangannya, dan meningkatkannya tanpa mengabaikan standar organisasi.

Pendanaan Crux akan membantu menguji apakah proses tersebut dapat diterapkan secara andal pada pelanggan dengan definisi keberhasilan yang berbeda-beda. Proposisinya sederhana: penilaian dari orang-orang terbaik di perusahaan seharusnya menjadi bagian dari cara agen mereka dievaluasi, dan evaluasi tersebut seharusnya menghasilkan perilaku yang lebih baik di lingkungan produksi. Informasi selengkapnya tersedia di Crux Labs.