Lemma Mengumpulkan $2,3M Pra-Benih untuk Mengatasi Kegagalan Agen AI yang Sunyi di Produksi

Perusahaan rintisan keandalan agen AI, Lemma, telah mengumpulkan $2,3 juta dalam pendanaan pra-benih untuk membangun infrastruktur pemantauan yang dirancang untuk menangkap kelas masalah yang sulit: agen AI yang tampaknya telah menyelesaikan tugas dengan sukses sementara secara diam-diam menghasilkan hasil yang salah.

Putaran ini termasuk partisipasi dari Matrix, Y Combinator, Liquid 2 Ventures, Vermilion Cliffs Ventures, Irregular Expressions, Cervin Ventures, Comma Capital, Position Ventures, dan Eight Capital, bersama dengan investor malaikat dan operator dari OpenAI, xAI, Meta, dan DoorDash.

Didirikan oleh Jerry Zhang dan Cole Gawin, Lemma adalah bagian dari batch Fall 2025 Y Combinator dan fokus pada pemantauan produksi untuk agen AI. Perusahaan ini mengatakan bahwa platformnya telah memproses lebih dari satu juta jejak agen karena tim insinyur semakin mencari cara untuk memahami bagaimana sistem otonom berperilaku setelah penerapan.

Masalah yang Meningkat dari Agen AI yang Gagal Sunyi

Pemantauan perangkat lunak tradisional sebagian besar dirancang di sekitar sinyal kegagalan eksplisit. Aplikasi mengalami crash, permintaan mengembalikan kode kesalahan, latensi meningkat, atau komponen infrastruktur menjadi tidak tersedia.

Agen AI memperkenalkan masalah yang berbeda.

Sebuah agen dapat mengeksekusi setiap langkah teknis dalam alur kerja dan masih salah memahami apa yang diinginkan pengguna, memanggil alat yang salah, menggunakan informasi yang salah, terjebak dalam loop yang tidak produktif, atau mengembalikan jawaban yang masuk akal tetapi salah. Dari perspektif infrastruktur pemantauan konvensional, permintaan mungkin terlihat sehat.

Lemma menggambarkan ini sebagai kegagalan semantik. Contoh termasuk agen layanan pelanggan yang mengutip kebijakan pengembalian yang salah, agen audit yang menghasilkan laporan yang ketinggalan zaman, atau agen yang memanggil sistem eksternal menggunakan informasi yang dibuatnya. Ini adalah titik kegagalan agen AI yang umum.

Perbedaan itu menjadi semakin penting karena agen bergerak melampaui antarmuka konversasional dan mulai mengeksekusi alur kerja yang lebih panjang, di mana model bahasa berinteraksi dengan basis data, antarmuka pemrograman aplikasi (API), sistem pengambilan, dan perangkat lunak lainnya.

Kegagalan di suatu tempat dalam rantai itu mungkin tidak menghasilkan pengecualian. Agen mungkin hanya melanjutkan.

Bagaimana Lemma Memantau Agen AI di Produksi

Lemma sedang membangun lapisan observabilitas khusus di sekitar jalur eksekusi agen ini.

Sistem pelacakan mereka mengubah setiap eksekusi agen menjadi jejak terstruktur yang berisi panggilan model bahasa besar, invocation alat, input, output, data waktu, langkah pengambilan, dan kesalahan yang dihasilkan sepanjang alur kerja. Tim insinyur dapat memeriksa seluruh pohon eksekusi daripada hanya melihat respons akhir agen.

Tapi pelacakan hanya sebagian dari pendekatan.

Lemma menganalisis jejak produksi melawan instruksi agen dan mengelompokkan masalah berulang menjadi masalah, membantu tim mengidentifikasi pola kegagalan yang mungkin tidak akan terungkap di seluruh interaksi individu. Platform juga dapat memprioritaskan masalah dan mengirimkan peringatan melalui Slack ketika masalah potensial yang signifikan muncul.

Tujuan adalah untuk menjawab pertanyaan yang lebih sulit daripada apakah perangkat lunak berjalan dengan sukses: Apakah agen benar-benar mencapai apa yang seharusnya dilakukan?

Itu adalah pergeseran signifikan dalam cara observabilitas mungkin perlu bekerja untuk perangkat lunak agen.

Mengubah Kegagalan Produksi Menjadi Peningkatan Agen

Lemma juga mencoba untuk mempersingkat jarak antara menemukan masalah dan memperbaikinya.

Saat platform mengidentifikasi kegagalan berulang, itu menganalisis jejak dan konteks sekitarnya untuk menentukan penyebab akar yang mungkin. Dari sana, itu dapat mengusulkan perubahan pada prompt, logika aplikasi, atau alur kerja agen daripada memerlukan insinyur untuk secara manual merekonstruksi setiap interaksi yang bermasalah.

Perusahaan ini memperluas alur kerja ini ke lingkungan pengembangan melalui server Model Context Protocol (MCP). Pengembang dapat mengkueri jejak Lemma dari alat termasuk Cursor, Claude Desktop, dan Claude Code, memungkinkan proses debugging terjadi lebih dekat dengan tempat agen yang mendasarinya dikembangkan.

Setelah perbaikan diterapkan, Lemma dapat mengubah kegagalan produksi menjadi evaluasi online dan memantau kejadian kembali. Ini menciptakan loop umpan balik di mana kegagalan dunia nyata yang sebelumnya tidak terlihat menjadi tes dan perbaikan di masa depan.

Pendekatan ini mendorong Lemma sedikit melampaui observabilitas konvensional. Tujuan jangka panjang adalah infrastruktur yang membantu agen belajar secara sistematis dari kegagalan produksi daripada hanya mengandalkan insinyur untuk menemukan, mereproduksi, dan memperbaiki setiap kasus tepi.

Masalah yang Dihadapi Pendiri Secara Langsung

Zhang dan Gawin bertemu sebagai mahasiswa baru di University of Southern California dan kemudian bekerja pada sistem AI di perusahaan rintisan AI-asli yang terpisah. Sebelum mendirikan Lemma, mereka bekerja di Tandem, yang menerapkan AI di bidang kesehatan, dan ChipStack, yang mengembangkan agen AI untuk desain chip.

Pengalaman itu membantu memperkenalkan mereka pada kesulitan mengambil agen dari lingkungan pengembangan yang dikendalikan ke produksi.

“Cole dan saya memulai Lemma karena kami mengalami kesulitan membangun agen AI secara langsung,” kata Zhang. “Kami terus menghadapi masalah yang sama: agen tampaknya bekerja, tetapi hasilnya tidak cukup andal di produksi.”

Pendiri berpendapat bahwa meningkatkan model dasar saja tidak akan menghilangkan masalah ini. Perilaku agen dunia nyata juga bergantung pada prompt, logika aplikasi, alat, integrasi, sistem pengambilan, perilaku pengguna, dan rantai yang semakin rumit yang menghubungkannya.

Tesis insinyur Lemma adalah bahwa evaluasi offline berjuang untuk mereproduksi kondisi yang tidak terduga yang dihadapi agen setelah penerapan, membuat data produksi menjadi sumber penting untuk memahami di mana sistem sebenarnya gagal.

Tantangan Lebih Luas dari Pemantauan Agen AI di Produksi

Pendanaan baru akan mendukung pengembangan lebih lanjut dari alat pemantauan dan pendeteksian kegagalan Lemma, dengan fokus awal pada perusahaan rintisan yang sudah menjalankan agen AI di produksi.

Perusahaan ini beroperasi di area yang menjadi semakin penting karena sistem AI bergerak dari demonstrasi yang terisolasi ke alur kerja dunia nyata. Alat observabilitas tradisional umumnya baik dalam mendeteksi masalah teknis seperti downtime, latensi, atau permintaan yang gagal, tetapi sistem agen memperkenalkan lapisan kompleksitas lain: aplikasi dapat tetap beroperasional sementara agen salah memahami tugas, memilih alat yang salah, atau menghasilkan hasil yang salah.

Perbedaan itu kemungkinan akan menjadi lebih signifikan karena agen digunakan di seluruh dukungan pelanggan, analisis keuangan, administrasi kesehatan, pengembangan perangkat lunak, dan penelitian. Di lingkungan ini, mengukur apakah agen menyelesaikan alur kerja mungkin kurang penting daripada menentukan apakah agen menyelesaikan alur kerja dengan benar.

Bagi Lemma, kesempatan ini bergantung pada apakah pemantauan kegagalan semantik menjadi bagian standar dari mengoperasikan agen AI di produksi. Putaran pra-benih sebesar $2,3 juta memberikan perusahaan modal tambahan untuk menguji tesis ini karena organisasi menerapkan agen di seluruh alur kerja yang semakin kompleks.

Apa yang Dimaksud dengan Pemantauan Agen yang Lebih Baik untuk AI

Ketika agen AI mengambil pekerjaan yang lebih kompleks dan otonom, pemantauan tradisional mungkin tidak cukup lagi. Sistem masa depan akan perlu menilai tidak hanya apakah agen menyelesaikan tugas, tetapi juga apakah agen memahami tujuan, menggunakan alat yang tepat, dan menghasilkan hasil yang benar.

Alat seperti Lemma juga dapat menciptakan loop umpan balik yang lebih ketat antara produksi dan pengembangan, mengubah kegagalan dunia nyata menjadi tes dan perbaikan baru. Dengan waktu, ini dapat membuat observabilitas agen menjadi bagian standar dari tumpukan infrastruktur AI, terutama di lingkungan dengan risiko tinggi di mana keandalan dan akuntabilitas paling penting.