Lemma, $2.3M Ön-Tohum Fonunu AI Ajanlarının Üretimde Suskun Olarak Başarısız Olmalarını Çözmek İçin Alıyor

AI ajanı güvenilirliği startup’ı Lemma, üretimde AI ajanlarının suskun olarak başarısız olmasına neden olan sorunları çözmek için tasarlanmış izleme altyapısı oluşturmak amacıyla $2.3 milyon ön-tohum fonu aldı.

Tur, Matrix, Y Combinator, Liquid 2 Ventures, Vermilion Cliffs Ventures, Irregular Expressions, Cervin Ventures, Comma Capital, Position Ventures ve Eight Capital’ın yanı sıra OpenAI, xAI, Meta ve DoorDash’ten melek yatırımcılar ve operatörlerin katılımını içeriyor.

Jerry Zhang ve Cole Gawin tarafından kurulan Lemma, Y Combinator’un 2025 Sonbahar topluluğunun bir parçasıydı ve AI ajanları için üretim izleme üzerine odaklanıyor. Şirket, platformunun şimdiye kadar bir milyondan fazla ajan izlemesini işlediğini ve mühendislik ekiplerinin artan şekilde dağıtımdan sonra otomatik sistemlerin nasıl davrandığını anlamak için yollar aradığını söylüyor.

AI Ajanlarının Suskun Olarak Başarısız Olmasının Artan Sorunu

Geleneksel yazılım izleme büyük ölçüde açık hata sinyalleri etrafında tasarlanmıştır. Bir uygulama çöker, bir istek hata kodu döndürür, gecikme artar veya altyapı bileşeni kullanılamaz hale gelir.

AI ajanları farklı bir sorun getirir.

Bir ajan, teknik olarak her adımda başarılı olabilir, ancak kullanıcıların ne istediğini yanlış anlayabilir, yanlış aracı çağırabilir, yanlış bilgi kullanabilir, üretken olmayan bir döngüye takılabilir veya inandırıcı ancak yanlış bir cevap döndürebilir. Geleneksel izleme altyapısından bakıldığında, istek mükemmel görünebilir.

Lemma, bunları anlamsal hatalar olarak tanımlar. Örnekler arasında, bir müşteri hizmetleri ajanının yanlış iade politikasını belirtmesi, bir denetleme ajanının eski bir rapor oluşturması veya bir ajanın dış bir sistemi uydurduğu bilgiler kullanarak çağırması yer alır. Bunlar, AI ajanlarının sık karşılaşılan hata noktalarıdır.

Bu ayrım, ajanlar konuşma arayüzlerinin ötesine geçip daha uzun, çok adımlı iş akışlarını gerçekleştirmeye başladıklarında ve dil modelleri veritabanları, uygulama programlama arayüzleri (API’ler), alma sistemleri ve diğer yazılım araçları ile etkileşime girdiklerinde giderek daha önemli hale gelir.

Zincirdeki bir başarısızlık, bir istisna üretmeyebilir. Ajan simplemente devam edebilir.

Lemma’nın Üretimde AI Ajanlarını İzleme Şekli

Lemma, özellikle bu ajan yürütme yolları etrafında bir gözlemlenebilirlik katmanı oluşturuyor.

İzleme sistemi, her bir ajan yürütmesini, altta yatan büyük dil modeli çağrıları, araç çağrıları, girişleri, çıkışları, zamanlama verilerini, alma adımlarını ve iş akışı boyunca oluşan hataları içeren yapılandırılmış bir izleme haline dönüştürür. Mühendislik ekipleri, yalnızca ajanın son cevabına değil, tüm yürütme ağacını inceleyebilir.

İzleme, yaklaşımın sadece bir parçasıdır.

Lemma, üretim izlemelerini ajanın talimatlarına karşı analiz eder ve tekrarlanan sorunları sorunlar olarak gruplar, böylece ekiplerin bireysel etkileşimlerin arasında gömülü kalabilecek hata modellerini tanımlamasına yardımcı olur. Platform, sorunları önceliklendirebilir ve potansiyel olarak önemli sorunlar ortaya çıktığında Slack aracılığıyla uyarı gönderebilir.

Hedef, yazılımın başarılı bir şekilde çalışıp çalışmadığından daha zor bir soruyu cevaplamak: Ajan gerçekten yapmak üzere görevlendirildiği şeyi başardı mı?

Bu, agenlik yazılımlar için gözlemlenebilirliğin nasıl çalışması gerektiği konusunda önemli bir değişimdir.

Üretim Hatalarını Ajan İyileştirmelerine Dönüştürme

Lemma, bir sorunun bulunması ile onu düzeltmesi arasındaki mesafeyi kısaltmaya çalışıyor.

Platform, bir tekrarlanan hatayı tanımladıktan sonra, surrounding izlemeleri ve bağlamı analiz eder ve muhtemel bir kök nedeni belirler. Oradan, mühendislerin her problemli etkileşimi manuel olarak yeniden oluşturmak zorunda kalmadan,.prompt’lara, uygulama mantığına veya ajan iş akışlarına değişiklikler önerabilir.

Şirket, bu iş akışını geliştirme ortamlarına bir Model Bağlam Protokolü (MCP) sunucusu aracılığıyla genişletiyor. Geliştiriciler, Cursor, Claude Desktop ve Claude Code gibi araçlardan Lemma’nın izlemelerine erişebilir, böylece hata ayıklama işlemi, temel ajan geliştirildiği yere daha yakın bir yerde gerçekleşebilir.

Bir düzeltme dağıtıldıktan sonra, Lemma, üretim hatasını bir çevrimiçi değerlendirme haline dönüştürebilir ve tekrar oluşmasını izleyebilir. Bu, daha önce görülmemiş gerçek dünya hatalarının gelecekteki testler haline gelmesi yerine izole olaylar olarak kalması yerine, bir geri bildirim döngüsü oluşturur.

Bu yaklaşım, Lemma’yı geleneksel gözlemlenebilirliğin ötesine biraz taşır. Uzun vadeli hedef, üretim hatalarından sistemli bir şekilde öğrenen ajanlara yardımcı olan altyapıyı oluşturmaktır, böylece her kenar durumu keşfetmek, yeniden üretmek ve manuel olarak yamak için mühendislere güvenmek yerine.

Kurucuların Bizzat Karşılaştığı Bir Sorun

Zhang ve Gawin, University of Southern California’da tanıştılar ve daha sonra ayrı AI-yerli startup’larda AI sistemleri üzerinde çalıştılar. Lemma’yı kurmadan önce, sağlıkta AI uygulayan Tandem ve AI ajanları geliştiren ChipStack’te çalıştılar.

Bu deneyimler, geliştirme ortamlarından üretüme ajanları taşımanın zorluğunu onlara gösterdi.

“Cole ve ben, Lemma’yı kurduk çünkü AI ajanlarını inşa etmenin acısını bizzat yaşadık” dedi Zhang. “Sürekli aynı soruyla karşılaşıyorduk: Ajanlar görünüşte çalışıyordu, ancak üretimdeki sonuçlar güvenilir değildi.”

Kurucular, temel modelleme altyapısını geliştirmenin bu sorunu ortadan kaldırmayacağını savunuyor. Gerçek dünya ajan davranışları, prompt’lara, uygulama mantığına, araçlara, entegrasyonlara, alma sistemlerine, kullanıcı davranışlarına ve bunları birbirine bağlayan giderek karmaşık zincirlere de bağlıdır.

Lemma’nın kendi mühendislik tezi, çevrimdışı değerlendirmelerin, ajanların dağıtımdan sonra karşılaştığı öngörülemez koşulları yeniden üretmekte zorlandığı ve üretim verilerinin, sistemlerin nerede gerçekten bozulduğunu anlamak için önemli bir kaynak olduğudur.

AI Ajanlarını Üretimde İzlemenin Daha Geniş Çelişkisi

Yeni fon, Lemma’nın izleme ve hata tespit araçlarının geliştirilmesini destekleyecek, ilk olarak zaten üretimde AI ajanları çalıştıran startup’lara odaklanacak.

Şirket, AI sistemlerinin gerçek dünya iş akışlarına geçtiği bir alanda faaliyet gösteriyor. Geleneksel izleme araçları, teknik sorunları zoals downtime, gecikme veya başarısız istekleri tespit etmekte genellikle iyidir, ancak ajanlı sistemler başka bir karmaşıklık katmanı ekler: Bir uygulama işlevsel kalırken, ajan bir görevi yanlış anlar, yanlış aracı seçer veya yanlış bir sonuç üretir.

Bu ayrım, ajanların müşteri desteği, finansal analiz, sağlık yönetimi, yazılım geliştirme ve araştırma gibi alanlarda kullanıldıkça daha önemli hale gelecek.

Lemma için fırsat, AI ajanlarının üretimde çalıştırılmasında anlamsal hataların izlenmesinin standart bir parçası haline gelip gelmeyeceğine bağlı.

$2.3 milyon ön-tohum turu, şirketin bu tezi test etmek için daha fazla sermaye sağlarken, organizasyonlar ajanları giderek daha karmaşık iş akışlarına dağıtıyor.

AI Ajanlarının Daha İyi İzlenmesinin AI için Ne Anlama Geleceği

AI ajanları daha karmaşık ve otonom işleri üstlendiğinde, geleneksel izleme yeterli olmayabilir. Gelecek sistemler, bir görevi tamamlamakla kalmayıp, ajanın amacını anladığını, doğru araçları kullandığını ve doğru sonucu ürettiğini de değerlendirmelidir.

Araçlar gibi Lemma, üretim ve geliştirme arasında daha sıkı geri bildirim döngüleri oluşturabilir, gerçek dünya hatalarını yeni testler ve iyileştirmelere dönüştürebilir. Zamanla, bu, ajan gözlemlenebilirliğini, özellikle güvenilirlik ve hesap verebilirliğin en önemli olduğu yüksek riskli ortamlarda, AI altyapısı yığınının standart bir parçası haline getirebilir.