Lemma erhält 2,3 Millionen Dollar für Pre-Seed-Finanzierung, um stille AI-Agenten-Fehler in der Produktion zu bekämpfen

Das Startup für die Zuverlässigkeit von künstlicher Intelligenz, Lemma, hat 2,3 Millionen Dollar an Pre-Seed-Finanzierung aufgenommen, um Überwachungsinfrastruktur zu entwickeln, die speziell auf die Erkennung einer besonders schwierigen Klasse von Problemen ausgerichtet ist: KI-Agents, die den Anschein erwecken, eine Aufgabe erfolgreich abgeschlossen zu haben, während sie stillschweigend das falsche Ergebnis produzieren.

Die Runde umfasst die Beteiligung von Matrix, Y Combinator, Liquid 2 Ventures, Vermilion Cliffs Ventures, Irregular Expressions, Cervin Ventures, Comma Capital, Position Ventures und Eight Capital, neben Engelinvestoren und Betreibern von OpenAI, xAI, Meta und DoorDash.

Gegründet von Jerry Zhang und Cole Gawin, war Lemma Teil der Herbst-Batch 2025 von Y Combinator und konzentriert sich auf die Überwachung von KI-Agents in der Produktion. Das Unternehmen gibt an, dass seine Plattform bereits über eine Million Agenten-Spuren verarbeitet hat, während Ingenieur-Teams zunehmend nach Wegen suchen, um zu verstehen, wie autonome Systeme nach der Bereitstellung funktionieren.

Das wachsende Problem von KI-Agents, die stillschweigend fehlschlagen

Traditionelle Software-Überwachung ist größtenteils auf explizite Fehler-Signale ausgerichtet. Eine Anwendung stürzt ab, eine Anfrage gibt einen Fehlercode zurück, die Latenz steigt oder ein Infrastruktur-Komponent wird nicht verfügbar.

KI-Agents stellen ein anderes Problem dar.

Ein Agent kann jeden technischen Schritt in einem Workflow erfolgreich ausführen und dennoch missverstehen, was der Benutzer wollte, das falsche Tool aufrufen, falsche Informationen verwenden, in einer unproduktiven Schleife stecken bleiben oder eine plausible, aber falsche Antwort zurückgeben. Aus der Perspektive der herkömmlichen Überwachungs-Infrastruktur kann die Anfrage völlig gesund aussehen.

Lemma bezeichnet diese als semantische Fehler. Beispiele umfassen einen Kundenservice-Agenten, der die falsche Rückerstattungsrichtlinie zitiert, einen Prüfungs-Agenten, der einen veralteten Bericht generiert, oder einen Agenten, der ein externes System mit Informationen aufruft, die er erfunden hat. Diese sind häufige KI-Agenten-Fehlerpunkte.

Diese Unterscheidung wird zunehmend wichtig, da Agents über konversationale Schnittstellen hinausgehen und längere, mehrstufige Workflows ausführen, bei denen Sprachmodelle mit Datenbanken, APIs, Abrufsystemen und anderen Software-Tools interagieren.

Ein Fehler irgendwo in dieser Kette kann keine Ausnahme produzieren. Der Agent kann einfach weitermachen.

Wie Lemma KI-Agents in der Produktion überwacht

Lemma baut eine Observabilitätsschicht speziell um diese Agenten-Ausführungspfade herum.

Ihr Spur-System verwandelt jede Agenten-Ausführung in eine strukturierte Spur, die die zugrunde liegenden großen Sprachmodell-Aufrufe, Tool-Aufrufe, Eingaben, Ausgaben, Zeitdaten, Abrufschritte und Fehler enthält, die während des Workflows generiert werden. Ingenieur-Teams können dann den gesamten Ausführungsbaum untersuchen, anstatt nur auf die endgültige Antwort des Agents zu schauen.

Aber Spuren sind nur ein Teil des Ansatzes.

Lemma analysiert Produktions-Spuren gegen die Anweisungen eines Agents und gruppiert wiederkehrende Probleme in Probleme, um Teams zu helfen, Fehlermuster zu identifizieren, die sonst möglicherweise über Tausende von individuellen Interaktionen hinweg verborgen bleiben. Die Plattform kann auch Probleme priorisieren und über Slack warnen, wenn potenziell signifikante Probleme auftauchen.

Das Ziel ist, eine schwierigere Frage zu beantworten, als ob die Software erfolgreich gelaufen ist: Hat der Agent tatsächlich das erreicht, was er erreichen sollte?

Das ist ein bedeutender Schritt in der Art und Weise, wie Observabilität für agierende Software funktionieren muss.

Produktionsfehler in Agenten-Verbesserungen umwandeln

Lemma versucht auch, den Abstand zwischen der Erkennung eines Problems und seiner Behebung zu verkürzen.

Sobald die Plattform einen wiederkehrenden Fehler identifiziert, analysiert sie die umgebenden Spuren und den Kontext, um eine wahrscheinliche Ursache zu bestimmen. Von dort aus kann sie Änderungen an Prompts, Anwendungslogik oder Agenten-Workflows vorschlagen, anstatt Ingenieuren zu erfordern, jeden problematischen Vorgang manuell zu rekonstruieren.

Das Unternehmen erweitert diesen Workflow in Entwicklungsumgebungen durch einen Model-Context-Protocol-Server. Entwickler können Lemmas Spuren aus Tools wie Cursor, Claude Desktop und Claude Code abfragen, sodass der Debug-Prozess näher an der Stelle stattfinden kann, an der das zugrunde liegende Agenten-System entwickelt wird.

Nachdem ein Fix bereitgestellt wurde, kann Lemma den Produktionsfehler in eine Online-Bewertung umwandeln und auf sein Wiederauftreten achten. Dies schafft eine Rückkopplungsschleife, in der bisher nicht gesehene realweltliche Fehler zu zukünftigen Tests und Verbesserungen werden, anstatt isolierte Vorfälle zu bleiben.

Dieser Ansatz bringt Lemma ein wenig über die herkömmliche Observabilität hinaus. Das langfristige Ziel ist eine Infrastruktur, die Agents systematisch von Produktionsfehlern lernen lässt, anstatt sich ausschließlich auf Ingenieure zu verlassen, um jeden Randfall zu entdecken, zu reproduzieren und manuell zu patchen.

Ein Problem, das die Gründer selbst erlebt haben

Zhang und Gawin trafen sich als Erstsemester an der University of Southern California und arbeiteten später an KI-Systemen bei verschiedenen KI-nativen Startups. Bevor sie Lemma gründeten, arbeiteten sie bei Tandem, das KI im Gesundheitswesen anwendet, und ChipStack, das KI-Agents für Chip-Design entwickelt.

Diese Erfahrungen halfen ihnen, die Schwierigkeit zu erkennen, Agents aus kontrollierten Entwicklungsumgebungen in die Produktion zu überführen.

“Cole und ich haben Lemma gegründet, weil wir den Schmerz des Aufbaus von KI-Agents selbst erlebt haben”, sagte Zhang. “Wir rannten immer wieder an das gleiche Problem: Agents schienen zu funktionieren, aber die Ergebnisse waren in der Produktion nicht zuverlässig genug.”

Die Gründer argumentieren, dass die Verbesserung der zugrunde liegenden Grundmodell allein dieses Problem nicht beseitigen wird. Das realweltliche Verhalten von Agents hängt auch von Prompts, Anwendungslogik, Tools, Integrationen, Abrufsystemen, Benutzerverhalten und den zunehmend komplizierten Ketten, die sie verbinden, ab.

Lemmas eigene Ingenieur-These ist, dass Offline-Bewertungen Schwierigkeiten haben, die unvorhersehbaren Bedingungen zu reproduzieren, mit denen Agents nach der Bereitstellung konfrontiert sind, wodurch Produktionsdaten eine wichtige Quelle für das Verständnis darstellen, wo Systeme tatsächlich versagen.

Die breitere Herausforderung der Überwachung von KI-Agents in der Produktion

Die neue Finanzierung wird die weitere Entwicklung von Lemmas Überwachungs- und Fehler-Erkennungstools unterstützen, mit einem anfänglichen Fokus auf Startups, die bereits KI-Agents in der Produktion einsetzen.

Das Unternehmen operiert in einem Bereich, der zunehmend wichtiger wird, da KI-Systeme von isolierten Demonstrationen in realweltliche Workflows übergehen. Traditionelle Überwachungstools sind im Allgemeinen gut darin, technische Probleme wie Ausfallzeiten, Latenz oder fehlgeschlagene Anfragen zu erkennen, aber agentische Systeme stellen eine weitere Ebene der Komplexität dar: Eine Anwendung kann weiterhin funktionsfähig sein, während der Agent eine Aufgabe missversteht, das falsche Tool wählt oder ein falsches Ergebnis produziert.

Diese Unterscheidung wird wahrscheinlich noch bedeutender, da Agents in Bereichen wie Kundensupport, Finanzanalyse, Gesundheitsverwaltung, Software-Entwicklung und Forschung eingesetzt werden. In diesen Umgebungen kann die Messung, ob ein Agent einen Workflow abgeschlossen hat, weniger wichtig sein als die Bestimmung, ob er den Workflow korrekt abgeschlossen hat.

Für Lemma hängt die Chance daher davon ab, ob die Überwachung semantischer Fehler zu einem Standardbestandteil des Betriebs von KI-Agents in der Produktion wird. Die Pre-Seed-Runde von 2,3 Millionen Dollar gibt dem Unternehmen zusätzliches Kapital, um diese These zu testen, während Organisationen Agents über zunehmend komplexe Workflows einsetzen.

Was bessere Agenten-Überwachung für KI bedeuten könnte

Wenn KI-Agents komplexere und autonomere Arbeiten übernehmen, kann traditionelle Überwachung möglicherweise nicht mehr ausreichen. Zukunftssysteme müssen beurteilen, ob ein Agent nicht nur eine Aufgabe abgeschlossen hat, sondern auch, ob er das Ziel verstanden, das richtige Tool verwendet und das korrekte Ergebnis produziert hat.

Tools wie Lemma könnten auch engere Rückkopplungsschleifen zwischen Produktion und Entwicklung schaffen, indem sie realweltliche Fehler in neue Tests und Verbesserungen umwandeln. Im Laufe der Zeit könnte dies dazu führen, dass die Observabilität von Agents zu einem Standardbestandteil des KI-Infrastruktur-Stacks wird, insbesondere in Umgebungen mit hohen Risiken, in denen Zuverlässigkeit und Rechenschaftspflicht am wichtigsten sind.