Lemma indsamler 2,3 mio. dollars i pre-seed-finansiering til at tackle silent AI-agent-fejl i produktion

AI-agent pålidelighedsstartup Lemma har indsamlet 2,3 millioner dollars i pre-seed-finansiering til at bygge overvågningsinfrastruktur, der er designet til at fange en særlig svær klasse af problemer: AI-agenter, der ser ud til at have fuldført en opgave succesfuldt, mens de stille producerer det forkerte resultat.

Runden inkluderer deltagelse fra Matrix, Y Combinator, Liquid 2 Ventures, Vermilion Cliffs Ventures, Irregular Expressions, Cervin Ventures, Comma Capital, Position Ventures og Eight Capital, samt engleinvestorer og operatører fra OpenAI, xAI, Meta og DoorDash.

Lemma blev grundlagt af Jerry Zhang og Cole Gawin og var en del af Y Combinators efterår 2025-batch. Virksomheden fokuserer på produktionsovervågning for AI-agenter. Selskabet siger, at deres platform nu har behandlet mere end en million agent-spor, da ingeniørteamene stadig søger efter måder at forstå, hvordan autonome systemer opfører sig efter installation.

Det voksende problem med AI-agenter, der fejler stille

Traditionel softwareovervågning er primært designet omkring eksplicitte fejlsignaler. En applikation crasher, en anmodning returnerer en fejlkode, latency spidser, eller en infrastrukturkomponent bliver utilgængelig.

AI-agenter introducerer et andet problem.

En agent kan udføre hver teknisk trin i en arbejdsgang og alligevel misforstå, hvad brugeren ønskede, ringe til det forkerte værktøj, bruge forkert information, blive fast i en uproduktiv løkke eller returnere et plausibelt, men forkert svar. Set fra konventionel overvågningsinfrastrukturs synspunkt kan anmodningen se fuldstændig sund ud.

Lemma beskriver disse som semantiske fejl. Eksempler inkluderer en kundeserviceagent, der citerer den forkerte refunderingspolitik, en revisionsagent, der genererer en forældet rapport, eller en agent, der ringer til et eksternt system ved hjælp af information, den har opfundet. Disse er almindelige AI-agent fejlpunkter.

Denne forskel bliver stadig vigtigere, da agenterne bevæger sig ud over konversationsgrænser og begynder at udføre længere, multi-trins arbejdsgange, hvor sprogmodeller interagerer med databaser, programmeringsgrænseflader (API’er), hentningssystemer og andre softwareværktøjer.

En fejl et sted i den kæde kan ikke producere en undtagelse. Agenten kan blot fortsætte.

Hvordan Lemma overvåger AI-agenter i produktion

Lemma bygger et overvågningslag specifikt omkring disse agent-udførelsesveje.

Deres sporingssystem omdanner hver agent-udførelse til en struktureret spor, der indeholder de underliggende store sprogmodel-kald, værktøjsanmodninger, indgange, udgange, tidsdata, hentningstrin og fejl, der genereres under arbejdsgangen. Ingeniørteam kan derefter undersøge hele udførelsestræet i stedet for kun at se på agentens endelige svar.

Men sporing er kun en del af tilgangen.

Lemma analyserer produktionspor mod agentens instruktioner og grupperer gentagne problemer i problemer, hvilket hjælper team med at identificere fejlmønstre, der ellers kan forblive begravet på tværs af tusinder af enkeltinteraktioner. Platformen kan også prioritere problemer og sende beskeder via Slack, når potentielt betydningsfulde problemer dukker op.

Målet er at besvare et mere svært spørgsmål end, om softwaren kørte succesfuldt: Opnåede agenten faktisk, hvad den skulle opnå?

Det er en betydelig ændring i, hvordan overvågning måske skal fungere for agenter.

At omdanne produktionsfejl til agentforbedringer

Lemma forsøger også at forkorte afstanden mellem at finde et problem og at løse det.

Når platformen identificerer en gentagen fejl, analyserer den de omgivende spor og kontekst for at bestemme en sandsynlig rodårsag. Derefter kan den foreslå ændringer til prompts, applikationslogik eller agent-arbejdsgange i stedet for at kræve, at ingeniører manuelt genskaber hver problematisk interaktion.

Virksomheden udvider denne arbejdsgang til udviklingsmiljøer gennem en Model Context Protocol (MCP)-server. Udviklere kan forespørgse Lemmas spor fra værktøjer, herunder Cursor, Claude Desktop og Claude Code, hvilket tillader, at fejlfindingprocessen sker tættere på, hvor den underliggende agent udvikles.

Efter en løsning er installeret, kan Lemma omdanne produktionsfejlen til en online-evaluering og overvåge dens gentagelse. Dette skaber en feedback-løkke, hvor tidligere usete realverdenfejl bliver fremtidige tests og forbedringer i stedet for at forblive isolerede tilfælde.

Denne tilgang fører Lemma lidt ud over konventionel overvågning. Det langsigtede mål er infrastruktur, der hjælper agenter med at lære systematisk fra produktionsfejl i stedet for at afhænge fuldstændigt af ingeniører til at opdage, genskabe og manuelt lave hver kanttilfælde.

Et problem, grundlæggerne selv oplevede

Zhang og Gawin mødte hinanden som førsteårselever på University of Southern California og arbejdede senere med AI-systemer på separate AI-native startups. Før de grundlagde Lemma, arbejdede de på Tandem, der anvender AI i sundhedssektoren, og ChipStack, der udvikler AI-agenter til chipdesign.

Disse erfaringer hjalp med at afsløre dem for sværheden ved at tage agenter fra kontrollerede udviklingsmiljøer til produktion.

“Cole og jeg startede Lemma, fordi vi selv oplevede smerten ved at bygge AI-agenter,” sagde Zhang. “Vi løb igen og igen ind i det samme problem: Agenterne så ud til at fungere, men resultaterne var ikke pålidelige nok i produktion.”

Grundlæggerne mener, at forbedring af de underliggende grundmodeller alene ikke vil eliminere dette problem. Realverden-agenteradfærd afhænger også af prompts, applikationslogik, værktøjer, integrationer, hentningssystemer, brugeradfærd og de stadig mere komplicerede kæder, der forbinder dem.

Lemmas egen ingeniørtese er, at offline-evalueringer kæmper for at genskabe de uforudsigelige betingelser, agenterne møder efter installation, hvilket gør produktionsdata til en vigtig kilde til at forstå, hvor systemerne faktisk bryder sammen.

Den bredere udfordring ved at overvåge AI-agenter i produktion

Den nye finansiering vil støtte yderligere udvikling af Lemmas overvågnings- og fejldetektionsværktøjer, med en initial fokus på startups, der allerede kører AI-agenter i produktion.

Virksomheden opererer i et område, der bliver mere vigtigt, da AI-systemer bevæger sig fra isolerede demonstrationer til realverdensarbejdsgange. Traditionelle overvågningsværktøjer er generelt gode til at detektere tekniske problemer som downtime, latency eller fejlede anmodninger, men agenter introducerer en anden lag af kompleksitet: En applikation kan forblive operativ, mens agenten misforstår en opgave, vælger det forkerte værktøj eller producerer et forkert resultat.

Denne forskel er sandsynligvis mere betydningsfuld, da agenterne bruges på tværs af kundesupport, finansielle analyser, sundhedsadministration, softwareudvikling og forskning. I disse miljøer kan det være mindre vigtigt at måle, om en agent fuldførte en arbejdsgang, end at bestemme, om den fuldførte arbejdsgangen korrekt.

For Lemma afhænger muligheden af, om overvågning af semantiske fejl bliver en standarddel af at køre AI-agenter i produktion. Den 2,3 millioner dollars pre-seed-runde giver virksomheden yderligere kapital til at teste denne tese, da organisationer deployer agenter på tværs af stadig mere komplekse arbejdsgange.

Hvad bedre agentovervågning kunne betyde for AI

Da AI-agenter påtager sig mere komplekse og autonome arbejde, kan traditionel overvågning ikke længere være nok. Fremtidige systemer skal evaluere, om en agent ikke kun fuldførte en opgave, men også, om den forstod målet, brugte de rigtige værktøjer og producerede det korrekte resultat.

Værktøjer som Lemma kunne også skabe tættere feedback-løkker mellem produktion og udvikling, hvilket omdanner realverdensfejl til nye tests og forbedringer. Over tid kan dette gøre agentovervågning til en standarddel af AI-infrastrukturstaben, især i miljøer med høje indsatsomkostninger, hvor pålidelighed og ansvarlighed betyder mest.