Lemma raccoglie 2,3 milioni di dollari di finanziamento pre-seed per affrontare i fallimenti silenziosi degli agenti AI in produzione

La startup di affidabilità degli agenti AI Lemma ha raccolto 2,3 milioni di dollari di finanziamento pre-seed per costruire un’infrastruttura di monitoraggio progettata per rilevare una particolare classe di problemi: gli agenti AI che sembrano aver completato un’attività con successo mentre producono silenziosamente un risultato errato.

Il round include la partecipazione di Matrix, Y Combinator, Liquid 2 Ventures, Vermilion Cliffs Ventures, Irregular Expressions, Cervin Ventures, Comma Capital, Position Ventures e Eight Capital, insieme a investitori angel e operatori di OpenAI, xAI, Meta e DoorDash.

Fondata da Jerry Zhang e Cole Gawin, Lemma fa parte del batch di Y Combinator del 2025 e si concentra sul monitoraggio della produzione per gli agenti AI. La società afferma che la sua piattaforma ha ora elaborato oltre un milione di tracce di agenti, poiché gli team di ingegneria cercano sempre più modi per comprendere come si comportano i sistemi autonomi dopo il deploy.

Il problema crescente degli agenti AI che falliscono silenziosamente

Il monitoraggio del software tradizionale è in gran parte progettato intorno a segnali di fallimento espliciti. Un’applicazione si blocca, una richiesta restituisce un codice di errore, la latenza aumenta o un componente dell’infrastruttura diventa indisponibile.

Gli agenti AI introducono un problema diverso.

Un agente può eseguire con successo ogni passaggio tecnico in un flusso di lavoro e comunque fraintendere cosa voleva l’utente, chiamare lo strumento sbagliato, utilizzare informazioni errate, rimanere bloccato in un ciclo non produttivo o restituire una risposta plausibile ma errata. Dal punto di vista dell’infrastruttura di monitoraggio convenzionale, la richiesta può apparire perfettamente sana.

Lemma descrive questi come fallimenti semantici. Esempi includono un agente di servizio clienti che cita la politica di rimborso errata, un agente di auditing che genera un rapporto obsoleto o un agente che chiama un sistema esterno utilizzando informazioni che ha inventato. Questi sono punti di fallimento comuni degli agenti AI.

Quella distinzione diventa sempre più importante poiché gli agenti si spostano al di là delle interfacce conversazionali e iniziano a eseguire flussi di lavoro più lunghi e multi-step, dove i modelli linguistici interagiscono con database, interfacce di programmazione delle applicazioni (API), sistemi di recupero e altri strumenti software.

Un fallimento da qualche parte in quella catena potrebbe non produrre un’eccezione. L’agente potrebbe semplicemente continuare.

Come Lemma monitora gli agenti AI in produzione

Lemma sta costruendo uno strato di osservabilità specificamente intorno a questi percorsi di esecuzione degli agenti.

Il suo sistema di tracciamento trasforma ogni esecuzione di un agente in una traccia strutturata che contiene le chiamate ai modelli linguistici di grandi dimensioni sottostanti, le invocazioni degli strumenti, gli input, gli output, i dati di temporizzazione, i passaggi di recupero e gli errori generati nel flusso di lavoro. Gli team di ingegneria possono quindi esaminare un intero albero di esecuzione invece di guardare solo la risposta finale dell’agente.

Ma il tracciamento è solo una parte dell’approccio.

Lemma analizza le tracce di produzione contro le istruzioni di un agente e raggruppa i problemi ricorrenti in problemi, aiutando gli team a identificare modelli di fallimento che potrebbero altrimenti rimanere sepolti tra migliaia di interazioni individuali. La piattaforma può anche priorizzare i problemi e inviare avvisi tramite Slack quando appaiono potenziali problemi significativi.

L’obiettivo è rispondere a una domanda più difficile di quella se il software è stato eseguito con successo: l’agente ha effettivamente raggiunto ciò che doveva raggiungere?

Questo è un significativo cambiamento nel modo in cui l’osservabilità potrebbe funzionare per il software agente.

Trasformare i fallimenti di produzione in miglioramenti degli agenti

Lemma sta anche cercando di ridurre la distanza tra la individuazione di un problema e la sua risoluzione.

Una volta che la piattaforma identifica un fallimento ricorrente, analizza le tracce e il contesto circostanti per determinare una causa probabile. Da lì, può proporre modifiche ai prompt, alla logica dell’applicazione o ai flussi di lavoro degli agenti invece di richiedere agli ingegneri di ricostruire manualmente ogni interazione problematica.

La società sta estendendo quel flusso di lavoro negli ambienti di sviluppo attraverso un server del protocollo di contesto del modello (MCP). Gli sviluppatori possono richiedere le tracce di Lemma da strumenti come Cursor, Claude Desktop e Claude Code, consentendo al processo di debug di avvenire più vicino a dove l’agente sottostante sta essere sviluppato.

Dopo che una correzione viene distribuita, Lemma può trasformare il fallimento di produzione in una valutazione online e monitorarne la ricorrenza. Ciò crea un ciclo di feedback in cui i fallimenti reali del mondo reale diventano test futuri invece di rimanere incidenti isolati.

Questo approccio spinge Lemma al di là dell’osservabilità convenzionale. L’obiettivo a lungo termine è un’infrastruttura che aiuta gli agenti a imparare sistematicamente dai fallimenti di produzione invece di affidarsi interamente agli ingegneri per scoprire, riprodurre e correggere manualmente ogni caso limite.

Un problema che i fondatori hanno incontrato di persona

Zhang e Gawin si sono incontrati come matricole all’Università della California del Sud e hanno successivamente lavorato su sistemi AI in startup native AI separate. Prima di fondare Lemma, hanno lavorato a Tandem, che applica l’AI nel settore sanitario, e ChipStack, che sviluppa agenti AI per la progettazione di chip.

Queste esperienze li hanno aiutati a scoprire la difficoltà di portare gli agenti da ambienti di sviluppo controllati alla produzione.

“Cole e io abbiamo iniziato Lemma perché abbiamo sperimentato il dolore di costruire gli agenti AI di persona”, ha detto Zhang. “Continuavamo a incontrare lo stesso problema: gli agenti sembravano funzionare, ma i risultati non erano abbastanza affidabili in produzione.”

I fondatori sostengono che migliorare i modelli di base sottostanti non eliminerà questo problema. Il comportamento degli agenti nel mondo reale dipende anche da prompt, logica dell’applicazione, strumenti, integrazioni, sistemi di recupero, comportamento degli utenti e catene sempre più complesse che li collegano.

La tesi di ingegneria di Lemma è che le valutazioni offline lottano per riprodurre le condizioni imprevedibili che gli agenti incontrano dopo il deploy, rendendo i dati di produzione una fonte importante per comprendere dove i sistemi si rompono effettivamente.

La sfida più ampia del monitoraggio degli agenti AI in produzione

Il nuovo finanziamento sosterrà ulteriori sviluppi degli strumenti di monitoraggio e rilevamento dei fallimenti di Lemma, con un focus iniziale sulle startup che già eseguono agenti AI in produzione.

La società opera in un’area che sta diventando sempre più importante poiché i sistemi AI si spostano da dimostrazioni isolate a flussi di lavoro del mondo reale. Gli strumenti di osservabilità tradizionali sono generalmente efficaci nel rilevare problemi tecnici come il downtime, la latenza o le richieste fallite, ma i sistemi agente introducono un altro livello di complessità: un’applicazione può rimanere operativa mentre l’agente fraintende una task, sceglie lo strumento sbagliato o produce un risultato errato.

Quella distinzione è probabile che diventi più significativa poiché gli agenti vengono utilizzati in supporto clienti, analisi finanziaria, amministrazione sanitaria, sviluppo software e ricerca. In questi ambienti, misurare se un agente ha completato un flusso di lavoro potrebbe essere meno importante del determinare se ha completato il flusso di lavoro correttamente.

Per Lemma, l’opportunità dipende quindi dal fatto che il monitoraggio dei fallimenti semantici diventi una parte standard dell’esecuzione degli agenti AI in produzione. Il round di finanziamento pre-seed di 2,3 milioni di dollari dà alla società ulteriore capitale per testare quella tesi poiché le organizzazioni distribuiscono agenti attraverso flussi di lavoro sempre più complessi.

Cosa potrebbe significare un miglior monitoraggio degli agenti per l’AI

Mentre gli agenti AI assumono lavori più complessi e autonomi, il monitoraggio tradizionale potrebbe non essere più sufficiente. I sistemi futuri dovranno valutare non solo se un agente ha completato una task, ma anche se ha capito l’obiettivo, utilizzato gli strumenti giusti e prodotto il risultato corretto.

Strumenti come Lemma potrebbero anche creare cicli di feedback più stretti tra produzione e sviluppo, trasformando i fallimenti del mondo reale in nuovi test e miglioramenti. Nel tempo, ciò potrebbe rendere l’osservabilità degli agenti una parte standard della pila di infrastruttura AI, in particolare in ambienti ad alto rischio dove la affidabilità e la responsabilità sono più importanti.