Crux Labs raccoglie oltre 6 milioni di dollari per trasformare il giudizio aziendale in agenti IA migliori

Un agente IA può portare a termine un’attività e prendere comunque una decisione che un dipendente esperto respingerebbe. Spesso la parte difficile consiste nel capire le regole non scritte: quando porre un’altra domanda, quando rivolgersi a un livello superiore e che cosa significhi un buon risultato per una determinata azienda.

Crux Labs sta sviluppando una piattaforma per trasformare il giudizio degli esperti in un processo continuo di valutazione e miglioramento degli agenti destinati alle aziende. La startup newyorkese è uscita dalla fase di segretezza con un round di finanziamento con richieste superiori all’offerta, da oltre 6 milioni di dollari, guidato congiuntamente da Benchstrength e Misneach, con la partecipazione di Analog Ventures e Pareto Holdings.

L’azienda intende usare il capitale per ampliare le attività di ricerca e ingegneria e accelerare le implementazioni presso le aziende. La sua scommessa fondamentale è che le imprese abbiano bisogno di sistemi di valutazione calibrati sui propri esperti e di un ciclo di feedback che colleghi il comportamento in produzione alle modifiche apportate agli agenti stessi.

Perché le tracce degli agenti sono solo un punto di partenza

L’osservabilità degli agenti aiuta i team a esaminare ciò che ha fatto un sistema: la sequenza di messaggi, chiamate agli strumenti e altri passaggi che compongono un’interazione. Questa registrazione è preziosa quando qualcosa va storto. Per decidere se l’interazione è stata abbastanza soddisfacente, tuttavia, servono criteri che tengano conto dell’attività e dell’azienda.

Secondo Crux, la revisione manuale non riesce a tenere il passo con le implementazioni su larga scala. L’annuncio dell’azienda riferisce che i team esaminano campioni pari ad appena l’1% delle tracce degli agenti, lasciando gran parte del traffico restante fuori dal controllo diretto. Questa percentuale descrive il problema secondo l’azienda, non è il risultato di un’indagine pubblicata sull’intero settore.

Il campionamento può essere particolarmente limitante quando gli errori più importanti sono insoliti. Un agente può comportarsi in modo accettabile nei casi più comuni e avere difficoltà di fronte a un’eccezione che il personale esperto riconosce subito. La sfida consiste nel trasformare questa capacità di riconoscimento in una valutazione applicabile con coerenza a un insieme molto più ampio di interazioni.

Per Crux, l’opportunità si trova tra le persone che conoscono il settore e gli ingegneri che sviluppano l’agente. Gli esperti della materia possono spiegare che cosa caratterizza un’interazione riuscita, ma questa conoscenza deve diventare una componente ripetibile del modo in cui il sistema viene misurato e migliorato.

Raccogliere il giudizio degli esperti e calibrare le valutazioni

Crux descrive un flusso di lavoro che prende avvio all’interno degli strumenti e dei processi già utilizzati da un’azienda. I suoi agenti raccolgono i giudizi degli esperti e li usano per calibrare valutazioni personalizzate. Queste valutazioni supportano poi il monitoraggio in produzione e l’invio di avvisi, mentre i risultati contribuiscono ai successivi miglioramenti degli agenti.

La fase di calibrazione è importante. Una valutazione generica potrebbe premiare una risposta fluida che non soddisfa un requisito specifico dell’azienda. Una valutazione basata sul giudizio degli esperti dovrebbe invece riconoscere la differenza tra una risposta che sembra corretta e una che soddisfa le aspettative dell’organizzazione.

«Gli agenti sono incredibilmente bravi a raggiungere gli obiettivi, ma non hanno accesso agli anni di euristiche che noi esseri umani abbiamo accumulato nella nostra mente», ha dichiarato Julie Kheyfets, cofondatrice e CEO di Crux. «Crux aiuta ogni azienda a distillare questo giudizio e a usarlo per migliorare rapidamente i propri agenti».

L’obiettivo è un processo di valutazione che si aggiorni in base a ciò che gli esperti apprendono dalle interazioni reali. Quando emergono nuovi schemi di errore, l’organizzazione può integrare queste conoscenze nel modo in cui valuta i comportamenti futuri, invece di lasciarle disperse tra le richieste di assistenza e le valutazioni dei singoli revisori.

Monitorare l’intero flusso del traffico in produzione

Crux afferma che le sue valutazioni personalizzate sono ottimizzate per il monitoraggio e l’invio di avvisi in tempo reale sul 100% del traffico in produzione. Si tratta di un’affermazione relativa alla copertura: la valutazione viene applicata all’intero flusso di traffico. Ciò non significa che le valutazioni rilevino ogni possibile errore o siano sempre perfettamente concordi con gli esperti umani.

La distinzione è importante perché la valutazione automatizzata comporta una propria sfida di misurazione. Anche un sistema che esamina ogni interazione può non rilevare comportamenti importanti se i suoi criteri sono incompleti. Calibrare tali criteri sulla base delle competenze di settore è quindi un elemento centrale della proposta di Crux, non un passaggio facoltativo da svolgere prima di avviare il monitoraggio.

L’azienda afferma inoltre che i risultati delle valutazioni alimentano miglioramenti rilasciati in produzione. Il suo annuncio non specifica quali aspetti del processo comportino modifiche ai prompt, alle policy, ai modelli o ad altri componenti, né come venga gestita l’approvazione dei clienti. La proposta descritta è un servizio completo di valutazione e miglioramento, non una tecnica specifica di addestramento dei modelli.

Un team fondatore con esperienza nell’IA aziendale

Kheyfets e il cofondatore e CTO Krishna Kulkarni si sono conosciuti alla Princeton University. Kheyfets porta con sé dieci anni di esperienza nell’implementazione dell’IA in settori complessi, tra cui la guida delle attività di Tractable AI in Nord America e il ruolo di CEO di Block Renovation.

Secondo l’azienda, in precedenza Kulkarni ha diretto l’ingegneria del brand in Meta, ha sviluppato prodotti di IA in Checkr e ha contribuito a far crescere Healthify, portandola da zero a 20 milioni di pazienti. Crux sta formando un team di ricercatori e ingegneri concentrati sulla valutazione e sul miglioramento degli agenti.

«I team di ingegneria sanno costruire agenti di IA e gli esperti di settore sanno cosa significa avere successo, ma alle imprese manca un collegamento tra i due», ha dichiarato Kulkarni. «Crux traduce le competenze specifiche del settore in un miglioramento continuo degli agenti, così che gli ingegneri possano realizzare agenti davvero in linea con le esigenze aziendali».

L’azienda riferisce di aver ottenuto i primi riscontri positivi da imprese Fortune 500 e aziende in rapida crescita nei settori della sanità, della cybersicurezza, dei servizi finanziari e di altri comparti complessi. Nell’annuncio non ha indicato i nomi dei clienti né divulgato i ricavi, il numero di implementazioni o i miglioramenti misurati.

Le ragioni economiche per una valutazione specifica per ogni azienda

Crux si propone come l’equivalente di un team interno all’azienda, dedicato alla valutazione e al miglioramento degli agenti. L’argomento commerciale è che il personale di prodotto e di ingegneria dovrebbe dedicare meno tempo a predisporre processi di revisione e a diagnosticare problemi ricorrenti, mentre gli esperti dovrebbero disporre di un modo concreto per influire sui sistemi che rappresentano la loro attività.

La domanda di competenze specifiche del settore emerge anche nella piattaforma di iMerit per l’addestramento e la valutazione dell’IA affidati a esperti, dove organizzare i riscontri degli specialisti è parte del processo di miglioramento dei modelli.

Per gli investitori, l’opportunità dipende da ciò che accade dopo che gli agenti entrano in produzione. La creazione di un agente comporta la necessità di monitorarne continuamente il comportamento, individuare le sue carenze e migliorarlo senza perdere di vista gli standard dell’organizzazione.

I finanziamenti di Crux serviranno a verificare se questo processo possa essere applicato in modo affidabile a clienti con definizioni diverse di successo. La proposta è semplice: il giudizio delle persone migliori di un’azienda dovrebbe entrare a far parte dei criteri con cui vengono valutati i suoi agenti, e tali valutazioni dovrebbero tradursi in un comportamento migliore in produzione. Ulteriori informazioni sono disponibili su Crux Labs.