Crux Labs tar in över 6 miljoner dollar för att omsätta företagskunskap i bättre AI-agenter

En AI-agent kan slutföra en uppgift och ändå fatta ett beslut som en erfaren medarbetare skulle underkänna. Det svåra är ofta att förstå de outtalade reglerna: när man ska ställa en fråga till, när ärendet ska eskaleras och vad ett bra resultat innebär för ett visst företag.

Crux Labs bygger en plattform som omvandlar expertbedömningar till en kontinuerlig process för utvärdering och förbättring av företagsagenter. Det New York-baserade startupbolaget har lämnat smygläget efter att ha tagit in mer än 6 miljoner dollar i en övertecknad finansieringsrunda, som leddes gemensamt av Benchstrength och Misneach, med deltagande från Analog Ventures och Pareto Holdings.

Företaget planerar att använda kapitalet till att utöka forsknings- och ingenjörsteamen och påskynda införandet hos företag. Grundtanken är att företag behöver utvärderingssystem som kalibrerats efter deras egna experter, med en återkopplingsloop som kopplar agenternas beteende i produktion till förändringar av själva agenterna.

Varför agentspår bara är en utgångspunkt

Insyn i agenter hjälper team att granska vad ett system har gjort: sekvensen av meddelanden, verktygsanrop och andra steg bakom en interaktion. Den dokumentationen är värdefull när något går fel. För att avgöra om interaktionen var tillräckligt bra krävs det dock kriterier som tar hänsyn till uppgiften och verksamheten.

Crux menar att manuell granskning inte kan hålla jämna steg med storskaliga driftsättningar. I företagets tillkännagivande beskrivs hur team samplar endast 1 % av agentspåren, vilket innebär att en stor del av den återstående trafiken inte granskas direkt. Den siffran är företagets beskrivning av problemet, inte ett publicerat resultat från en branschomfattande undersökning.

Sampling kan vara särskilt begränsande när de viktiga felen är ovanliga. En agent kan fungera godtagbart i vanliga fall men ha svårt med ett undantag som erfaren personal omedelbart känner igen. Utmaningen är att omvandla den igenkänningen till en utvärdering som kan tillämpas konsekvent på en betydligt större mängd interaktioner.

Enligt Crux ligger möjligheten i samspelet mellan dem som kan verksamhetsområdet och ingenjörerna som bygger agenten. Ämnesexperter kan förklara hur en lyckad interaktion ser ut, men den kunskapen måste bli en återkommande del av hur systemet mäts och förbättras.

Att fånga upp bedömningar och kalibrera utvärderingar

Crux beskriver ett arbetsflöde som börjar i de verktyg och processer som ett företag redan använder. Företagets agenter fångar upp expertbedömningar och använder dem för att kalibrera anpassade utvärderingar. Utvärderingarna ligger sedan till grund för övervakning och aviseringar i produktion, och resultaten används för att förbättra agenterna ytterligare.

Kalibreringssteget är viktigt. En generell utvärdering kan belöna ett välformulerat svar som missar ett krav som är specifikt för verksamheten. En utvärdering som grundar sig på expertbedömningar är tänkt att skilja mellan ett svar som låter rätt och ett som motsvarar organisationens förväntningar.

”Agenter är otroligt bra på att nå mål, men de har inte tillgång till de åratal av tumregler som vi människor har samlat på oss”, säger Julie Kheyfets, medgrundare och vd för Crux. ”Crux hjälper alla företag att destillera dessa bedömningar och använda dem för att snabbt förbättra sina agenter.”

Målet är en utvärderingsprocess i ständig förändring som speglar vad experter lär sig av verkliga interaktioner. När nya felmönster uppstår kan organisationen införliva den kunskapen i bedömningen av framtida beteenden, i stället för att låta den förbli utspridd bland supportärenden och enskilda granskare.

Övervakning av hela produktionsflödet

Crux uppger att företagets anpassade utvärderingar är optimerade för övervakning och aviseringar i realtid av 100 % av produktionstrafiken. Det är ett påstående om täckning: att utvärderingen tillämpas på hela trafikflödet. Det innebär inte att utvärderingarna upptäcker alla tänkbara fel eller alltid överensstämmer med mänskliga experter.

Den skillnaden är viktig eftersom automatiserad utvärdering innebär en egen mätutmaning. Ett system som granskar varje interaktion kan ändå missa viktigt beteende om kriterierna är ofullständiga. Att kalibrera kriterierna mot ämnesexpertis är därför centralt i Crux erbjudande, inte ett valfritt steg innan övervakningen börjar.

Företaget säger också att utvärderingsresultaten leder till förbättringar som driftsätts i produktion. I sitt tillkännagivande specificerar företaget inte vilka delar av processen som ändrar instruktioner, policyer, modeller eller andra komponenter, eller hur kundgodkännande hanteras. Det som beskrivs är en heltäckande tjänst för utvärdering och förbättring, inte en specificerad metod för modellträning.

Ett grundarteam med erfarenhet av AI för företag

Kheyfets och medgrundaren och teknikchefen Krishna Kulkarni träffades vid Princeton University. Kheyfets har tio års erfarenhet av att införa AI i komplexa branscher, bland annat som ansvarig för Nordamerika på Tractable AI och som vd för Block Renovation.

Kulkarni ledde tidigare varumärkestekniken på Meta, utvecklade AI-produkter på Checkr och bidrog till att skala upp Healthify från noll till 20 miljoner patienter, enligt företaget. Crux bygger upp ett team av forskare och ingenjörer med fokus på att utvärdera och förbättra agenter.

”Teknikteam vet hur man bygger AI-agenter och ämnesexperter vet hur framgång ser ut, men företag saknar länken mellan dem”, sade Kulkarni. ”Crux omsätter domänexpertis i kontinuerliga förbättringar av agenter, så att ingenjörer kan bygga agenter som verkligen är anpassade till verksamheten.”

Företaget uppger att det har fått tidiga framgångar hos Fortune 500-företag och snabbväxande verksamheter inom hälso- och sjukvård, cybersäkerhet, finansiella tjänster och andra komplexa branscher. I tillkännagivandet namngav företaget inte kunderna och redovisade inte heller intäkter, antal driftsättningar eller uppmätta förbättringar.

Affärsnyttan med företagsspecifik utvärdering

Crux positionerar sig som motsvarigheten till ett dedikerat team för utvärdering och förbättring av agenter inom ett företag. Det kommersiella argumentet är att produkt- och teknikpersonal bör lägga mindre tid på att sätta samman granskningsprocesser och diagnostisera återkommande fel, samtidigt som experter får ett praktiskt sätt att påverka de system som företräder deras verksamhet.

Behovet av domänexpertis märks också i iMerit-plattformen för expertledd AI-träning och utvärdering, där organisering av återkoppling från specialister ingår i arbetsflödet för modellförbättring.

För investerare hänger möjligheten samman med vad som händer när agenter tas i drift. När en agent byggs uppstår ett nytt behov av att kontinuerligt mäta dess beteende, identifiera brister och förbättra den utan att tappa organisationens standarder ur sikte.

Crux finansiering ska bidra till att pröva om processen kan genomföras tillförlitligt hos kunder med olika definitioner av framgång. Företagets idé är enkel: de bästa medarbetarnas omdöme bör bli en del av hur företagets agenter utvärderas, och utvärderingarna bör leda till bättre beteende i drift. Mer information finns på Crux Labs.