Crux Labs rejser over 6 mio. dollar for at omsætte virksomheders dømmekraft til bedre AI-agenter

En AI-agent kan fuldføre en opgave og stadig træffe en beslutning, som en erfaren medarbejder ville afvise. Det svære er ofte at forstå de uskrevne regler: Hvornår skal der stilles et opfølgende spørgsmål, hvornår skal sagen eskaleres, og hvad vil det sige at opnå et godt resultat i en bestemt virksomhed?

Crux Labs udvikler en platform, der skal omsætte eksperters dømmekraft til en løbende proces for evaluering og forbedring af AI-agenter til virksomheder. Den New York-baserede startup er kommet ud af stealth-fasen efter en overtegnet finansieringsrunde på mere end 6 mio. dollar, der blev ledet i fællesskab af Benchstrength og Misneach med deltagelse af Analog Ventures og Pareto Holdings.

Virksomheden vil bruge kapitalen til at udvide forsknings- og ingeniørarbejdet og sætte fart på udrulningen hos virksomheder. Dens centrale tese er, at virksomheder har brug for evalueringssystemer, der er kalibreret efter deres egne eksperter, og en feedbacksløjfe, som forbinder agenternes adfærd i produktion med ændringer i selve agenterne.

Hvorfor agentspor kun er et udgangspunkt

Overvågning af AI-agenter hjælper teams med at undersøge, hvad et system foretog sig: rækkefølgen af beskeder, værktøjskald og andre trin bag en interaktion. Den registrering er værdifuld, når noget går galt. At afgøre, om interaktionen var god nok, kræver dog kriterier, der afspejler opgaven og virksomheden.

Crux mener, at manuel gennemgang ikke kan følge med, når løsninger udrulles i stor skala. I virksomhedens meddelelse beskrives det, at teams kun udtager 1 % af agenternes spor til stikprøvekontrol, så en stor del af den øvrige trafik ikke bliver undersøgt direkte. Tallet er virksomhedens beskrivelse af problemet, ikke resultatet af en offentliggjort undersøgelse af hele branchen.

Stikprøvekontrol kan være særligt begrænsende, når de fejl, der betyder mest, er usædvanlige. En agent kan opføre sig tilfredsstillende i almindelige situationer, men have svært ved at håndtere en undtagelse, som erfarne medarbejdere straks genkender. Udfordringen er at omsætte den genkendelse til en evaluering, der kan anvendes konsekvent på et langt større antal interaktioner.

For Crux ligger muligheden mellem de mennesker, der kender fagområdet, og de ingeniører, der bygger agenten. Fageksperter kan forklare, hvordan en vellykket interaktion ser ud, men den forståelse skal blive en gentagelig del af, hvordan systemet måles og forbedres.

Indsamling af dømmekraft og kalibrering af evalueringer

Crux beskriver en arbejdsgang, der begynder i de værktøjer og processer, virksomheden allerede bruger. Virksomhedens agenter indsamler eksperternes vurderinger og bruger dem til at kalibrere skræddersyede evalueringer. Evalueringerne understøtter derefter overvågning og alarmer i produktionsmiljøet, og resultaterne bruges til efterfølgende forbedringer af agenterne.

Kalibreringstrinnet er vigtigt. En generisk evaluering kan belønne et velformuleret svar, der overser et krav, som er specifikt for virksomheden. En evaluering, der bygger på eksperters vurderinger, skal kunne skelne mellem et svar, der lyder rigtigt, og et svar, der lever op til organisationens forventninger.

»Agenter er utroligt gode til at nå mål, men de har ikke adgang til de mange års heuristikker, som vi mennesker har samlet i hovedet,« siger Julie Kheyfets, medstifter og administrerende direktør for Crux. »Crux hjælper alle virksomheder med at destillere denne dømmekraft og bruge den til hurtigt at forbedre deres agenter.«

Målet er en evalueringsproces i udvikling, der afspejler det, eksperter lærer gennem reelle interaktioner. Når nye fejlmønstre opstår, kan organisationen indarbejde den viden i sin vurdering af fremtidig adfærd i stedet for at lade den være spredt mellem supportsager og individuelle bedømmere.

Overvågning af hele strømmen af trafik i produktion

Crux siger, at virksomhedens skræddersyede evalueringer er optimeret til overvågning og alarmering i realtid på tværs af 100 % af trafikken i produktion. Det er en påstand om dækningsgrad: at evalueringen anvendes på hele trafikstrømmen. Det betyder ikke, at evalueringerne opdager enhver tænkelig fejl eller altid er helt enige med menneskelige eksperter.

Denne forskel er vigtig, fordi automatiseret evaluering medfører sine egne måleudfordringer. Et system, der gennemgår hver interaktion, kan stadig overse vigtig adfærd, hvis kriterierne er ufuldstændige. Kalibrering af kriterierne efter faglig ekspertise er derfor central for Crux’ tilbud, ikke et valgfrit trin før overvågningen begynder.

Virksomheden siger også, at evalueringsresultaterne fører til forbedringer, der sættes i produktion. Meddelelsen beskriver ikke, hvilke dele af processen der ændrer prompts, politikker, modeller eller andre komponenter, eller hvordan kundernes godkendelse håndteres. Det, virksomheden har beskrevet, er en samlet tjeneste til evaluering og forbedring, ikke en nærmere specificeret metode til modeltræning.

Grundlæggerteam med erfaring inden for AI til virksomheder

Kheyfets og medstifter og teknologidirektør Krishna Kulkarni mødtes på Princeton University. Kheyfets har ti års erfaring med at udrulle AI i komplekse brancher, blandt andet som leder af Tractable AI i Nordamerika og administrerende direktør for Block Renovation.

Ifølge virksomheden stod Kulkarni tidligere i spidsen for brandudvikling hos Meta, udviklede AI-produkter hos Checkr og var med til at skalere Healthify fra nul til 20 millioner patienter. Crux opbygger et team af forskere og ingeniører med fokus på at evaluere og forbedre agenter.

»Ingeniørteams ved, hvordan man bygger AI-agenter, og fageksperter ved, hvad succes ser ud som, men virksomhederne mangler forbindelsen mellem dem,« sagde Kulkarni. »Crux omsætter domæneekspertise til løbende forbedring af agenter, så ingeniører kan bygge agenter, der virkelig er på linje med virksomhedens behov.«

Virksomheden melder om tidlig fremgang hos Fortune 500-virksomheder og hurtigt voksende virksomheder inden for sundhedspleje, cybersikkerhed, finansielle tjenesteydelser og andre komplekse brancher. I meddelelsen har den ikke oplyst navnene på kunderne eller offentliggjort omsætning, antal implementeringer eller målte forbedringer.

Forretningsgrundlaget for virksomhedsspecifik evaluering

Crux positionerer sig som et alternativ til et dedikeret team for evaluering og forbedring af agenter internt i en virksomhed. Det kommercielle argument er, at medarbejdere inden for produktudvikling og teknik bør bruge mindre tid på at sammensætte evalueringsprocesser og diagnosticere tilbagevendende fejl, samtidig med at eksperter får en praktisk måde at påvirke de systemer, der repræsenterer deres virksomhed.

Behovet for domæneekspertise kommer også til udtryk på iMerit-platformen til ekspertledet AI-træning og -evaluering, hvor organisering af feedback fra specialister indgår i arbejdsgangen for modeludvikling.

For investorer hænger muligheden sammen med, hvad der sker, når agenter tages i brug i produktionen. Når man bygger en agent, opstår der et nyt behov for løbende at måle dens adfærd, finde ud af, hvor den kommer til kort, og forbedre den uden at miste organisationens standarder af syne.

Finansieringen af Crux skal bidrage til at afprøve, om processen kan leveres pålideligt til kunder med forskellige definitioner af succes. Virksomhedens idé er enkel: De bedste medarbejderes dømmekraft bør indgå i evalueringen af virksomhedens agenter, og evalueringerne bør føre til bedre adfærd i produktionen. Du kan finde flere oplysninger hos Crux Labs.