Crux Labs henter inn over 6 millioner dollar for å gjøre virksomheters vurderinger om til bedre AI-agenter

En AI-agent kan fullføre en oppgave og likevel ta en beslutning en erfaren medarbeider ville avvist. Det vanskelige er ofte å forstå de uskrevne reglene: når man bør stille et nytt spørsmål, når saken bør eskaleres, og hva et godt resultat betyr for en bestemt virksomhet.

Crux Labs bygger en plattform som skal gjøre ekspertvurderinger om til en kontinuerlig prosess for evaluering og forbedring av AI-agenter for bedrifter. Oppstartsbedriften fra New York har kommet ut av den skjulte utviklingsfasen etter å ha hentet inn over 6 millioner dollar i en overtegnet finansieringsrunde, ledet i fellesskap av Benchstrength og Misneach, med deltakelse fra Analog Ventures og Pareto Holdings.

Selskapet planlegger å bruke kapitalen til å utvide forsknings- og ingeniørarbeidet og få fart på utrullingen hos bedriftskunder. Kjernen i satsingen er at virksomheter trenger evalueringssystemer som er kalibrert etter egne eksperter, med en tilbakemeldingssløyfe som knytter agentenes atferd i produksjon til endringer i agentene selv.

Hvorfor agentenes sporingslogger bare er et utgangspunkt

Sporbarhet gjør det mulig for team å undersøke hva et system gjorde: rekkefølgen på meldinger, verktøykall og andre trinn i en interaksjon. Denne dokumentasjonen er verdifull når noe går galt. For å avgjøre om interaksjonen var god nok, trengs det imidlertid kriterier som gjenspeiler oppgaven og virksomheten.

Crux hevder at manuell gjennomgang ikke holder tritt med store utrullinger. I kunngjøringen beskriver selskapet team som bare gjennomgår et utvalg på 1 % av agentenes sporingslogger, slik at mye av den øvrige trafikken ikke blir undersøkt direkte. Dette tallet er selskapets beskrivelse av problemet, ikke et resultat fra en publisert bransjeomfattende undersøkelse.

Stikkprøver kan være særlig begrensende når feilene som betyr mest, er uvanlige. En agent kan oppføre seg akseptabelt i vanlige tilfeller, men streve med et unntak som erfarne medarbeidere straks kjenner igjen. Utfordringen er å omsette denne gjenkjennelsen til en evaluering som kan brukes konsekvent på et langt større antall interaksjoner.

For Crux ligger muligheten i å bygge bro mellom dem som kjenner fagområdet, og ingeniørene som utvikler agenten. Fageksperter kan forklare hvordan en vellykket interaksjon ser ut, men denne forståelsen må bli en gjentakbar del av hvordan systemet måles og forbedres.

Å fange opp vurderinger og kalibrere evalueringer

Crux beskriver en arbeidsflyt som starter i verktøyene og prosessene en virksomhet allerede bruker. Agentene deres fanger opp ekspertenes vurderinger og bruker dem til å kalibrere skreddersydde evalueringer. Evalueringene brukes deretter til overvåking og varsling i produksjon, og resultatene gir grunnlag for videre forbedringer av agentene.

Kalibreringstrinnet er viktig. En generell evaluering kan belønne et velformulert svar som ikke oppfyller et krav som er spesifikt for virksomheten. En evaluering som bygger på ekspertvurderinger, skal skille mellom et svar som høres riktig ut, og et som innfrir organisasjonens forventninger.

«Agenter er utrolig gode til å nå mål, men de har ikke tilgang til alle heuristikkene vi mennesker har samlet opp gjennom årene», sier Julie Kheyfets, medgründer og administrerende direktør i Crux. «Crux hjelper alle virksomheter med å destillere denne vurderingsevnen og bruke den til å forbedre agentene sine raskt.»

Målet er en evalueringsprosess i utvikling som gjenspeiler det ekspertene lærer av reelle interaksjoner. Når nye feil mønstre viser seg, kan organisasjonen innarbeide denne kunnskapen i vurderingen av framtidig atferd, i stedet for at den blir spredt på supportsaker og hos enkeltstående kontrollører.

Overvåking av hele produksjonstrafikken

Crux sier at de skreddersydde evalueringene er optimalisert for overvåking og varsling i sanntid for 100 % av trafikken i produksjon. Dette er en påstand om dekning: at evalueringen brukes på hele trafikkstrømmen. Det betyr ikke at evalueringene oppdager alle mulige feil eller alltid er helt enige med menneskelige eksperter.

Dette skillet er viktig fordi automatisert evaluering også byr på egne måleutfordringer. Et system som gjennomgår hver eneste interaksjon, kan likevel overse viktig atferd hvis kriteriene er ufullstendige. Å kalibrere kriteriene mot fagkunnskap er derfor sentralt i det Crux tilbyr, og ikke et valgfritt trinn før overvåkingen begynner.

Selskapet sier også at evalueringsresultatene fører til forbedringer som settes i produksjon. Kunngjøringen beskriver ikke hvilke deler av prosessen som endrer instruksjoner, retningslinjer, modeller eller andre komponenter, eller hvordan kundegodkjenning håndteres. Det selskapet oppgir at det tilbyr, er en helhetlig tjeneste for evaluering og forbedring, ikke en nærmere spesifisert metode for modelltrening.

Gründerteam med erfaring fra AI i næringslivet

Kheyfets møtte medgründeren og teknologidirektøren Krishna Kulkarni ved Princeton University. Kheyfets har ti års erfaring med å ta i bruk AI i komplekse bransjer, blant annet med ansvar for Tractable AIs virksomhet i Nord-Amerika og som administrerende direktør i Block Renovation.

Ifølge selskapet ledet Kulkarni tidligere merkevareutvikling hos Meta, utviklet AI-produkter hos Checkr og bidro til å skalere Healthify fra null til 20 millioner pasienter. Crux bygger opp et team av forskere og ingeniører med fokus på å evaluere og forbedre agenter.

«Ingeniørteam vet hvordan de skal bygge AI-agenter, og fagspesialister vet hvordan suksess ser ut, men bedrifter mangler bindeleddet mellom dem», sa Kulkarni. «Crux omsetter fagkompetanse til kontinuerlig forbedring av agenter, slik at ingeniører kan bygge agenter som er reelt tilpasset virksomhetens behov.»

Selskapet melder om tidlig interesse fra Fortune 500-bedrifter og vekstselskaper innen helsevesen, cybersikkerhet, finansielle tjenester og andre komplekse bransjer. I kunngjøringen navnga selskapet ikke kundene og oppga heller ikke inntekter, antall utrullinger eller målte forbedringer.

Forretningsgrunnlaget for virksomhetsspesifikk evaluering

Crux posisjonerer seg som et dedikert team for evaluering og forbedring av agenter i en virksomhet. Det kommersielle argumentet er at produkt- og ingeniørmedarbeidere bør bruke mindre tid på å sette sammen evalueringsprosesser og diagnostisere gjentakende feil, samtidig som eksperter får en praktisk måte å påvirke systemene som representerer virksomheten deres på.

Etterspørselen etter fagkompetanse kommer også til uttrykk i iMerits plattform for ekspertledet trening og evaluering av AI, der organisering av tilbakemeldinger fra spesialister er en del av arbeidsflyten for modellforbedring.

For investorer er muligheten knyttet til det som skjer etter at agenter tas i bruk i produksjon. Når en agent bygges, oppstår et nytt behov for å måle atferden dens kontinuerlig, identifisere hvor den kommer til kort og forbedre den uten å miste organisasjonens standarder av syne.

Finansieringen til Crux skal bidra til å teste om denne prosessen kan leveres pålitelig til kunder med ulike definisjoner av suksess. Selskapets idé er enkel: Vurderingene til en bedrifts dyktigste medarbeidere bør inngå i hvordan agentene evalueres, og evalueringene bør føre til bedre atferd i produksjon. Du finner mer informasjon hos Crux Labs.