Crux Labs haalt meer dan 6 miljoen dollar op om AI-agents betere beslissingen te laten nemen binnen bedrijven

Een AI-agent kan een taak voltooien en toch een beslissing nemen die een ervaren medewerker zou afwijzen. Vaak is het lastigste om de ongeschreven regels te begrijpen: wanneer er een vervolgvraag moet worden gesteld, wanneer een kwestie moet worden geëscaleerd en wat voor een bepaald bedrijf een goed resultaat is.

Crux Labs bouwt een platform dat dit deskundige oordeel omzet in een doorlopend evaluatie- en verbeterproces voor agents binnen bedrijven. De startup uit New York is uit stealthmodus gekomen met een overschreven financieringsronde van meer dan 6 miljoen dollar, mede geleid door Benchstrength en Misneach, met deelname van Analog Ventures en Pareto Holdings.

Het bedrijf wil het kapitaal gebruiken om zijn onderzoeks- en engineeringteams uit te breiden en de implementatie bij bedrijven te versnellen. De centrale overtuiging is dat bedrijven evaluatiesystemen nodig hebben die zijn afgestemd op hun eigen experts, met een feedbacklus die gedrag in productie koppelt aan aanpassingen van de agents zelf.

Waarom agenttraces slechts het begin zijn

Met observability voor agents kunnen teams nagaan wat een systeem heeft gedaan: de reeks berichten, toolaanroepen en andere stappen achter een interactie. Dat overzicht is waardevol wanneer er iets misgaat. Om te bepalen of de interactie goed genoeg was, zijn echter criteria nodig die aansluiten op de taak en het bedrijf.

Volgens Crux kan handmatige beoordeling grote implementaties niet bijbenen. In de aankondiging beschrijft het bedrijf hoe teams slechts 1% van de agenttraces steekproefsgewijs beoordelen, waardoor een groot deel van het overige verkeer buiten directe inspectie blijft. Dat cijfer is de beschrijving van het probleem door het bedrijf, geen gepubliceerd resultaat van een branchebreed onderzoek.

Steekproeven kunnen bijzonder beperkend zijn wanneer de belangrijke fouten zich zelden voordoen. Een agent kan zich in veelvoorkomende situaties acceptabel gedragen, maar moeite hebben met een uitzondering die ervaren medewerkers onmiddellijk herkennen. De uitdaging is om dat inzicht om te zetten in een evaluatie die consequent kan worden toegepast op een veel grotere verzameling interacties.

Voor Crux ligt de kans op het snijvlak van de mensen met domeinkennis en de engineers die de agent bouwen. Vakexperts kunnen uitleggen hoe een geslaagde interactie eruitziet, maar dat inzicht moet een herhaalbaar onderdeel worden van de manier waarop het systeem wordt gemeten en verbeterd.

Oordelen vastleggen en evaluaties afstemmen

Crux beschrijft een workflow die begint in de tools en processen die een bedrijf al gebruikt. De agents leggen oordelen van experts vast en gebruiken die om evaluaties op maat af te stemmen. Die evaluaties ondersteunen vervolgens monitoring en waarschuwingen in productie, waarbij de resultaten worden gebruikt om de agents verder te verbeteren.

De afstemmingsstap is belangrijk. Een generieke evaluatie kan een vlot geformuleerd antwoord belonen dat niet voldoet aan een bedrijfsspecifieke eis. Een evaluatie die is gebaseerd op het oordeel van experts moet het verschil kunnen herkennen tussen een antwoord dat goed klinkt en een antwoord dat aan de verwachtingen van de organisatie voldoet.

‘Agents zijn ongelooflijk goed in het bereiken van doelen, maar hebben geen toegang tot de jaren aan vuistregels die wij als mensen in ons hoofd hebben verzameld’, zei Julie Kheyfets, medeoprichter en CEO van Crux. ‘Crux helpt elk bedrijf om dit oordeel te destilleren en te gebruiken om zijn agents snel te verbeteren.’

Het beoogde resultaat is een evaluatieproces dat zich ontwikkelt op basis van wat experts leren uit echte interacties. Wanneer nieuwe foutpatronen aan het licht komen, kan de organisatie die kennis verwerken in de beoordeling van toekomstig gedrag, in plaats van die verspreid te laten blijven over supporttickets en individuele beoordelaars.

De volledige stroom productieverkeer monitoren

Crux zegt dat zijn evaluaties op maat zijn geoptimaliseerd voor realtime monitoring en waarschuwingen voor 100% van het productieverkeer. Dat is een claim over de dekking: de evaluatie wordt op de volledige verkeersstroom toegepast. Het betekent niet dat de evaluaties elke mogelijke fout opsporen of het altijd volledig eens zijn met menselijke experts.

Dat onderscheid is belangrijk, omdat geautomatiseerde evaluatie ook een eigen meetprobleem met zich meebrengt. Een systeem dat elke interactie beoordeelt, kan belangrijk gedrag nog steeds missen als de criteria onvolledig zijn. De criteria afstemmen op domeinkennis is daarom een essentieel onderdeel van wat Crux biedt, geen optionele stap voordat de monitoring begint.

Het bedrijf zegt ook dat de evaluatieresultaten leiden tot verbeteringen die in productie worden doorgevoerd. De aankondiging licht niet toe welke onderdelen van dat proces prompts, beleidsregels, modellen of andere componenten aanpassen, noch hoe goedkeuring door klanten wordt geregeld. Het aanbod dat is bekendgemaakt, is een end-to-enddienst voor evaluatie en verbetering, geen gespecificeerde techniek voor het trainen van modellen.

Een oprichtersteam met ervaring in AI voor bedrijven

Kheyfets en medeoprichter en CTO Krishna Kulkarni ontmoetten elkaar aan Princeton University. Kheyfets heeft tien jaar ervaring met de inzet van AI in complexe sectoren. Zo gaf ze leiding aan de activiteiten van Tractable AI in Noord-Amerika en was ze CEO van Block Renovation.

Kulkarni gaf eerder leiding aan de technische ontwikkeling van merken bij Meta, ontwikkelde AI-producten bij Checkr en hielp Healthify groeien van nul naar 20 miljoen patiënten, aldus het bedrijf. Crux bouwt aan een team van onderzoekers en engineers dat zich richt op het evalueren en verbeteren van agents.

‘Engineeringteams weten hoe ze AI-agents moeten bouwen en vakexperts weten hoe succes eruitziet, maar ondernemingen missen de schakel tussen die twee’, zei Kulkarni. ‘Crux zet domeinkennis om in voortdurende verbetering van agents, zodat engineers agents kunnen bouwen die echt aansluiten bij de bedrijfsdoelen.’

Het bedrijf meldt dat het eerste voet aan de grond heeft gekregen bij Fortune 500-ondernemingen en snelgroeiende bedrijven in de gezondheidszorg, cyberbeveiliging, financiële dienstverlening en andere complexe sectoren. In de aankondiging heeft het geen klanten bij naam genoemd en geen omzet, aantallen implementaties of gemeten verbeteringen bekendgemaakt.

De zakelijke argumenten voor bedrijfsspecifieke evaluatie

Crux positioneert zich als het equivalent van een speciaal team binnen een onderneming dat agents evalueert en verbetert. De zakelijke redenering is dat product- en engineeringmedewerkers minder tijd zouden moeten besteden aan het opzetten van beoordelingsprocessen en het opsporen van terugkerende fouten, terwijl experts een praktische manier krijgen om invloed uit te oefenen op de systemen die hun bedrijf vertegenwoordigen.

Ook de vraag naar domeinkennis komt naar voren op het iMerit-platform voor AI-training en -evaluatie onder leiding van experts, waar het organiseren van feedback van specialisten deel uitmaakt van het proces om modellen te verbeteren.

Voor investeerders hangt de kans samen met wat er gebeurt nadat agents in productie zijn genomen. Het bouwen van een agent brengt een nieuwe behoefte met zich mee: het gedrag ervan voortdurend meten, vaststellen waar het tekortschiet en het verbeteren zonder de normen van de organisatie uit het oog te verliezen.

De financiering van Crux helpt toetsen of dat proces betrouwbaar kan worden aangeboden aan klanten die succes op verschillende manieren definiëren. Het uitgangspunt is eenvoudig: het oordeel van de beste mensen binnen een bedrijf moet deel uitmaken van de evaluatie van de agents, en die evaluaties moeten leiden tot beter gedrag in productie. Meer informatie is beschikbaar bij Crux Labs.