Crux Labs atrage peste 6 milioane de dolari pentru a transforma discernământul din companii în agenți IA mai buni

Un agent IA poate duce la bun sfârșit o sarcină și totuși poate lua o decizie pe care un angajat cu experiență ar respinge-o. Partea dificilă constă adesea în înțelegerea regulilor nescrise: când să pună încă o întrebare, când să escaladeze o problemă și ce înseamnă un rezultat bun pentru o anumită companie.

Crux Labs dezvoltă o platformă care transformă discernământul experților într-un proces continuu de evaluare și îmbunătățire a agenților pentru companii. Startupul din New York a ieșit din stealth cu peste 6 milioane de dolari, într-o rundă de finanțare suprasubscrisă, co-condusă de Benchstrength și Misneach, la care au participat și Analog Ventures și Pareto Holdings.

Compania intenționează să folosească fondurile pentru a-și extinde activitățile de cercetare și inginerie și pentru a accelera implementările în companii. Ideea centrală este că întreprinderile au nevoie de sisteme de evaluare calibrate în funcție de propriii experți, precum și de o buclă de feedback care să conecteze comportamentul din producție cu modificările aduse agenților.

De ce traseele agenților sunt doar punctul de plecare

Observabilitatea agenților ajută echipele să examineze ce a făcut un sistem: succesiunea mesajelor, apelurile către instrumente și alți pași din spatele unei interacțiuni. Această înregistrare este valoroasă atunci când ceva nu funcționează. Pentru a stabili însă dacă interacțiunea a fost suficient de bună, sunt necesare criterii care să țină cont de sarcină și de companie.

Crux susține că evaluarea manuală nu poate ține pasul cu implementările la scară largă. În anunțul său, compania descrie echipe care eșantionează doar 1% din traseele agenților, lăsând o mare parte din traficul rămas în afara examinării directe. Această cifră reflectă descrierea problemei de către companie, nu rezultatul unui studiu publicat la nivelul întregii industrii.

Eșantionarea poate fi deosebit de limitativă atunci când erorile importante sunt neobișnuite. Un agent se poate comporta acceptabil în situațiile obișnuite, dar poate întâmpina dificultăți în cazul unei excepții pe care personalul cu experiență o recunoaște imediat. Provocarea constă în transformarea acestei capacități de recunoaștere într-o evaluare care poate fi aplicată consecvent unui set mult mai mare de interacțiuni.

Pentru Crux, oportunitatea se află între oamenii care cunosc domeniul și inginerii care construiesc agentul. Experții în domeniu pot explica cum arată o interacțiune reușită, însă această înțelegere trebuie să devină o componentă repetabilă a modului în care sistemul este evaluat și îmbunătățit.

Captarea discernământului și calibrarea evaluărilor

Crux descrie un flux de lucru care începe în interiorul instrumentelor și proceselor pe care o companie le folosește deja. Agenții săi captează judecățile experților și le folosesc pentru a calibra evaluări personalizate. Aceste evaluări susțin apoi monitorizarea în producție și alertele, iar rezultatele contribuie la îmbunătățirile ulterioare ale agenților.

Etapa de calibrare este importantă. O evaluare generică ar putea recompensa un răspuns fluent care nu îndeplinește o cerință specifică a companiei. O evaluare bazată pe discernământul experților este menită să recunoască diferența dintre un răspuns care pare corect și unul care corespunde așteptărilor organizației.

„Agenții sunt incredibil de buni la atingerea obiectivelor, dar nu au acces la anii de euristici pe care noi, oamenii, i-am acumulat în minte”, a declarat Julie Kheyfets, cofondatoarea și directoarea generală a Crux. „Crux ajută fiecare companie să distileze acest discernământ și să îl folosească pentru a-și îmbunătăți rapid agenții.”

Rezultatul urmărit este un proces de evaluare care evoluează pe măsură ce experții învață din interacțiunile reale. Pe măsură ce apar noi tipare de erori, organizația poate integra aceste cunoștințe în modul în care evaluează comportamentul viitor, în loc să le lase risipite în tichetele de asistență și în notițele evaluatorilor individuali.

Monitorizarea întregului flux de trafic din producție

Crux afirmă că evaluările sale personalizate sunt optimizate pentru monitorizarea și alertarea în timp real pe întregul volum de trafic din producție, adică 100%. Aceasta este o afirmație despre acoperire: aplicarea evaluării întregului flux de trafic. Nu înseamnă că evaluările detectează orice eroare posibilă sau că sunt întotdeauna în deplin acord cu experții umani.

Această distincție contează, deoarece evaluarea automată implică propriile provocări de măsurare. Un sistem care examinează fiecare interacțiune poate totuși să nu observe comportamente importante dacă criteriile sale sunt incomplete. Prin urmare, calibrarea acestor criterii în funcție de expertiza din domeniu este esențială pentru oferta Crux, nu o etapă opțională înainte de începerea monitorizării.

Compania mai afirmă că rezultatele evaluărilor determină îmbunătățiri care sunt lansate în producție. Anunțul nu precizează ce componente ale procesului modifică prompturile, politicile, modelele sau alte elemente și nici cum este gestionată aprobarea clienților. Oferta prezentată este un serviciu de evaluare și îmbunătățire de la un capăt la altul, nu o tehnică specifică de antrenare a modelelor.

O echipă fondatoare cu experiență în IA pentru companii

Kheyfets și cofondatorul și directorul tehnic Krishna Kulkarni s-au cunoscut la Princeton University. Kheyfets are zece ani de experiență în implementarea IA în industrii complexe, inclusiv în conducerea operațiunilor din America de Nord pentru Tractable AI și în funcția de directoare generală la Block Renovation.

Potrivit companiei, Kulkarni a condus anterior activitatea de inginerie de brand la Meta, a dezvoltat produse de inteligență artificială la Checkr și a contribuit la extinderea Healthify de la zero la 20 de milioane de pacienți. Crux își construiește o echipă de cercetători și ingineri axată pe evaluarea și îmbunătățirea agenților.

„Echipele de inginerie știu să construiască agenți de inteligență artificială, iar experții în domeniu știu cum arată succesul, dar întreprinderilor le lipsește puntea dintre cele două”, a declarat Kulkarni. „Crux transformă expertiza de domeniu într-un proces continuu de îmbunătățire a agenților, astfel încât inginerii să poată construi agenți cu adevărat aliniați la obiectivele de afaceri.”

Compania raportează primele rezultate pozitive în relația cu întreprinderi din Fortune 500 și cu afaceri cu creștere rapidă din domeniul sănătății, al securității cibernetice, al serviciilor financiare și din alte industrii complexe. În anunț, nu a numit acești clienți și nu a dezvăluit veniturile, numărul implementărilor sau îmbunătățirile măsurate.

Argumentul de afaceri pentru evaluarea specifică fiecărei companii

Crux se poziționează ca echivalentul unei echipe dedicate evaluării și îmbunătățirii agenților în cadrul unei întreprinderi. Argumentul comercial este că personalul din departamentele de produs și inginerie ar trebui să petreacă mai puțin timp alcătuind procese de evaluare și diagnosticând deficiențe recurente, în timp ce experții ar avea o modalitate practică de a influența sistemele care reprezintă afacerea lor.

Cererea de expertiză de domeniu se regăsește și în platforma iMerit pentru antrenarea și evaluarea inteligenței artificiale sub îndrumarea experților, unde organizarea feedbackului specialiștilor face parte din procesul de îmbunătățire a modelelor.

Pentru investitori, oportunitatea ține de ceea ce se întâmplă după ce agenții sunt puși în producție. Construirea unui agent creează o nouă necesitate: măsurarea continuă a comportamentului său, identificarea punctelor slabe și îmbunătățirea lui fără a pierde din vedere standardele organizației.

Finanțarea primită de Crux va ajuta la testarea posibilității de a furniza acest proces în mod fiabil pentru clienți cu definiții diferite ale succesului. Propunerea sa este simplă: judecata celor mai buni angajați ai unei companii ar trebui să facă parte din modul în care sunt evaluați agenții acesteia, iar aceste evaluări ar trebui să ducă la un comportament mai bun în producție. Mai multe informații sunt disponibile la Crux Labs.