Crux Labs pozyskuje ponad 6 mln dolarów, by wykorzystać wiedzę ekspercką firm do tworzenia lepszych agentów AI

Agent AI może wykonać zadanie, a mimo to podjąć decyzję, którą odrzuciłby doświadczony pracownik. Trudność często polega na zrozumieniu niepisanych zasad: kiedy zadać kolejne pytanie, kiedy przekazać sprawę wyżej i co oznacza dobry wynik w przypadku konkretnej firmy.

Crux Labs buduje platformę, która ma przekształcić wiedzę ekspercką w ciągły proces oceny i doskonalenia agentów wykorzystywanych w przedsiębiorstwach. Nowojorski startup wyszedł z ukrycia, pozyskując ponad 6 mln dolarów w rundzie finansowania, której wartość przekroczyła zakładany cel. Rundę współprowadziły Benchstrength i Misneach, a udział w niej wzięły także Analog Ventures i Pareto Holdings.

Firma planuje przeznaczyć pozyskany kapitał na rozwój zespołów badawczych i inżynieryjnych oraz przyspieszenie wdrożeń w przedsiębiorstwach. Jej główne założenie jest takie, że firmy potrzebują systemów oceny dostosowanych do wiedzy własnych ekspertów oraz pętli informacji zwrotnej łączącej zachowanie agentów w środowisku produkcyjnym ze zmianami w samych agentach.

Dlaczego ślady działania agentów to dopiero punkt wyjścia

Obserwowalność agentów pomaga zespołom sprawdzić, co zrobił system: prześledzić sekwencję wiadomości, wywołań narzędzi i innych kroków składających się na interakcję. Taki zapis jest przydatny, gdy coś pójdzie nie tak. Ocena, czy interakcja była wystarczająco dobra, wymaga jednak kryteriów uwzględniających zadanie i specyfikę firmy.

Crux twierdzi, że ręczna weryfikacja nie nadąża za wdrożeniami na dużą skalę. W komunikacie firmy opisano, że zespoły analizują próbkę obejmującą zaledwie 1% śladów działania agentów, przez co znaczna część pozostałego ruchu nie jest bezpośrednio sprawdzana. Ta liczba przedstawia problem w ujęciu firmy, a nie wynik opublikowanego badania obejmującego całą branżę.

Próbkowanie może być szczególnie ograniczające, gdy istotne błędy zdarzają się rzadko. Agent może działać poprawnie w typowych sytuacjach, a jednocześnie mieć trudności z wyjątkiem, który doświadczeni pracownicy rozpoznają natychmiast. Wyzwaniem jest przełożenie tej umiejętności rozpoznawania na ocenę, którą można konsekwentnie stosować do znacznie większej liczby interakcji.

Crux upatruje możliwości działania na styku osób znających daną dziedzinę i inżynierów tworzących agenta. Eksperci merytoryczni potrafią wyjaśnić, jak wygląda udana interakcja, ale tę wiedzę trzeba przełożyć na powtarzalny element procesu mierzenia i doskonalenia systemu.

Gromadzenie wiedzy eksperckiej i dostrajanie ocen

Crux opisuje proces, który rozpoczyna się w narzędziach i ramach działania, z których firma już korzysta. Agenci gromadzą oceny ekspertów i wykorzystują je do kalibrowania niestandardowych metod oceny. Metody te wspierają następnie monitorowanie środowiska produkcyjnego i generowanie alertów, a uzyskane wyniki służą do dalszego doskonalenia agentów.

Etap kalibracji ma istotne znaczenie. Ogólna metoda oceny może nagradzać płynną odpowiedź, która pomija wymaganie specyficzne dla danej firmy. Metoda oparta na wiedzy eksperckiej ma rozpoznawać różnicę między odpowiedzią, która brzmi dobrze, a taką, która spełnia oczekiwania organizacji.

„Agenci świetnie radzą sobie z osiąganiem celów, ale nie mają dostępu do heurystyk, które my, ludzie, gromadziliśmy w głowach przez lata” — powiedziała Julie Kheyfets, współzałożycielka i dyrektorka generalna Crux. „Crux pomaga każdej firmie wydobyć tę wiedzę i wykorzystać ją do szybkiego doskonalenia agentów”.

Celem jest taki proces oceny, który zmienia się wraz z wiedzą ekspertów zdobytą podczas rzeczywistych interakcji. Gdy pojawiają się nowe wzorce błędów, organizacja może uwzględnić tę wiedzę w ocenie przyszłych zachowań, zamiast pozostawiać ją rozproszoną w zgłoszeniach do pomocy technicznej i uwagach poszczególnych osób weryfikujących.

Monitorowanie całego strumienia ruchu w środowisku produkcyjnym

Crux twierdzi, że jego niestandardowe metody oceny są zoptymalizowane pod kątem monitorowania i generowania alertów w czasie rzeczywistym dla 100% ruchu w środowisku produkcyjnym. Jest to deklaracja dotycząca zakresu: ocena obejmuje cały strumień ruchu. Nie oznacza to, że metody te wykrywają każdy możliwy błąd ani że zawsze zgadzają się z ekspertami.

To rozróżnienie ma znaczenie, ponieważ automatyczna ocena wiąże się z własnym wyzwaniem pomiarowym. System analizujący każdą interakcję nadal może przeoczyć istotne zachowanie, jeśli jego kryteria są niekompletne. Dlatego dostrajanie kryteriów w oparciu o wiedzę ekspercką jest kluczowym elementem oferty Crux, a nie opcjonalnym etapem poprzedzającym rozpoczęcie monitorowania.

Firma twierdzi również, że wyniki oceny prowadzą do wdrażania usprawnień w środowisku produkcyjnym. W komunikacie nie sprecyzowano, które elementy procesu ulegają zmianie — polecenia, zasady, modele czy inne komponenty — ani jak uzyskiwana jest zgoda klientów. Przedstawiona oferta obejmuje kompleksową usługę oceny i doskonalenia, a nie konkretną technikę trenowania modeli.

Zespół założycielski z doświadczeniem w dziedzinie AI dla przedsiębiorstw

Kheyfets i współzałożyciel oraz dyrektor ds. technicznych Krishna Kulkarni poznali się na Princeton University. Kheyfets ma dziesięcioletnie doświadczenie we wdrażaniu AI w złożonych branżach, w tym w kierowaniu działalnością Tractable AI w Ameryce Północnej oraz pełnieniu funkcji dyrektorki generalnej Block Renovation.

Według firmy Kulkarni wcześniej kierował działem inżynierii marki w Meta, tworzył produkty AI w Checkr i pomógł rozwinąć Healthify od zera do 20 milionów pacjentów. Crux buduje zespół badaczy i inżynierów, który koncentruje się na ocenie agentów i ich doskonaleniu.

„Zespoły inżynierskie wiedzą, jak budować agentów AI, a eksperci dziedzinowi wiedzą, jak wygląda sukces, ale przedsiębiorstwom brakuje pomostu między nimi” — powiedział Kulkarni. „Crux przekłada wiedzę dziedzinową na ciągłe doskonalenie agentów, dzięki czemu inżynierowie mogą tworzyć agentów rzeczywiście dostosowanych do potrzeb biznesu”.

Firma informuje o pierwszych sukcesach we współpracy z przedsiębiorstwami z listy Fortune 500 oraz szybko rozwijającymi się firmami z sektorów ochrony zdrowia, cyberbezpieczeństwa i usług finansowych, a także z innych złożonych branż. W komunikacie nie podała nazw tych klientów ani nie ujawniła przychodów, liczby wdrożeń czy zmierzonych usprawnień.

Biznesowe uzasadnienie oceny dostosowanej do specyfiki firmy

Crux pozycjonuje się jako odpowiednik dedykowanego zespołu zajmującego się oceną i doskonaleniem agentów wewnątrz przedsiębiorstwa. Argument biznesowy jest taki, że pracownicy działów produktu i inżynierii powinni poświęcać mniej czasu na organizowanie procesów oceny i diagnozowanie powtarzających się błędów, a eksperci powinni zyskać praktyczny sposób wpływania na systemy odzwierciedlające działalność ich firmy.

Zapotrzebowanie na wiedzę specjalistyczną w danej dziedzinie widać również na platformie iMerit do trenowania i oceny AI z udziałem ekspertów, gdzie organizowanie informacji zwrotnych od specjalistów jest częścią procesu doskonalenia modeli.

Dla inwestorów szansa wiąże się z tym, co dzieje się po wdrożeniu agentów do środowiska produkcyjnego. Zbudowanie agenta rodzi nową potrzebę ciągłego mierzenia jego zachowania, wskazywania obszarów, w których nie spełnia oczekiwań, i doskonalenia go bez utraty z pola widzenia standardów organizacji.

Finansowanie Crux pomoże sprawdzić, czy ten proces można niezawodnie realizować wśród klientów, którzy różnie definiują sukces. Założenie firmy jest proste: ocena agentów powinna uwzględniać osąd najlepszych pracowników firmy, a jej wyniki powinny prowadzić do poprawy zachowania agentów w środowisku produkcyjnym. Więcej informacji można znaleźć na stronie Crux Labs.