Crux Labs získává přes 6 milionů dolarů na přeměnu firemního úsudku v lepší AI agenty

AI agent může splnit úkol, a přesto se rozhodnout způsobem, který by zkušený zaměstnanec odmítl. Často je obtížné pochopit nepsaná pravidla: kdy položit další otázku, kdy předat případ dál a co pro konkrétní firmu znamená dobrý výsledek.

Crux Labs buduje platformu, která převádí úsudek odborníků na průběžný proces hodnocení a zlepšování podnikových agentů. Newyorský startup ukončil utajovaný vývoj a oznámil financování ve výši více než 6 milionů dolarů v kole, o které byl větší zájem než o dostupný objem investic. Kolo společně vedly společnosti Benchstrength a Misneach; zapojily se také Analog Ventures a Pareto Holdings.

Společnost plánuje využít získaný kapitál k rozšíření výzkumného a technického týmu a urychlení nasazení řešení ve firmách. Její hlavní předpoklad je, že podniky potřebují systémy hodnocení nastavené podle vlastních odborníků a zpětnou vazbu, která propojí chování v produkčním prostředí se změnami samotných agentů.

Proč jsou záznamy činnosti agentů jen výchozím bodem

Pozorovatelnost agentů pomáhá týmům zjistit, co systém udělal: jak probíhala výměna zpráv, volání nástrojů a další kroky, které vedly k dané interakci. Takový záznam je cenný, když se něco pokazí. Rozhodnout však, zda byla interakce dostatečně kvalitní, vyžaduje kritéria, která zohledňují úkol i konkrétní firmu.

Crux tvrdí, že ruční kontrola nedokáže držet krok s rozsáhlým nasazením. V oznámení společnost uvádí, že týmy kontrolují pouze 1 % záznamů činnosti agentů, takže značná část zbývajícího provozu není přímo prověřována. Tento údaj popisuje problém podle společnosti; nejde o výsledek zveřejněného průzkumu napříč celým odvětvím.

Výběrová kontrola může být zvlášť omezující, pokud jsou důležitá selhání neobvyklá. Agent se může v běžných případech chovat přijatelně, ale mít potíže s výjimkou, kterou zkušený pracovník okamžitě rozpozná. Výzvou je převést toto rozpoznání na hodnocení, které lze důsledně uplatňovat na mnohem větší soubor interakcí.

Crux vidí příležitost v propojení lidí, kteří znají daný obor, s inženýry, kteří agenta vytvářejí. Odborníci na danou oblast dokážou vysvětlit, jak vypadá úspěšná interakce, toto porozumění se však musí stát opakovatelnou součástí měření a zlepšování systému.

Zachycení úsudku a kalibrace hodnocení

Crux popisuje pracovní postup, který začíná v nástrojích a procesech, jež firma už používá. Její agenti zachycují úsudky odborníků a využívají je ke kalibraci vlastních hodnoticích kritérií. Tato kritéria pak slouží k monitorování produkčního prostředí a zasílání upozornění; získané výsledky zároveň vedou k následnému zlepšování agentů.

Kalibrace je důležitá. Obecné hodnocení může odměnit plynulou odpověď, která přehlédne požadavek specifický pro danou firmu. Hodnocení založené na úsudku odborníků má rozpoznat rozdíl mezi odpovědí, která zní správně, a odpovědí, která splňuje očekávání organizace.

„Agenti jsou neuvěřitelně dobří v dosahování cílů, ale nemají přístup k letům zkušeností a heuristik, které jsme si my lidé nashromáždili v hlavě,“ uvedla Julie Kheyfets, spoluzakladatelka a generální ředitelka Crux. „Crux pomáhá každé firmě tento úsudek vytěžit a rychle díky němu své agenty zlepšovat.“

Cílem je průběžně se vyvíjející proces hodnocení, který odráží poznatky odborníků získané ze skutečných interakcí. Když se objeví nové vzorce selhání, organizace může tyto poznatky začlenit do hodnocení budoucího chování, místo aby zůstaly roztroušené v požadavcích na podporu a u jednotlivých kontrolorů.

Monitorování celého proudu provozu v produkčním prostředí

Crux uvádí, že její vlastní hodnoticí kritéria jsou optimalizována pro monitorování v reálném čase a zasílání upozornění napříč 100 % provozu v produkčním prostředí. Jde o tvrzení týkající se pokrytí: hodnocení se uplatňuje na celý proud provozu. Neznamená to, že hodnocení odhalí každé možné selhání nebo se dokonale shodne s odborníky z řad lidí.

Toto rozlišení je důležité, protože automatizované hodnocení přináší vlastní problémy s měřením. Systém, který prověřuje každou interakci, může přesto přehlédnout důležité chování, pokud jsou jeho kritéria neúplná. Kalibrace těchto kritérií podle odborných znalostí je proto pro nabídku Crux zásadní, nikoli volitelným krokem před zahájením monitorování.

Společnost také uvádí, že výsledky hodnocení vedou ke zlepšením, která se nasazují do produkčního prostředí. V oznámení neupřesňuje, které části tohoto procesu mění pokyny pro model, zásady, modely nebo jiné komponenty ani jak se řeší schvalování ze strany zákazníků. Představeným řešením je komplexní služba hodnocení a zlepšování, nikoli konkrétně popsaná technika trénování modelů.

Zakladatelský tým se zkušenostmi s podnikovou AI

Kheyfets se se spoluzakladatelem a technickým ředitelem Krishnou Kulkarnim seznámila na Princeton University. Kheyfets má deset let zkušeností s nasazováním AI ve složitých odvětvích; mimo jiné vedla severoamerické působení společnosti Tractable AI a působila jako generální ředitelka Block Renovation.

Podle společnosti Kulkarni dříve vedl brand engineering ve společnosti Meta, vyvíjel produkty s využitím AI ve společnosti Checkr a pomohl rozšířit Healthify z nuly na 20 milionů pacientů. Crux buduje tým výzkumníků a inženýrů zaměřený na hodnocení a zdokonalování agentů.

„Inženýrské týmy vědí, jak vytvářet agenty AI, a odborníci na danou oblast vědí, jak vypadá úspěch. Podnikům ale chybí spojovací článek mezi nimi,“ řekl Kulkarni. „Crux převádí odborné znalosti z konkrétních oborů do průběžného zdokonalování agentů, aby inženýři mohli vytvářet agenty, které skutečně odpovídají potřebám firmy.“

Společnost uvádí, že již navázala první spolupráce s podniky z žebříčku Fortune 500 a rychle rostoucími firmami ve zdravotnictví, kybernetické bezpečnosti, finančních službách a dalších komplexních odvětvích. V oznámení však tyto zákazníky nejmenovala ani nezveřejnila tržby, počty nasazení či naměřená zlepšení.

Obchodní důvody pro hodnocení přizpůsobené konkrétní firmě

Crux se profiluje jako obdoba specializovaného týmu pro hodnocení a zdokonalování agentů přímo uvnitř podniku. Obchodní argumentace společnosti spočívá v tom, že pracovníci produktových a inženýrských týmů by měli méně času věnovat sestavování procesů kontroly a odhalování opakujících se selhání, zatímco odborníci by měli získat praktický způsob, jak ovlivňovat systémy zastupující jejich firmu.

Poptávka po odborných znalostech z konkrétních oborů se odráží také v platformě iMerit pro školení a hodnocení AI pod vedením odborníků, kde je organizace zpětné vazby od specialistů součástí procesu zdokonalování modelů.

Pro investory souvisí příležitost s tím, co se děje poté, co jsou agenti nasazeni do produkčního provozu. Vytvoření agenta přináší novou potřebu průběžně měřit jeho chování, zjišťovat, v čem zaostává, a zdokonalovat ho, aniž by se ztratil ze zřetele soulad se standardy organizace.

Financování Crux pomůže ověřit, zda lze tento proces spolehlivě poskytovat různým zákazníkům, kteří mají odlišné představy o úspěchu. Její nabídka je přímočará: úsudek nejlepších pracovníků firmy by se měl stát součástí hodnocení jejích agentů a tato hodnocení by měla vést k lepšímu chování agentů v produkčním provozu. Více informací najdete na stránkách Crux Labs.