Crux Labs arrecada mais de US$ 6 milhões para transformar o julgamento empresarial em agentes de IA melhores

Um agente de IA pode concluir uma tarefa e, ainda assim, tomar uma decisão que um funcionário experiente rejeitaria. Muitas vezes, a parte difícil é compreender as regras não escritas: quando fazer outra pergunta, quando encaminhar o caso a alguém e o que significa um bom resultado para determinada empresa.

Crux Labs está desenvolvendo uma plataforma para transformar o julgamento de especialistas em um processo contínuo de avaliação e aprimoramento de agentes empresariais. A startup nova-iorquina saiu do modo furtivo após captar mais de US$ 6 milhões em uma rodada de financiamento com demanda acima do esperado, co-liderada por Benchstrength e Misneach, com participação de Analog Ventures e Pareto Holdings.

A empresa pretende usar o capital para ampliar as equipes de pesquisa e engenharia e acelerar a implantação em empresas. Sua principal aposta é que as empresas precisam de sistemas de avaliação calibrados de acordo com seus próprios especialistas, com um ciclo de feedback que conecte o comportamento em produção às mudanças feitas nos próprios agentes.

Por que os rastros dos agentes são apenas o ponto de partida

A observabilidade de agentes ajuda as equipes a examinar o que um sistema fez: a sequência de mensagens, chamadas de ferramentas e outras etapas que compõem uma interação. Esse registro é valioso quando algo dá errado. No entanto, decidir se a interação foi boa o suficiente exige critérios que levem em conta a tarefa e a empresa.

A Crux argumenta que a revisão manual não consegue acompanhar implantações em grande escala. O anúncio da empresa descreve equipes que analisam apenas 1% dos rastros dos agentes, deixando grande parte do tráfego restante sem inspeção direta. Esse número é a descrição que a empresa faz do problema, não o resultado de uma pesquisa publicada sobre todo o setor.

A amostragem pode ser especialmente limitante quando as falhas mais importantes são incomuns. Um agente pode se comportar de maneira aceitável em situações comuns, mas ter dificuldade diante de uma exceção que funcionários experientes reconhecem de imediato. O desafio é converter esse reconhecimento em uma avaliação que possa ser aplicada de forma consistente a um conjunto muito maior de interações.

Para a Crux, a oportunidade está entre as pessoas que conhecem o domínio e os engenheiros que desenvolvem o agente. Especialistas no assunto podem explicar como é uma interação bem-sucedida, mas esse entendimento precisa se tornar uma parte reproduzível da maneira como o sistema é avaliado e aprimorado.

Capturar o julgamento de especialistas e calibrar avaliações

A Crux descreve um fluxo de trabalho que começa dentro das ferramentas e dos processos que a empresa já utiliza. Seus agentes capturam o julgamento de especialistas e o usam para calibrar avaliações personalizadas. Essas avaliações dão suporte ao monitoramento em produção e aos alertas, e os resultados alimentam aprimoramentos posteriores dos agentes.

A etapa de calibração é importante. Uma avaliação genérica poderia recompensar uma resposta fluente que não atende a um requisito específico da empresa. Uma avaliação fundamentada no julgamento de especialistas deve reconhecer a diferença entre uma resposta que parece correta e uma que atende às expectativas da organização.

“Os agentes são incríveis para alcançar objetivos, mas não têm acesso aos anos de heurísticas que nós, seres humanos, acumulamos em nossas mentes”, disse Julie Kheyfets, cofundadora e CEO da Crux. “A Crux ajuda cada empresa a destilar esse julgamento e usá-lo para aprimorar rapidamente seus agentes.”

O objetivo é ter um processo de avaliação dinâmico, que reflita o que os especialistas aprendem com interações reais. À medida que surgem novos padrões de falha, a organização pode incorporar esse conhecimento à avaliação de comportamentos futuros, em vez de deixá-lo disperso entre chamados de suporte e avaliações individuais.

Monitoramento de todo o fluxo de tráfego em produção

A Crux afirma que suas avaliações personalizadas são otimizadas para monitoramento e alertas em tempo real em 100% do tráfego de produção. Trata-se de uma afirmação sobre cobertura: aplicar avaliações a todo o fluxo de tráfego. Isso não significa que as avaliações detectem todas as falhas possíveis ou concordem perfeitamente com os especialistas humanos.

Essa distinção é importante porque a avaliação automatizada traz seu próprio desafio de medição. Um sistema que analisa todas as interações ainda pode deixar passar comportamentos importantes se seus critérios forem incompletos. Por isso, calibrar esses critérios com base na experiência no domínio é fundamental para a proposta da Crux, e não uma etapa opcional antes do início do monitoramento.

A empresa também afirma que os resultados das avaliações impulsionam melhorias implementadas em produção. Seu anúncio não detalha quais partes desse processo alteram prompts, políticas, modelos ou outros componentes, nem como é tratada a aprovação dos clientes. A proposta divulgada é um serviço completo de avaliação e aprimoramento, não uma técnica especificada de treinamento de modelos.

Uma equipe fundadora com experiência em IA empresarial

Kheyfets e o cofundador e CTO Krishna Kulkarni se conheceram na Princeton University. Kheyfets tem uma década de experiência na implantação de IA em setores complexos, incluindo a liderança das operações da Tractable AI na América do Norte e o cargo de CEO da Block Renovation.

Segundo a empresa, Kulkarni liderou anteriormente a engenharia de marca na Meta, desenvolveu produtos de IA na Checkr e ajudou a Healthify a crescer do zero até atender 20 milhões de pacientes. A Crux está formando uma equipe de pesquisadores e engenheiros dedicada a avaliar e aprimorar agentes.

“As equipes de engenharia sabem desenvolver agentes de IA, e os especialistas no assunto sabem como é o sucesso, mas falta às empresas uma ponte entre esses dois grupos”, disse Kulkarni. “A Crux transforma a expertise de domínio em aprimoramento contínuo de agentes, para que os engenheiros possam criar agentes realmente alinhados aos negócios.”

A empresa relata os primeiros sinais de adesão entre empresas da Fortune 500 e negócios de alto crescimento nos setores de saúde, cibersegurança, serviços financeiros e outros setores complexos. No anúncio, não identificou esses clientes nem divulgou receita, número de implantações ou melhorias mensuradas.

A justificativa comercial para avaliações específicas de cada empresa

A Crux se apresenta como o equivalente a uma equipe dedicada à avaliação e ao aprimoramento de agentes dentro de uma empresa. O argumento comercial é que as equipes de produto e engenharia deveriam dedicar menos tempo à criação de processos de revisão e ao diagnóstico de falhas recorrentes, enquanto os especialistas teriam uma maneira prática de influenciar os sistemas que representam os negócios da empresa.

A demanda por expertise de domínio também se manifesta na plataforma da iMerit para treinamento e avaliação de IA conduzidos por especialistas, na qual organizar o feedback de especialistas faz parte do fluxo de trabalho de aprimoramento de modelos.

Para os investidores, a oportunidade está ligada ao que acontece depois que os agentes entram em produção. Criar um agente gera uma nova necessidade: medir continuamente seu comportamento, identificar em que aspectos ele deixa a desejar e aprimorá-lo sem perder de vista os padrões da organização.

O financiamento da Crux ajudará a testar se esse processo pode ser implementado de forma confiável para clientes com diferentes definições de sucesso. Sua proposta é simples: o discernimento dos melhores profissionais de uma empresa deve fazer parte da maneira como seus agentes são avaliados, e essas avaliações devem levar a um comportamento melhor em produção. Mais informações estão disponíveis em Crux Labs.