Crux Labs lève plus de 6 millions de dollars pour transformer le jugement des entreprises en agents d’IA plus performants

Un agent d’IA peut accomplir une tâche tout en prenant une décision qu’un employé expérimenté rejetterait. Le plus difficile consiste souvent à comprendre les règles tacites : quand poser une question supplémentaire, quand faire remonter un problème et ce qui constitue un bon résultat pour une entreprise donnée.

Crux Labs développe une plateforme qui transforme ce jugement expert en un processus continu d’évaluation et d’amélioration des agents destinés aux entreprises. Cette jeune pousse new-yorkaise sort du mode furtif après avoir levé plus de 6 millions de dollars lors d’un tour de financement sursouscrit, co-dirigé par Benchstrength et Misneach, auquel ont également participé Analog Ventures et Pareto Holdings.

L’entreprise prévoit d’utiliser ces fonds pour développer ses équipes de recherche et d’ingénierie et accélérer le déploiement de sa solution dans les entreprises. Elle mise avant tout sur le fait que celles-ci ont besoin de systèmes d’évaluation calibrés en fonction de leurs propres experts, avec une boucle de rétroaction reliant le comportement en production aux modifications apportées aux agents eux-mêmes.

Pourquoi les traces des agents ne sont qu’un point de départ

L’observabilité des agents aide les équipes à examiner les actions d’un système : la succession des messages, des appels d’outils et des autres étapes qui composent une interaction. Cette trace est précieuse en cas de problème. Toutefois, déterminer si l’interaction était suffisamment satisfaisante nécessite des critères adaptés à la tâche et à l’entreprise.

Crux estime que l’examen manuel ne peut suivre le rythme des déploiements à grande échelle. Dans son annonce, l’entreprise indique que les équipes n’échantillonnent que 1 % des traces des agents, ce qui laisse une grande partie du trafic restant sans inspection directe. Ce chiffre décrit le problème selon l’entreprise ; il ne provient pas d’une étude publiée à l’échelle du secteur.

L’échantillonnage peut être particulièrement limitant lorsque les défaillances importantes sont inhabituelles. Un agent peut se comporter de manière acceptable dans les situations courantes tout en peinant face à une exception qu’un membre du personnel expérimenté reconnaît immédiatement. Le défi consiste à traduire cette capacité de discernement en une évaluation applicable de manière cohérente à un ensemble d’interactions beaucoup plus vaste.

Pour Crux, l’occasion se situe entre les personnes qui maîtrisent le domaine et les ingénieurs qui conçoivent l’agent. Les experts du domaine peuvent expliquer à quoi ressemble une interaction réussie, mais cette compréhension doit devenir un élément reproductible de la manière dont le système est évalué et amélioré.

Recueillir le jugement expert et calibrer les évaluations

Crux décrit un processus qui commence dans les outils et au sein des procédures qu’une entreprise utilise déjà. Ses agents recueillent les jugements des experts et s’en servent pour calibrer des évaluations personnalisées. Ces évaluations permettent ensuite de surveiller la production et de déclencher des alertes, tandis que les résultats contribuent aux améliorations ultérieures des agents.

L’étape de calibration est importante. Une évaluation générique pourrait récompenser une réponse fluide qui ne tient pas compte d’une exigence propre à l’entreprise. Une évaluation fondée sur le jugement des experts vise à distinguer une réponse qui semble juste d’une réponse conforme aux attentes de l’organisation.

« Les agents sont remarquablement doués pour atteindre des objectifs, mais ils n’ont pas accès aux années d’expérience et aux heuristiques que nous, les humains, avons accumulées », a déclaré Julie Kheyfets, cofondatrice et PDG de Crux. « Crux aide chaque entreprise à formaliser ce jugement et à s’en servir pour améliorer rapidement ses agents. »

L’objectif est de mettre en place un processus d’évaluation évolutif, qui tienne compte de ce que les experts apprennent au fil des interactions réelles. À mesure que de nouveaux types de défaillance apparaissent, l’organisation peut intégrer ces connaissances à l’évaluation des comportements futurs, au lieu de les laisser dispersées entre les tickets d’assistance et les observations de différents évaluateurs.

Surveiller l’ensemble du trafic en production

Crux affirme que ses évaluations personnalisées sont optimisées pour surveiller en temps réel et déclencher des alertes sur 100 % du trafic en production. Il s’agit d’une affirmation concernant la couverture : l’évaluation est appliquée à l’ensemble du flux de trafic. Cela ne signifie pas que les évaluations détectent toutes les défaillances possibles ni qu’elles concordent parfaitement avec les experts humains.

Cette distinction est importante, car l’évaluation automatisée pose ses propres problèmes de mesure. Même un système qui examine chaque interaction peut passer à côté de comportements importants si ses critères sont incomplets. Le calibrage de ces critères à partir de l’expertise du domaine est donc au cœur de la proposition de Crux, et non une étape facultative à effectuer avant le début de la surveillance.

L’entreprise indique également que les résultats des évaluations conduisent à des améliorations déployées en production. Son annonce ne précise pas quelles parties du processus modifient les invites, les politiques, les modèles ou d’autres composants, ni comment l’approbation des clients est gérée. La proposition présentée est un service complet d’évaluation et d’amélioration, et non une technique précise d’entraînement des modèles.

Une équipe fondatrice expérimentée en IA d’entreprise

Kheyfets et son cofondateur et directeur technique, Krishna Kulkarni, se sont rencontrés à Princeton University. Kheyfets possède dix ans d’expérience dans le déploiement de l’IA dans des secteurs complexes. Elle a notamment dirigé les activités de Tractable AI en Amérique du Nord et occupé le poste de PDG de Block Renovation.

Selon l’entreprise, Kulkarni a auparavant dirigé l’ingénierie de marque chez Meta, développé des produits d’IA chez Checkr et contribué à faire passer Healthify de zéro à 20 millions de patients. Crux constitue une équipe de chercheurs et d’ingénieurs chargée d’évaluer et d’améliorer les agents.

« Les équipes d’ingénierie savent créer des agents d’IA, et les experts du domaine savent à quoi ressemble la réussite, mais les entreprises ne disposent pas du lien nécessaire entre les deux », a déclaré Kulkarni. « Crux met l’expertise métier au service de l’amélioration continue des agents, afin que les ingénieurs puissent créer des agents véritablement alignés sur les besoins de l’entreprise. »

L’entreprise fait état de premiers succès auprès de grands groupes du Fortune 500 et d’entreprises à forte croissance dans les secteurs de la santé, de la cybersécurité, des services financiers et d’autres secteurs complexes. Dans son annonce, elle n’a pas nommé ces clients ni communiqué de chiffre d’affaires, de nombre de déploiements ou d’améliorations mesurées.

L’intérêt économique d’une évaluation propre à chaque entreprise

Crux se présente comme l’équivalent, au sein d’une entreprise, d’une équipe dédiée à l’évaluation et à l’amélioration des agents. Son argument commercial est que les équipes produit et ingénierie devraient consacrer moins de temps à mettre en place des processus d’examen et à diagnostiquer les défaillances récurrentes, tandis que les experts disposeraient d’un moyen concret d’influencer les systèmes qui représentent leur entreprise.

La demande d’expertise métier se manifeste également dans la plateforme iMerit de formation et d’évaluation de l’IA par des experts, où l’organisation des retours de spécialistes fait partie du processus d’amélioration des modèles.

Pour les investisseurs, l’occasion se présente lorsque les agents passent en production. La création d’un agent fait naître un nouveau besoin : mesurer en continu son comportement, repérer ses lacunes et l’améliorer sans perdre de vue les normes de l’organisation.

Le financement de Crux permettra de vérifier si ce processus peut être déployé de manière fiable auprès de clients dont les critères de réussite diffèrent. Sa proposition est simple : le jugement des meilleurs collaborateurs d’une entreprise devrait contribuer à l’évaluation de ses agents, et ces évaluations devraient se traduire par un meilleur comportement en production. Pour en savoir plus, consultez Crux Labs.