Crux Labs recauda más de 6 millones de dólares para convertir el criterio empresarial en mejores agentes de IA

Un agente de IA puede completar una tarea y, aun así, tomar una decisión que un empleado con experiencia rechazaría. A menudo, lo difícil es comprender las reglas no escritas: cuándo hacer otra pregunta, cuándo escalar un caso y qué significa obtener un buen resultado para una empresa en particular.

Crux Labs está desarrollando una plataforma para convertir ese criterio experto en un proceso continuo de evaluación y mejora de agentes empresariales. La startup neoyorquina salió del sigilo con una ronda de financiación sobresuscrita de más de 6 millones de dólares, codirigida por Benchstrength y Misneach, en la que también participaron Analog Ventures y Pareto Holdings.

La empresa planea destinar el capital a ampliar sus equipos de investigación e ingeniería y acelerar las implementaciones empresariales. Su apuesta central es que las empresas necesitan sistemas de evaluación calibrados según el criterio de sus propios expertos, con un ciclo de retroalimentación que conecte el comportamiento en producción con los cambios en los propios agentes.

Por qué las trazas de los agentes son solo el punto de partida

La observabilidad de los agentes ayuda a los equipos a examinar lo que hizo un sistema: la secuencia de mensajes, llamadas a herramientas y otros pasos que conforman una interacción. Ese registro resulta valioso cuando algo sale mal. Sin embargo, para decidir si la interacción fue suficientemente buena hacen falta criterios que reflejen la tarea y la empresa.

Crux sostiene que la revisión manual no puede seguir el ritmo de las implementaciones a gran escala. En su anuncio, describe que los equipos solo muestrean el 1 % de las trazas de los agentes, por lo que gran parte del tráfico restante queda fuera de la inspección directa. Esa cifra es la descripción que hace la empresa del problema, no el resultado de un estudio publicado sobre toda la industria.

El muestreo puede ser especialmente limitante cuando los fallos importantes son poco habituales. Un agente puede comportarse de forma aceptable en situaciones comunes y, al mismo tiempo, tener dificultades ante una excepción que el personal experimentado reconoce de inmediato. El reto consiste en convertir ese reconocimiento en una evaluación que pueda aplicarse de manera coherente a un conjunto mucho mayor de interacciones.

Para Crux, la oportunidad está en conectar a quienes conocen el ámbito con los ingenieros que desarrollan el agente. Los expertos en la materia pueden explicar cómo es una interacción satisfactoria, pero esa comprensión debe incorporarse de forma repetible a la manera de medir y mejorar el sistema.

Capturar el criterio y calibrar las evaluaciones

Crux describe un flujo de trabajo que comienza dentro de las herramientas y los procesos que la empresa ya utiliza. Sus agentes capturan el criterio de los expertos y lo emplean para calibrar evaluaciones personalizadas. Después, esas evaluaciones permiten supervisar los sistemas en producción y generar alertas; los resultados, a su vez, contribuyen a mejoras posteriores de los agentes.

El paso de calibración es importante. Una evaluación genérica podría premiar una respuesta fluida que no cumpla un requisito específico de la empresa. Una evaluación basada en el criterio de expertos pretende distinguir entre una respuesta que parece correcta y otra que satisface las expectativas de la organización.

«Los agentes son increíbles a la hora de alcanzar objetivos, pero no tienen acceso a los años de heurísticas que los seres humanos hemos acumulado en nuestra mente», afirmó Julie Kheyfets, cofundadora y directora ejecutiva de Crux. «Crux ayuda a todas las empresas a destilar este criterio y a utilizarlo para mejorar rápidamente sus agentes».

El objetivo es contar con un proceso de evaluación dinámico que refleje lo que los expertos aprenden de las interacciones reales. A medida que surgen nuevos patrones de fallo, la organización puede incorporar ese conocimiento a la evaluación del comportamiento futuro, en lugar de dejarlo disperso entre los tickets de soporte y las observaciones de cada revisor.

Supervisar todo el flujo de tráfico en producción

Crux afirma que sus evaluaciones personalizadas están optimizadas para la supervisión y las alertas en tiempo real sobre el 100 % del tráfico en producción. Se trata de una afirmación sobre la cobertura: aplicar la evaluación a todo el flujo de tráfico. No significa que las evaluaciones detecten todos los fallos posibles ni que coincidan perfectamente con el criterio de los expertos humanos.

Esta distinción importa porque la evaluación automatizada plantea sus propios retos de medición. Un sistema que revisa todas las interacciones aún puede pasar por alto comportamientos importantes si sus criterios son incompletos. Por eso, calibrar esos criterios con conocimientos especializados es fundamental para la propuesta de Crux, y no un paso opcional antes de iniciar la supervisión.

La empresa también afirma que los resultados de las evaluaciones impulsan mejoras que se implementan en producción. Su anuncio no detalla qué partes de ese proceso modifican las instrucciones, las políticas, los modelos u otros componentes, ni cómo se gestiona la aprobación de los clientes. La propuesta que ha dado a conocer es un servicio integral de evaluación y mejora, no una técnica específica de entrenamiento de modelos.

Un equipo fundador con experiencia en IA empresarial

Kheyfets y el cofundador y director de tecnología Krishna Kulkarni se conocieron en Princeton University. Kheyfets aporta una década de experiencia en la implementación de IA en sectores complejos, incluida la dirección de las operaciones de Tractable AI en Norteamérica y su labor como directora ejecutiva de Block Renovation.

Según la empresa, Kulkarni dirigió anteriormente el área de ingeniería de marca en Meta, desarrolló productos de IA en Checkr y ayudó a Healthify a crecer desde cero hasta atender a 20 millones de pacientes. Crux está formando un equipo de investigadores e ingenieros centrado en evaluar y mejorar agentes.

«Los equipos de ingeniería saben cómo crear agentes de IA y los expertos en la materia saben cómo se ve el éxito, pero a las empresas les falta el nexo entre ambos», afirmó Kulkarni. «Crux convierte la experiencia especializada en mejoras continuas de los agentes, para que los ingenieros puedan crear agentes verdaderamente alineados con el negocio».

La empresa informa de una tracción inicial con compañías de Fortune 500 y empresas de alto crecimiento de los sectores de la salud, la ciberseguridad, los servicios financieros y otras industrias complejas. En el anuncio, no identificó a esos clientes ni reveló ingresos, cifras de implementaciones o mejoras medidas.

El argumento empresarial a favor de la evaluación específica para cada compañía

Crux se presenta como el equivalente a un equipo dedicado a evaluar y mejorar agentes dentro de una empresa. Su argumento comercial es que el personal de producto e ingeniería debería dedicar menos tiempo a establecer procesos de revisión y diagnosticar fallas recurrentes, mientras que los expertos contarían con una forma práctica de influir en los sistemas que representan a su empresa.

La demanda de conocimientos especializados también se observa en la plataforma de iMerit para la capacitación y evaluación de IA dirigidas por expertos, donde organizar las opiniones de especialistas forma parte del proceso de mejora de modelos.

Para los inversionistas, la oportunidad está vinculada a lo que ocurre después de que los agentes pasan a producción. Crear un agente genera una nueva necesidad: medir continuamente su comportamiento, identificar en qué aspectos se queda corto y mejorarlo sin perder de vista los estándares de la organización.

La financiación de Crux ayudará a probar si ese proceso puede ofrecerse de manera fiable a clientes con distintas definiciones del éxito. Su propuesta es sencilla: el criterio de las personas más destacadas de una empresa debería formar parte de la evaluación de sus agentes, y esas evaluaciones deberían conducir a un mejor comportamiento en producción. Encontrará más información en Crux Labs.