Entrevistas

Rahul Nambiar, cofundador y director ejecutivo de Propensity Labs – Serie de entrevistas

Antoine Tardif
Añade Unite.AI a tus fuentes preferidas en Google
Rahul Nambiar smiling in a green shirt against an outdoor urban background.
Puntos claveAdaptar las indicaciones a un modelo más económico le permitió igualar a un modelo…
Ver más
  • Adaptar las indicaciones a un modelo más económico le permitió igualar a un modelo premium al 7% del costo.
  • Los modelos más económicos a menudo fallan por patrones de comportamiento corregibles en lugar de por una capacidad bruta insuficiente.
  • Los equipos deberían medir el costo por tarea completada con éxito en lugar del costo por token únicamente.

Rahul Nambiar es cofundador y director ejecutivo de Propensity Labs. Anteriormente, desarrolló infraestructura a gran escala en AWS antes de incorporarse a Meta, donde dirigió el trabajo en un inventario de datos de usuarios a escala de exabytes mediante clasificación con aprendizaje automático. Actualmente, su trabajo se centra en comprender cómo se comportan los modelos de IA y combinar el enrutamiento de modelos con la adaptación de instrucciones para mejorar los costos y la fiabilidad de los flujos de trabajo con agentes.

Propensity Labs desarrolla sistemas que ayudan a los equipos a elegir y dirigir modelos de IA según sus cargas de trabajo específicas. Su enfoque combina evaluaciones del comportamiento de los modelos, adaptación automatizada de instrucciones y enrutamiento entre modelos, con el objetivo de ayudar a los usuarios a sacar más partido de los modelos disponibles sin tener que convertirse en expertos en cada uno.

Tu trayectoria profesional te ha llevado de Meta, donde dirigiste el desarrollo de tecnología de privacidad para un proyecto de inventario de datos a escala de exabytes, a AWS y, ahora, a ocupar el cargo de director ejecutivo de Propensity Labs. ¿Cómo ha influido esa formación técnica en tu perspectiva sobre las limitaciones de los modelos de IA actuales y el potencial del enrutamiento de instrucciones especializado?

En realidad, empecé en AWS y después me incorporé a Meta. Una cosa que he aprendido al desarrollar sistemas a gran escala es que, a menudo, se pueden lograr mejoras enormes si se comprende y optimiza el comportamiento de los componentes subyacentes, en lugar de tratarlos como cajas negras intercambiables. Lo mismo ocurre con los modelos de IA. Hemos descubierto que incluso los modelos muy capaces presentan particularidades de comportamiento que se pueden comprender y sortear, a menudo con mejoras sorprendentemente grandes en rendimiento y costos.

En tu experimento reciente, demostraste que los modelos más pequeños con enrutamiento superaban a los modelos prémium por una fracción del costo. ¿Cuáles son los principales obstáculos de ingeniería para implementar este tipo de enrutamiento de modelos en entornos de producción, en comparación con una prueba de referencia?

Al adaptar las instrucciones a Luna y sus puntos débiles, logramos que igualara el rendimiento de Sol por el 7 % del costo, en la compleja prueba de referencia agéntica Tau3 de Sierra. El enrutamiento entre Luna con adaptación y Sol nos permitió igualar el rendimiento de Astra por el 16 % de su costo.

Una de las principales cosas que aprendimos es que tanto el enrutamiento como la adaptación de instrucciones deben ajustarse específicamente a cada carga de trabajo. Las pruebas de referencia ofrecen entornos bien definidos y evaluadores que permiten estudiar el rendimiento de un modelo en una tarea determinada y valorar qué tan bien la realizó. Esto permite saber cómo adaptar las instrucciones al modelo y cuándo dirigir cada tarea a uno u otro modelo.

Los flujos de trabajo en producción no vienen tan bien preparados. Se dispone de trazas de modelos que completan tareas, pero no hay una forma fiable de determinar si realmente tuvieron éxito ni qué se considera un buen resultado. Lo que hemos aprendido a hacer es tomar datos de uso existentes, ya sean evaluaciones o trazas de producción, y reconstruir un entorno de evaluación que nos permita probar distintos modelos y adaptaciones con la misma carga de trabajo.

Lo interesante es que el enrutamiento y la adaptación deben considerarse en conjunto. Puede que un modelo más barato no logre completar una tarea con las instrucciones que ya utilizas, pero sí lo consiga una vez que las adaptes a su comportamiento. Eso cambia la elección del modelo al que deberías dirigir la tarea desde el principio.

Mencionas la adaptación de instrucciones a modelos específicos. ¿Cómo distingues cuáles son universales y cuáles deben ajustarse de manera particular a las fortalezas y debilidades de una arquitectura de modelo específica?

Muchas instrucciones que parecen universales deben adaptarse al modelo. Aquí va un ejemplo sencillo: las alucinaciones en respuestas de un solo turno. Estudiamos dos modelos distintos: DeepSeek V4 Pro y GPT-6 Luna. Ambos tienden mucho a inventar cosas cuando no saben una respuesta. Algún aspecto de su proceso de entrenamiento hace que les cueste mucho abstenerse y decir «No lo sé». El comportamiento es parecido, pero las instrucciones que usamos para mitigarlo son muy distintas.

Se puede inducir a DeepSeek V4 Pro a abstenerse con la misma frecuencia que los modelos Claude si se le presentan muchas variantes de «Está bien decir “No lo sé”». La misma táctica tiene poco efecto en Luna. Luna responde mejor si se le asigna un costo por equivocarse. Algo como «Una respuesta incorrecta resta 90 puntos, mientras que una correcta solo suma 10» hace que se abstenga tanto como su hermano mayor, Sol. El comportamiento es el mismo, pero hay que recurrir a estrategias muy distintas para que los dos modelos lo eviten. Para adaptar instrucciones a un modelo específico, es necesario comprender a fondo tanto el modelo como el flujo de trabajo en el que se implementa.

A medida que las empresas adoptan flujos de trabajo con agentes, ¿qué indicios observas de que enrutar tareas entre modelos más baratos y especializados es una estrategia más duradera que esperar a que un único modelo de vanguardia, cada vez más capaz, pueda encargarse de todo?

Aparece un nuevo modelo de vanguardia más o menos cada semana. Supongamos que ahora eliges el modelo más grande y avanzado para todo tu flujo de trabajo. En un par de meses, o incluso en unas semanas, probablemente habrá modelos más pequeños capaces de realizar gran parte de ese trabajo, si no todo. Al mismo tiempo, es probable que también haya modelos más grandes o especializados que ofrezcan un mejor rendimiento en tu flujo de trabajo. Si no cambias de modelo ni distribuyes las tareas entre varios, estarás dejando sobre la mesa tanto rendimiento como ahorro en costos.

Pero seguir el ritmo de todo esto es complicado, y la gente no debería tener que convertirse en experta en todos los modelos distintos. Creemos que podemos ayudar garantizando que siempre tengas el mejor modelo para tu carga de trabajo, al menor costo posible para el nivel de rendimiento que deseas. A veces, eso significa elegir el modelo más capaz disponible para algunas partes de tu carga de trabajo; otras veces, adaptar la mayor parte de ella para que pueda gestionarse con modelos mucho más económicos.

Al gestionar un sistema que distribuye tareas entre varios modelos, ¿cómo se ocupan de la coherencia y la privacidad de los datos, especialmente cuando esas tareas implican información confidencial?

Funcionamos como una capa entre los usuarios y los proveedores de modelos. Los usuarios eligen qué proveedores quieren utilizar y aportan sus propias claves de API. Seleccionamos, entre esos proveedores, el mejor modelo para sus cargas de trabajo o para una parte de ellas, las adaptamos y las enviamos a los modelos adecuados. Solo utilizamos las evaluaciones o trazas que el cliente decide compartir, y no entrenamos con sus datos ni los conservamos.

Cofundaste Propensity Labs con Mana Azarm. ¿Cómo se reparten el trabajo entre el aspecto de la investigación sobre el comportamiento de los modelos y el aspecto práctico de la ingeniería de sistemas necesaria para crear estas canalizaciones de agentes?

En este ámbito, nuestras habilidades se complementan bien. Mana, nuestro científico jefe y también profesor, se centra más en el comportamiento de los modelos, mientras que yo me ocupo de la ingeniería de sistemas. O, mejor dicho, así es como queremos que sea. La realidad es más complicada y cada uno acaba trabajando en lo que constituye el principal obstáculo en cada momento.

Para los directores de tecnología que actualmente gastan mucho en llamadas a las API de modelos prémium, ¿cuál sería la oportunidad más sencilla para probar la distribución entre modelos y la adaptación de instrucciones en sus flujos de trabajo actuales?

¡Vengan a hablar con nosotros! Pero, en serio, simplemente probaría un modelo más pequeño, de la generación más reciente, con una carga de trabajo específica y vería qué puede hacer. Sospecho que muchas personas siguen usando modelos más grandes de generaciones anteriores y que, dado el ritmo al que mejoran los modelos, aún no se han dado cuenta de que hace poco aparecieron alternativas más pequeñas y económicas que pueden gestionar sus cargas de trabajo.

¿Cuáles son las ideas equivocadas más comunes que tienen los desarrolladores sobre lo que pueden lograr los modelos más económicos cuando se les imponen las restricciones adecuadas o se los guía correctamente?

La idea equivocada más común es suponer que, si un modelo más económico falla, es simplemente porque no tiene suficiente capacidad. Creo que es útil analizar a fondo cómo y en qué aspectos falla un modelo más económico en los flujos de trabajo. Algunos de esos fallos se deben a patrones en los que el modelo suele caer y que, si se identifican y se le ayuda a evitar, podrían permitirle completar con éxito la tarea. Otros se deben a tareas para las que el modelo más económico sencillamente carece de las capacidades necesarias para ejecutarlas correctamente; en esos casos, hace falta un modelo más grande.

Tu trabajo aborda la intersección entre privacidad, escala y costo. Si pensamos en los próximos 12-18 meses de desarrollo de la infraestructura de IA, ¿dónde ves la mayor brecha entre lo que quieren las empresas y lo que ofrece el ecosistema actual de herramientas?

Al hablar con profesionales que implementan modelos en producción, percibo con frecuencia cierto miedo a quedarse fuera (FOMO) y, en cierta medida, agotamiento por tener que seguir el ritmo de los nuevos modelos y sus capacidades crecientes. La mayoría de las tecnologías se vuelven más fáciles de usar e implementar con el tiempo. Los modelos de lenguaje grandes (LLM) se han vuelto más difíciles de manejar, debido a la enorme cantidad de modelos y ajustes disponibles, como la temperatura, el esfuerzo de razonamiento y el almacenamiento en caché. Creo que es muy valioso simplificarlos y abstraerlos para los equipos que utilizan modelos, de modo que puedan centrarse en lo que quieren conseguir con ellos y no en cómo hacerlo.

¿Qué métricas debería priorizar un equipo técnico al empezar a experimentar con la distribución entre varios modelos para asegurarse de que no se limite a buscar ahorros de costos a expensas de la fiabilidad?

Empezaría por las tasas de éxito y de fallo de las tareas, la latencia y el costo por tarea completada con éxito. El costo por token por sí solo no es particularmente útil si el modelo más económico falla con mayor frecuencia; por eso, conviene contabilizar el costo total de una tarea, incluidos los reintentos y cualquier clasificador o modelo de decisión que se utilice para distribuirla.

La parte difícil es medir la fiabilidad. Hemos observado un patrón común: los equipos tienen dificultades para migrar sus agentes de un modelo a otro, se vuelcan por completo en las evaluaciones durante unos meses y, después, descubren que cambiar de modelo resulta mucho más fácil. Recomendaría encarecidamente invertir cuanto antes en evaluaciones sólidas para sus flujos de trabajo y mantenerlas actualizadas a medida que estos evolucionan y cambia la forma en que los usuarios los utilizan.

Gracias por la excelente entrevista. Los lectores que quieran explorar la distribución entre modelos, la adaptación de instrucciones y los métodos de evaluación para conseguir flujos de trabajo de IA más fiables y rentables pueden visitar Propensity Labs.

Antoine es un líder visionario y socio fundador de Unite.AI, impulsado por una pasión inquebrantable por dar forma e impulsar el futuro de la IA y la robótica. Como emprendedor que ha fundado varias empresas, cree que la IA transformará la sociedad tanto como la electricidad y suele hablar con entusiasmo del potencial de las tecnologías disruptivas y de la inteligencia artificial general (AGI).

Como futurista, se dedica a explorar cómo estas innovaciones darán forma a nuestro mundo. Además, es el fundador de Securities.io, una plataforma centrada en invertir en tecnologías de vanguardia que están redefiniendo el futuro y transformando sectores enteros.