Entrevistas

Rahul Nambiar, cofundador e CEO da Propensity Labs – Série de entrevistas

Antoine Tardif
Adicione Unite.AI às suas fontes preferidas no Google
Rahul Nambiar smiling in a green shirt against an outdoor urban background.
Pontos-chaveAdaptar os prompts a um modelo mais barato permitiu que ele igualasse um modelo premium…
Ver mais
  • Adaptar os prompts a um modelo mais barato permitiu que ele igualasse um modelo premium a 7% do custo.
  • Modelos mais baratos frequentemente falham por padrões comportamentais corrigíveis, e não por capacidade bruta insuficiente.
  • As equipes devem medir o custo por tarefa concluída com sucesso, e não apenas o custo por token.

Rahul Nambiar é cofundador e CEO da Propensity Labs. Antes, construiu uma infraestrutura de grande escala na AWS e, depois, foi para a Meta, onde liderou o trabalho em um inventário de dados de usuários na escala de exabytes, usando classificação por aprendizado de máquina. Hoje, seu trabalho se concentra em entender o comportamento dos modelos de IA e combinar o roteamento de modelos com a adaptação de instruções para reduzir custos e aumentar a confiabilidade de fluxos de trabalho com agentes.

Propensity Labs desenvolve sistemas que ajudam equipes a escolher e direcionar modelos de IA para suas cargas de trabalho específicas. Sua abordagem combina avaliações do comportamento dos modelos, adaptação automatizada de prompts e roteamento entre modelos, com o objetivo de ajudar os usuários a aproveitar melhor os modelos disponíveis sem precisar se tornar especialistas em cada um deles.

Sua carreira levou você da Meta, onde liderou o trabalho com tecnologias de privacidade em um projeto de inventário de dados na escala de exabytes, à AWS e, agora, ao cargo de CEO da Propensity Labs. Como essa experiência técnica moldou sua perspectiva sobre as limitações dos modelos de IA atuais e o potencial do roteamento especializado de instruções?

Na verdade, comecei na AWS e depois fui para a Meta. Uma coisa que aprendi ao construir sistemas de grande escala é que muitas vezes é possível obter ganhos expressivos entendendo e otimizando o comportamento dos componentes subjacentes, em vez de tratá-los como caixas-pretas intercambiáveis. O mesmo vale para os modelos de IA. Descobrimos que até modelos muito capazes têm peculiaridades comportamentais que podem ser compreendidas e contornadas, muitas vezes com melhorias surpreendentemente grandes no desempenho e nos custos.

Em seu experimento recente, você demonstrou que modelos menores, usados com roteamento, superaram modelos premium por uma fração do custo. Quais são os principais desafios de engenharia para implementar esse tipo de roteamento de modelos em ambientes de produção, em comparação com um teste de benchmark?

Ao adaptar os prompts a Luna e às suas limitações, conseguimos que ela igualasse o desempenho de Sol por 7% do custo, no complexo benchmark agêntico Tau3, da Sierra. O roteamento entre Luna, com adaptação, e Sol nos permitiu igualar o desempenho de Astra por 16% do custo dela.

Uma grande lição para nós foi que tanto o roteamento quanto a adaptação de prompts precisam ser muito específicos para cada carga de trabalho. Os benchmarks oferecem ambientes bem definidos e avaliadores que podem ser usados para estudar o desempenho de um modelo em qualquer tarefa e avaliar o resultado. Isso orienta como adaptar os prompts ao modelo e quando direcionar a tarefa para cada modelo.

Os fluxos de trabalho em produção não vêm organizados de forma tão clara. Há registros dos modelos concluindo tarefas, mas não existe uma maneira confiável de saber se eles realmente foram bem-sucedidos nem de definir o que seria um bom resultado. O que aprendemos a fazer é usar dados de uso existentes — sejam avaliações ou registros de produção — e reconstruir um ambiente de avaliação que nos permita testar diferentes modelos e adaptações na mesma carga de trabalho.

O interessante é que o roteamento e a adaptação precisam ser considerados em conjunto. Um modelo mais barato pode falhar em uma tarefa com os prompts que você já usa, mas ter sucesso depois que eles são adaptados ao comportamento desse modelo. Isso muda a escolha do modelo para o qual a tarefa deve ser direcionada desde o início.

Você menciona a adaptação de instruções a modelos específicos. Como distingue as instruções universais daquelas que precisam ser ajustadas especificamente aos pontos fortes e fracos de uma arquitetura de modelo?

Muitas instruções que parecem universais precisam ser adaptadas ao modelo. Aqui vai um exemplo simples: alucinações em respostas de um único turno. Estudamos dois modelos: DeepSeek V4 Pro e GPT-6 Luna. Ambos têm forte tendência a inventar informações quando não sabem a resposta. Algum aspecto do processo de treinamento faz com que relutem muito em se abster e dizer «Não sei». Esse comportamento é semelhante, mas as maneiras de mitigá-lo por meio de prompts são bem diferentes.

É possível levar o DeepSeek V4 Pro a se abster com a mesma frequência que os modelos Claude usando várias versões de «Tudo bem dizer que não sei». A mesma tática tem pouco efeito sobre Luna. Luna responde melhor quando se atribui um custo às respostas erradas. Algo como «Uma resposta errada vale -90 pontos, enquanto uma resposta certa vale apenas +10» faz com que ela se abstenha tanto quanto seu irmão mais velho, Sol. O comportamento é o mesmo, mas os meios para levar os dois modelos a evitá-lo são bem diferentes. Para adaptar instruções a um modelo específico, é preciso entender profundamente tanto o modelo quanto o fluxo de trabalho em que ele é usado.

À medida que as empresas adotam fluxos de trabalho com agentes, que evidências você vê de que o roteamento entre modelos especializados mais baratos é uma estratégia mais duradoura do que esperar que um único modelo de fronteira, cada vez mais capaz, dê conta de tudo?

Surge um novo modelo de fronteira mais ou menos a cada semana. Digamos que você escolha agora o maior e melhor modelo para todo o seu fluxo de trabalho. Em alguns meses, ou até semanas, provavelmente haverá modelos menores capazes de executar grande parte — se não a totalidade — desse fluxo. Ao mesmo tempo, provavelmente também haverá modelos maiores ou mais especializados com desempenho superior no seu fluxo de trabalho. Se você não alternar entre modelos nem encaminhar tarefas para modelos diferentes, estará deixando de aproveitar tanto o desempenho quanto a redução de custos.

Mas acompanhar tudo isso dá trabalho, e as pessoas não deveriam ter de se tornar especialistas em todos os diferentes modelos. É aí que acreditamos poder ajudar, garantindo que você sempre tenha o melhor modelo para sua carga de trabalho, pelo menor custo possível para o nível de desempenho desejado. Às vezes, isso significa simplesmente escolher o modelo mais capaz disponível para algumas partes da sua carga de trabalho; em outras, adaptar a maior parte dela para que possa ser processada por modelos muito mais baratos.

Ao gerenciar um sistema que encaminha tarefas para vários modelos, como vocês lidam com a consistência e a privacidade dos dados, especialmente quando essas tarefas envolvem informações confidenciais?

Funcionamos como uma camada entre os usuários e os provedores de modelos. Os usuários escolhem quais provedores querem usar e trazem suas próprias chaves de API. Escolhemos, entre esses provedores, o melhor modelo para as cargas de trabalho deles — ou para parte delas —, adaptamos essas cargas e as encaminhamos aos modelos adequados. Só usamos as avaliações ou os rastros que o cliente decide compartilhar, e não treinamos com os dados dele nem os armazenamos.

Você cofundou a Propensity Labs com Mana Azarm. Como vocês dividem o foco entre o lado da pesquisa sobre o comportamento dos modelos e o lado prático da engenharia de sistemas, voltado à criação desses pipelines de agentes?

Nossas habilidades se complementam bem nesse aspecto. Mana, nossa cientista-chefe e também professora, concentra-se mais na parte relacionada ao comportamento dos modelos, enquanto eu me dedico mais à engenharia de sistemas. Ou melhor, é assim que gostaríamos que fosse. A realidade é mais complicada, e cada um de nós acaba trabalhando no que for o principal obstáculo naquele momento.

Para CTOs que atualmente gastam muito com chamadas a APIs de modelos premium, qual é a oportunidade mais fácil de aproveitar para testar o encaminhamento entre modelos e a adaptação de instruções nos fluxos de trabalho que já utilizam?

Venham conversar conosco! Mas, falando sério, eu simplesmente tentaria executar um modelo menor, da geração mais recente, na sua carga de trabalho específica e veria o que ele consegue fazer. Suspeito que muita gente ainda esteja usando modelos maiores de gerações anteriores e, diante do ritmo de evolução dos modelos, ainda não tenha percebido que surgiram recentemente alternativas menores e mais baratas capazes de lidar com suas cargas de trabalho.

Quais são os equívocos mais comuns dos desenvolvedores sobre o que modelos mais baratos podem fazer quando recebem restrições ou orientações adequadas?

O equívoco mais comum é presumir que, quando um modelo mais barato falha, é simplesmente porque não tem capacidade suficiente. Acho útil analisar a fundo como e em que situações um modelo mais barato falha nos seus fluxos de trabalho. Parte dessas falhas se deve a padrões nos quais o modelo costuma incorrer e que, se forem identificados e evitados com a orientação adequada, podem permitir que ele tenha êxito no seu fluxo de trabalho. Outra parte corresponde a tarefas que o modelo mais barato simplesmente não tem capacidade suficiente para executar corretamente — situações em que é necessário recorrer a um modelo maior.

Seu trabalho envolve a interseção entre privacidade, escala e custo. Ao pensar nos próximos 12-18 meses de desenvolvimento da infraestrutura de IA, onde você vê a maior discrepância entre o que as empresas querem e o que o ecossistema atual de ferramentas oferece?

Conversando com profissionais que implantam modelos em produção, tenho percebido um sentimento comum de FOMO e, em certa medida, de cansaço por tentar acompanhar os novos modelos e suas capacidades crescentes. A maioria das tecnologias tende a ficar mais fácil de usar e implantar com o tempo. Os LLMs se tornaram mais difíceis de usar, com uma infinidade de modelos e configurações para escolher, como temperatura, esforço de raciocínio e armazenamento em cache. Acho que há muito valor em simplificar e abstrair esses aspectos para as equipes que usam modelos, permitindo que se concentrem no que querem fazer com eles, e não em como fazer isso.

Quais métricas uma equipe técnica deve priorizar ao começar a experimentar o encaminhamento entre vários modelos, para garantir que não esteja buscando apenas reduzir custos às custas da confiabilidade?

Eu começaria pelas taxas de sucesso e de falha das tarefas, pela latência e pelo custo por tarefa concluída com sucesso. O custo por token, por si só, não é muito útil se o modelo mais barato falha com mais frequência. Portanto, é preciso contabilizar o custo total de uma tarefa — incluindo novas tentativas e quaisquer classificadores ou modelos de decisão usados para fazer o encaminhamento.

A parte difícil é medir a confiabilidade. Observamos um padrão comum: as equipes têm dificuldade para migrar seus agentes de um modelo para outro, investem intensamente em avaliações durante alguns meses e, depois, descobrem que o processo de trocar de modelo ficou muito mais fácil. Eu recomendaria fortemente investir em avaliações sólidas para seus fluxos de trabalho o mais cedo possível e mantê-las atualizadas à medida que esses fluxos e a maneira como os usuários os utilizam mudarem.

Obrigado pela ótima entrevista. Leitores que queiram conhecer melhor o encaminhamento entre modelos, a adaptação de instruções e os métodos de avaliação para fluxos de trabalho de IA mais confiáveis e econômicos devem visitar a Propensity Labs.

Antoine é um líder visionário e sócio fundador da Unite.AI, movido por uma paixão inabalável por moldar e promover o futuro da IA e da robótica. Empreendedor que já fundou várias empresas, acredita que a IA transformará a sociedade tanto quanto a eletricidade e costuma falar com entusiasmo sobre o potencial das tecnologias disruptivas e da inteligência artificial geral (AGI).

Como futurista, dedica-se a explorar como essas inovações moldarão o nosso mundo. Além disso, é fundador da Securities.io, uma plataforma voltada ao investimento em tecnologias de ponta que estão redefinindo o futuro e transformando setores inteiros.