Entretiens
Rahul Nambiar, cofondateur et PDG de Propensity Labs – Série d’entretiens

Points clésAdapter les prompts à un modèle moins cher lui a permis d'égaler un modèle premium à 7…
Voir plus
- Adapter les prompts à un modèle moins cher lui a permis d'égaler un modèle premium à 7 % du coût.
- Les modèles moins chers échouent souvent à cause de schémas comportementaux corrigeables plutôt que d'une capacité brute insuffisante.
- Les équipes devraient mesurer le coût par tâche réussie plutôt que le coût par token seul.
Rahul Nambiar est cofondateur et PDG de Propensity Labs. Auparavant, il a créé une infrastructure à grande échelle chez AWS, puis a rejoint Meta, où il a dirigé un projet d’inventaire des données utilisateur à l’échelle de l’exaoctet, faisant appel à la classification par apprentissage automatique. Ses travaux portent désormais sur la compréhension du comportement des modèles d’IA et sur l’association du routage des modèles à l’adaptation des instructions, afin d’améliorer le coût et la fiabilité des flux de travail agentiques.
Propensity Labs développe des systèmes qui aident les équipes à choisir les modèles d’IA adaptés à leurs charges de travail et à les orienter. Son approche combine l’évaluation du comportement des modèles, l’adaptation automatisée des invites et le routage entre différents modèles, dans le but d’aider les utilisateurs à tirer davantage parti des modèles disponibles sans avoir à devenir experts de chacun d’eux.
Votre parcours vous a mené de Meta, où vous avez dirigé des travaux sur les technologies de protection de la vie privée dans le cadre d’un projet d’inventaire des données à l’échelle de l’exaoctet, à AWS, puis au poste de PDG de Propensity Labs. En quoi cette expérience technique a-t-elle façonné votre regard sur les limites des modèles d’IA actuels et sur le potentiel du routage des instructions spécialisées ?
J’ai en fait commencé chez AWS, avant de rejoindre Meta. En créant des systèmes à grande échelle, j’ai appris qu’on peut souvent obtenir des gains considérables en comprenant et en optimisant le comportement des composants sous-jacents, plutôt qu’en les considérant comme des boîtes noires interchangeables. Il en va de même pour les modèles d’IA. Nous avons constaté que même les modèles très performants présentent des particularités comportementales que l’on peut comprendre et contourner, ce qui permet souvent d’améliorer considérablement les performances et de réduire les coûts.
Dans votre récente expérience, vous avez montré que des modèles plus petits, sélectionnés par routage, surpassaient des modèles haut de gamme pour une fraction du coût. Quels sont les principaux obstacles techniques à la mise en œuvre de ce type de routage des modèles en environnement de production, par rapport à un test de référence ?
En adaptant les invites à Luna et à ses points faibles, nous avons réussi à égaler les performances de Sol pour 7 % du coût, dans le benchmark agentique complexe Tau3 de Sierra. Le routage entre Luna, avec adaptation, et Sol nous a permis d’égaler les performances d’Astra pour 16 % de son coût.
Nous avons notamment appris que le routage comme l’adaptation des invites doivent être très précisément adaptés à chaque charge de travail. Les benchmarks s’accompagnent d’environnements bien définis et de systèmes d’évaluation qui permettent d’étudier les performances d’un modèle pour une tâche donnée et d’évaluer ses résultats. Cela permet de déterminer comment adapter les invites au modèle et à quel moment orienter une tâche vers tel ou tel modèle.
Les flux de travail en production ne sont pas aussi bien définis. On dispose de traces des tâches accomplies par les modèles, mais d’aucun moyen fiable de savoir s’ils ont réellement réussi ni de déterminer ce qu’est un bon résultat. Nous avons appris à partir des données d’utilisation existantes, qu’il s’agisse d’évaluations ou de traces de production, pour reconstituer un dispositif d’évaluation permettant de tester différents modèles et adaptations sur une même charge de travail.
L’aspect intéressant, c’est qu’il faut envisager conjointement le routage et l’adaptation. Un modèle moins coûteux peut échouer sur une tâche avec les invites existantes, mais réussir si on les adapte à son comportement. Cela change le modèle vers lequel il faut orienter la tâche dès le départ.
Vous évoquez l’adaptation des instructions à des modèles précis. Comment distinguez-vous les instructions universelles de celles qui doivent être spécialement adaptées aux forces et aux faiblesses d’une architecture de modèle donnée ?
De nombreuses instructions qui semblent universelles doivent être adaptées au modèle. Prenons un exemple simple : les hallucinations dans les réponses en un seul tour. Nous avons étudié ici deux modèles différents : DeepSeek V4 Pro et GPT-6 Luna. Tous deux ont fortement tendance à inventer des éléments lorsqu’ils ne connaissent pas la réponse. Un aspect de leur processus d’entraînement les rend très réticents à s’abstenir de répondre et à dire « Je ne sais pas ». Leur comportement est similaire, mais les méthodes pour y remédier au moyen d’invites sont très différentes.
On peut amener DeepSeek V4 Pro à s’abstenir aussi souvent que les modèles Claude en multipliant les variantes de la consigne « Vous pouvez tout à fait dire “Je ne sais pas” ». Cette méthode a peu d’effet sur Luna. Luna réagit mieux lorsqu’on lui attribue un coût en cas d’erreur. Une consigne du type « Une mauvaise réponse vaut -90 points, tandis qu’une bonne réponse ne rapporte que +10 points » l’amène à s’abstenir autant que son grand frère, Sol. Le comportement est le même, mais les leviers à actionner pour inciter ces deux modèles à y renoncer sont très différents. Pour adapter les instructions à un modèle précis, il faut bien comprendre à la fois le modèle et le flux de travail dans lequel il est déployé.
À mesure que les entreprises adoptent des flux de travail agentiques, quels éléments vous font penser que le routage entre des modèles spécialisés moins coûteux constitue une stratégie plus durable que d’attendre qu’un seul modèle de pointe, toujours plus performant, puisse tout prendre en charge ?
Un nouveau modèle de pointe sort toutes les semaines, ou presque. Imaginons que vous choisissiez aujourd’hui le modèle le plus grand et le plus performant pour l’ensemble de votre flux de travail. Dans quelques mois, voire quelques semaines, des modèles plus petits pourront probablement prendre en charge une grande partie, sinon la totalité, de ce flux de travail. Parallèlement, des modèles plus grands ou plus spécialisés, probablement plus performants pour votre flux de travail, seront aussi disponibles. Si vous ne changez pas de modèle ou ne passez pas de l’un à l’autre par routage, vous vous privez à la fois de performances et d’économies.
Mais suivre toutes ces évolutions est fastidieux, et personne ne devrait avoir à devenir expert de tous les modèles. C’est là que nous pensons pouvoir aider : en veillant à ce que vous disposiez toujours du meilleur modèle pour votre charge de travail, au coût le plus bas possible pour le niveau de performance souhaité. Parfois, il suffit de choisir le modèle le plus performant du marché pour certaines tâches de votre flux de travail ; dans d’autres cas, il s’agit d’adapter la majeure partie de ce flux de travail afin que des modèles beaucoup moins coûteux puissent s’en charger.
Lorsque vous gérez un système qui répartit les tâches entre plusieurs modèles, comment assurez-vous la cohérence des données et le respect de la vie privée, surtout lorsque ces tâches portent sur des informations sensibles ?
Nous faisons office d’intermédiaire entre les utilisateurs et les fournisseurs de modèles. Les utilisateurs choisissent les fournisseurs auxquels ils souhaitent faire appel et utilisent leurs propres clés API. Nous sélectionnons, parmi les modèles de ces fournisseurs, celui qui convient le mieux à leurs charges de travail — ou à certaines parties de celles-ci —, adaptons leur charge de travail, puis la transmettons aux modèles appropriés. Nous n’utilisons que les évaluations ou les traces qu’un client choisit de partager, et nous n’entraînons pas nos modèles sur ses données ni ne les conservons.
Vous avez cofondé Propensity Labs avec Mana Azarm. Comment vous répartissez-vous le travail entre la recherche approfondie sur le comportement des modèles et l’ingénierie système concrète nécessaire à la création de ces pipelines reposant sur des agents ?
Nos compétences se complètent bien dans ce domaine. Mana, qui est notre scientifique en chef et également professeur, se concentre davantage sur le comportement des modèles, tandis que je m’occupe plutôt de l’ingénierie système. Ou plutôt, c’est ainsi que nous aimerions que les choses se passent. Dans la réalité, c’est plus compliqué : nous finissons tous les deux par nous consacrer au principal obstacle du moment.
Pour les directeurs techniques qui dépensent actuellement beaucoup en appels d’API de modèles haut de gamme, quels sont les « gains faciles » à réaliser pour tester le routage des modèles et l’adaptation des consignes dans leurs flux de travail actuels ?
Venez en discuter avec nous ! Plus sérieusement, je commencerais par tester un modèle plus petit, de dernière génération, sur votre charge de travail précise, afin de voir ce qu’il peut prendre en charge. Je pense que beaucoup de gens s’en tiennent à de grands modèles des générations précédentes et qu’au rythme des progrès, ils n’ont tout simplement pas encore réalisé que des modèles plus petits et moins coûteux, capables de traiter leurs charges de travail, sont sortis récemment.
Quelles sont les idées reçues les plus courantes des développeurs sur les capacités des modèles moins coûteux lorsqu’ils sont correctement encadrés ou guidés ?
L’idée reçue la plus courante consiste à supposer qu’un modèle moins coûteux qui échoue n’est tout simplement pas assez performant. Je pense qu’il est utile d’analyser en profondeur comment et où un modèle moins coûteux échoue dans vos flux de travail. Une partie de ces échecs tient à des schémas dans lesquels le modèle a tendance à tomber ; si on les repère et qu’on l’aide à les éviter, il pourrait réussir dans votre flux de travail. Une autre partie concerne des tâches que le modèle moins coûteux n’a tout simplement pas les capacités brutes d’accomplir correctement : dans ces cas, il faut un modèle plus puissant.
Votre travail se situe au croisement de la protection de la vie privée, de la capacité à monter en charge et des coûts. À l’horizon des 12 à 18 prochains mois, où voyez-vous le plus grand décalage entre les attentes des entreprises et ce que propose actuellement l’écosystème d’outils pour le développement des infrastructures d’IA ?
D’après mes échanges avec des professionnels qui déploient des modèles en production, je constate souvent la peur de passer à côté des nouveautés (FOMO) et, dans une certaine mesure, la lassitude de devoir suivre l’arrivée de nouveaux modèles et l’augmentation de leurs capacités. La plupart des technologies deviennent plus faciles à utiliser et à déployer avec le temps. Les grands modèles de langage, eux, sont devenus plus difficiles à maîtriser, avec une multitude de modèles et de paramètres à choisir (température, niveau de raisonnement, mise en cache). Je pense qu’il serait très utile de simplifier ces modèles et d’en abstraire la complexité pour les équipes qui les utilisent, afin qu’elles puissent se concentrer sur ce qu’elles veulent accomplir grâce aux modèles, plutôt que sur la manière d’y parvenir.
Quels indicateurs une équipe technique devrait-elle privilégier lorsqu’elle commence à expérimenter le routage entre plusieurs modèles, afin de ne pas rechercher des économies au détriment de la fiabilité ?
Je commencerais par le taux de réussite des tâches, le taux d’échec, la latence et le coût par tâche menée à bien. Le coût par jeton n’est pas très utile à lui seul si le modèle moins coûteux échoue plus souvent. Il faut donc calculer le coût total d’une tâche, y compris les nouvelles tentatives et les éventuels classificateurs ou modèles de décision utilisés pour le routage.
La difficulté est de mesurer la fiabilité. Nous avons souvent observé que les équipes peinent à faire migrer leurs agents d’un modèle à un autre, puis investissent massivement dans les évaluations pendant quelques mois, avant de constater qu’il est devenu beaucoup plus facile de changer de modèle. Je recommande vivement d’investir dans des évaluations solides pour vos flux de travail le plus tôt possible et de les tenir à jour à mesure que ces flux évoluent et que vos utilisateurs en font un usage différent.
Merci pour cet entretien passionnant. Les lecteurs qui souhaitent en savoir plus sur le routage des modèles, l’adaptation des consignes et les méthodes d’évaluation permettant de rendre les flux de travail d’IA plus fiables et plus économiques peuvent consulter Propensity Labs.












