Interviews

Rahul Nambiar, medeoprichter en CEO van Propensity Labs – interviewreeks

Antoine Tardif
Voeg Unite.AI toe aan je voorkeursbronnen op Google
Rahul Nambiar smiling in a green shirt against an outdoor urban background.
Belangrijkste puntenDoor prompts aan te passen aan een goedkoper model kon het een premiummodel evenaren…
Meer weergeven
  • Door prompts aan te passen aan een goedkoper model kon het een premiummodel evenaren tegen 7% van de kosten.
  • Goedkopere modellen falen vaak door oplosbare gedragspatronen in plaats van door onvoldoende ruwe capaciteit.
  • Teams moeten de kosten per succesvol voltooide taak meten in plaats van alleen de kosten per token.

Rahul Nambiar is medeoprichter en CEO van Propensity Labs. Eerder bouwde hij op grote schaal infrastructuur bij AWS, voordat hij naar Meta overstapte. Daar leidde hij een project rond een inventaris van gebruikersgegevens op exabyteschaal, met classificatie op basis van machine learning. Tegenwoordig richt hij zich op het begrijpen van het gedrag van AI-modellen en op het combineren van modelroutering met het aanpassen van instructies om de kosten en betrouwbaarheid van agentgestuurde workflows te verbeteren.

Propensity Labs ontwikkelt systemen waarmee teams AI-modellen kunnen kiezen en inzetten voor hun specifieke workloads. De aanpak combineert evaluaties van modelgedrag, geautomatiseerde promptaanpassing en routering tussen modellen. Het doel is gebruikers meer uit de beschikbare modellen te laten halen, zonder dat ze experts in elk model hoeven te worden.

Je carrière bracht je van Meta, waar je leiding gaf aan privacytechnologie binnen een project voor een inventaris van gegevens op exabyteschaal, naar AWS en nu naar de functie van CEO van Propensity Labs. Hoe heeft die technische achtergrond je kijk gevormd op de beperkingen van de huidige AI-modellen en het potentieel van gespecialiseerde instructieroutering?

Ik ben eigenlijk begonnen bij AWS en daarna overgestapt naar Meta. Een van de dingen die ik heb geleerd bij het bouwen van grootschalige systemen, is dat je vaak enorme verbeteringen kunt realiseren door te begrijpen hoe de onderliggende componenten zich gedragen en die vervolgens te optimaliseren, in plaats van ze te behandelen als onderling uitwisselbare black boxes. Hetzelfde geldt voor AI-modellen. We hebben ontdekt dat zelfs zeer capabele modellen eigenaardigheden in hun gedrag vertonen die je kunt begrijpen en ondervangen, vaak met verrassend grote verbeteringen in prestaties en kosten.

In je recente experiment liet je zien dat kleinere modellen die via routering werden ingezet, beter presteerden dan premiummodellen, tegen een fractie van de kosten. Wat zijn de belangrijkste technische obstakels bij het implementeren van dit soort modelroutering in productieomgevingen, vergeleken met een benchmarktest?

Door prompts aan te passen aan Luna en de zwakke punten ervan, konden we het model op het complexe Tau3-agentbenchmark van Sierra even goed laten presteren als Sol, tegen 7% van de kosten. Door Luna met aangepaste prompts af te wisselen met Sol, konden we dezelfde prestaties behalen als Astra, tegen 16% van de kosten daarvan.

Een belangrijke les voor ons was dat zowel routering als promptaanpassing nauw moeten aansluiten op de workload. Benchmarks bieden overzichtelijke omgevingen en beoordelingssystemen waarmee je kunt onderzoeken hoe een model een bepaalde taak uitvoert en hoe goed het resultaat is. Dat geeft richting aan de manier waarop je prompts aan het model moet aanpassen en aan de keuze van het model waarnaar je doorstuurt.

Productieworkflows zijn niet zo overzichtelijk ingericht. Je hebt traces van modellen die taken uitvoeren, maar er is geen betrouwbare manier om vast te stellen of ze daadwerkelijk zijn geslaagd en hoe een goed resultaat eruitziet. Wat we hebben geleerd, is om bestaande gebruiksgegevens — evaluaties of traces uit productie — te gebruiken en daarmee een evaluatieopzet te reconstrueren. Zo kunnen we verschillende modellen en aanpassingen op dezelfde workload testen.

Het interessante is dat je routering en aanpassing samen moet bekijken. Met de bestaande prompts kan een goedkoper model een taak misschien niet uitvoeren, maar zodra je die aanpast aan het gedrag van dat model, lukt het mogelijk wel. Daardoor verandert ook de keuze van het model waarnaar je in eerste instantie moet doorsturen.

Je hebt het over het aanpassen van instructies aan specifieke modellen. Hoe maak je onderscheid tussen instructies die voor alle modellen gelden en instructies die specifiek moeten worden afgestemd op de sterke en zwakke punten van een bepaalde modelarchitectuur?

Veel instructies die universeel lijken, moeten toch aan het model worden aangepast. Een eenvoudig voorbeeld is hallucineren in reacties met één beurt. We hebben hier twee verschillende modellen onderzocht: DeepSeek V4 Pro en GPT-6 Luna. Beide hebben sterk de neiging dingen te verzinnen wanneer ze het antwoord niet weten. Door een bepaald aspect van hun trainingsproces zijn ze erg terughoudend om zich van een antwoord te onthouden en te zeggen: “Ik weet het niet.” Dit gedrag is vergelijkbaar, maar de manier waarop we het met prompts tegengaan, verschilt sterk.

Je kunt DeepSeek V4 Pro ertoe brengen zich net zo vaak van een antwoord te onthouden als Claude-modellen, door meerdere varianten te gebruiken van de instructie “Het is prima om te zeggen dat je het niet weet”. Diezelfde aanpak heeft nauwelijks effect op Luna. Luna reageert het best wanneer je het model een straf oplegt voor fouten. Een formulering als “Een fout antwoord levert -90 punten op, terwijl een goed antwoord slechts +10 punten oplevert” zorgt ervoor dat Luna zich even vaak van een antwoord onthoudt als zijn grotere broer Sol. Het gedrag is hetzelfde, maar je moet heel andere knoppen indrukken om de twee modellen ervan af te brengen. Om instructies aan een specifiek model aan te passen, moet je zowel het model als de workflow waarin het wordt ingezet grondig begrijpen.

Nu bedrijven overstappen op agentgestuurde workflows: welk bewijs zie je ervoor dat routering tussen goedkopere, gespecialiseerde modellen een duurzamere strategie is dan wachten tot één steeds capabeler frontiermodel alles aankan?

Er verschijnt ongeveer elke week een nieuw frontiermodel. Stel dat je op dit moment voor je hele workflow het grootste en beste model kiest. Over een paar maanden, of zelfs weken, zullen er waarschijnlijk kleinere modellen zijn die grote delen van je workflow aankunnen, zo niet de hele workflow. Tegelijkertijd zullen er waarschijnlijk ook grotere of meer gespecialiseerde modellen beschikbaar zijn die beter presteren binnen jouw workflow. Als je niet overstapt op andere modellen of daartussen routering toepast, laat je kansen op zowel betere prestaties als lagere kosten liggen.

Maar dit allemaal bijhouden is omslachtig, en mensen zouden geen expert hoeven te worden in al die verschillende modellen. Daar kunnen wij volgens ons bij helpen: we zorgen ervoor dat u altijd het beste model voor uw werklast krijgt, tegen de laagste kosten voor de prestaties die u wilt. Soms betekent dat simpelweg dat u voor delen van uw werklast het krachtigste beschikbare model kiest. Op andere momenten betekent het dat u het grootste deel van uw werklast zo aanpast dat veel goedkopere modellen die aankunnen.

Hoe zorgt u voor consistente gegevens en privacy wanneer u een systeem beheert dat taken over meerdere modellen verdeelt, vooral als die taken gevoelige informatie bevatten?

Wij vormen een tussenlaag tussen gebruikers en modelaanbieders. Gebruikers kiezen welke aanbieders ze willen gebruiken en brengen hun eigen API-sleutels mee. Voor hun volledige werklast of delen daarvan kiezen wij bij deze aanbieders het beste model, passen we de werklast aan en sturen we die naar de juiste modellen. We gebruiken alleen de evaluaties of tracegegevens die een klant met ons wil delen, en we trainen niet op hun gegevens en bewaren die ook niet.

U hebt samen met Mana Azarm Propensity Labs opgericht. Hoe verdelen jullie de aandacht tussen het onderzoeksintensieve deel, dat draait om het gedrag van modellen, en de praktische systeemengineeringkant van het bouwen van deze pipelines met AI-agenten?

Onze vaardigheden vullen elkaar op dit vlak goed aan. Mana, onze hoofdwetenschapper en ook hoogleraar, richt zich meer op het gedrag van modellen, terwijl ik me bezighoud met systeemengineering. Althans, zo zouden we het graag zien. De werkelijkheid is rommeliger: uiteindelijk werken we allebei aan wat op dat moment het grootste knelpunt is.

Wat is voor CTO’s die momenteel veel uitgeven aan premium API-aanroepen voor modellen de gemakkelijkste eerste stap om modelroutering en het aanpassen van instructies in hun bestaande workflows te testen?

Kom met ons praten! Maar serieus: ik zou gewoon een kleiner model uit de nieuwste generatie op uw specifieke werklast uitproberen en kijken wat het aankan. Ik vermoed dat veel mensen blijven vasthouden aan grotere modellen van eerdere generaties en, gezien het tempo waarin modellen verbeteren, nog niet hebben beseft dat er onlangs kleinere en goedkopere alternatieven zijn verschenen die hun werklast aankunnen.

Wat zijn de meest voorkomende misvattingen van ontwikkelaars over wat goed afgebakende of aangestuurde goedkopere modellen kunnen bereiken?

De meest voorkomende misvatting is dat een goedkoper model, als het faalt, gewoon niet krachtig genoeg is. Ik denk dat het nuttig is om grondig te onderzoeken hoe en op welke punten een goedkoper model in uw workflows faalt. Een deel van die fouten komt voort uit patronen waarin het model vaak vervalt. Als u die herkent en het model ervan weerhoudt, kan het mogelijk wel slagen in uw workflow. Een ander deel betreft taken waarvoor een goedkoper model simpelweg niet over de benodigde capaciteiten beschikt om ze goed uit te voeren. Daarvoor hebt u een groter model nodig.

Uw werk raakt aan het snijvlak van privacy, schaal en kosten. Waar ziet u de grootste kloof tussen wat bedrijven willen en wat het huidige ecosysteem van tools biedt, als u kijkt naar de komende 12-18 maanden van de ontwikkeling van AI-infrastructuur?

In gesprekken met professionals die modellen in productie inzetten, merk ik vaak dat ze bang zijn iets te missen (FOMO) en tot op zekere hoogte ook moe zijn van het bijhouden van nieuwe modellen en hun toenemende capaciteiten. De meeste technologieën worden na verloop van tijd gemakkelijker in gebruik en eenvoudiger in te zetten. Bij LLM’s is dat juist moeilijker geworden, door de overvloed aan modellen en instellingen waaruit je moet kiezen, zoals temperatuur, redeneerinspanning en caching. Ik denk dat teams die modellen gebruiken er veel baat bij hebben als we die complexiteit vereenvoudigen en abstraheren, zodat ze zich kunnen richten op wat ze met modellen willen bereiken in plaats van op hoe ze dat moeten doen.

Op welke meetwaarden moet een technisch team zich richten wanneer het begint te experimenteren met routering tussen meerdere modellen, om te voorkomen dat het alleen op kostenbesparing jaagt ten koste van de betrouwbaarheid?

Ik zou beginnen met het percentage geslaagde taken, het foutpercentage, de latentie en de kosten per succesvol voltooide taak. De kosten per token zijn op zichzelf niet bijzonder nuttig als het goedkopere model vaker faalt. Daarom moet u de volledige kosten van een taak in rekening brengen, inclusief nieuwe pogingen en eventuele classificatiemodellen of beslismodellen die u inzet voor de routering.

Betrouwbaarheid meten is het lastige deel. We zien vaak dat teams moeite hebben om hun agents van het ene model naar het andere over te zetten, vervolgens een paar maanden lang volop inzetten op evaluaties en daarna merken dat modellen wisselen veel gemakkelijker is geworden. Ik raad ten zeerste aan om zo vroeg mogelijk te investeren in grondige evaluaties voor uw workflows en die actueel te houden naarmate uw workflows veranderen en uw gebruikers ze op andere manieren gaan gebruiken.

Bedankt voor het fijne interview. Lezers die meer willen weten over modelroutering, het aanpassen van instructies en evaluatiemethoden voor betrouwbaardere en kosteneffectievere AI-workflows kunnen terecht bij Propensity Labs.

Antoine is een visionaire leider en medeoprichter van Unite.AI, gedreven door een onwankelbare passie om de toekomst van AI en robotica vorm te geven en vooruit te helpen. Als serieondernemer gelooft hij dat AI de samenleving net zo ingrijpend zal veranderen als elektriciteit. Hij spreekt vaak enthousiast over het potentieel van baanbrekende technologieën en artificiële algemene intelligentie (AGI).

Als futurist onderzoekt hij hoe deze innovaties onze wereld zullen vormgeven. Daarnaast is hij oprichter van Securities.io, een platform dat zich richt op investeringen in geavanceerde technologieën die de toekomst opnieuw definiëren en hele sectoren veranderen.