Intervjuer
Rahul Nambiar, medgrundare och vd för Propensity Labs – intervjuserien

Viktiga punkterGenom att anpassa prompter till en billigare modell kunde den matcha en premiummodell…
Visa mer
- Genom att anpassa prompter till en billigare modell kunde den matcha en premiummodell till 7 % av kostnaden.
- Billigare modeller misslyckas ofta på grund av åtgärdbara beteendemönster snarare än otillräcklig rå kapacitet.
- Team bör mäta kostnaden per framgångsrikt slutförd uppgift snarare än enbart kostnaden per token.
Rahul Nambiar är medgrundare och vd för Propensity Labs. Tidigare byggde han storskalig infrastruktur på AWS innan han började på Meta, där han ledde arbetet med en inventering av användardata i exabyteklassen med hjälp av klassificering med maskininlärning. Nu fokuserar han på att förstå hur AI-modeller beter sig och kombinera modellstyrning med anpassning av instruktioner för att förbättra kostnadseffektiviteten och tillförlitligheten i agentbaserade arbetsflöden.
Propensity Labs utvecklar system som hjälper team att välja AI-modeller och styra dem för specifika arbetsuppgifter. Företagets metod kombinerar utvärderingar av modellbeteende, automatisk anpassning av promptar och styrning mellan modeller. Målet är att hjälpa användare att få ut mer av de modeller som finns tillgängliga utan att behöva bli experter på var och en av dem.
Din karriär har tagit dig från Meta, där du ledde arbetet med integritetsteknik i ett projekt för inventering av data i exabyteklassen, till AWS och nu till rollen som vd för Propensity Labs. Hur har den tekniska bakgrunden format din syn på begränsningarna hos dagens AI-modeller och potentialen i specialiserad instruktionsstyrning?
Jag började faktiskt på AWS och gick sedan vidare till Meta. En sak jag har lärt mig när jag byggt storskaliga system är att man ofta kan åstadkomma stora förbättringar genom att förstå och optimera hur de underliggande komponenterna fungerar, i stället för att behandla dem som utbytbara svarta lådor. Detsamma gäller AI-modeller. Vi har upptäckt att även mycket kapabla modeller har egenheter i sitt beteende som går att förstå och hantera, ofta med förvånansvärt stora förbättringar av prestanda och kostnad.
I ett nyligen genomfört experiment visade du att mindre modeller som valts genom styrning presterade bättre än premiummodeller till en bråkdel av kostnaden. Vilka är de främsta tekniska hindren för att införa den här typen av modellstyrning i produktionsmiljöer, jämfört med i ett benchmarktest?
Genom att anpassa promptar till Luna och dess svagheter kunde vi få modellen att matcha Sols prestanda till 7 % av kostnaden i det komplexa agentbaserade benchmarktestet Tau3 från Sierra. Genom att styra mellan Luna med anpassning och Sol kunde vi matcha Astras prestanda till 16 % av dess kostnad.
En viktig insikt för oss var att både modellstyrning och anpassning av promptar måste vara mycket specifika för den aktuella arbetsuppgiften. Benchmarktester har tydligt avgränsade miljöer och bedömningsverktyg som gör det möjligt att studera hur en modell presterar på en viss uppgift och utvärdera hur väl den klarade den. Det ger vägledning om hur promptar behöver anpassas till modellen och när man ska styra till en viss modell.
Arbetsflöden i produktion är inte lika tydligt avgränsade. Man har spår av modeller som utför uppgifter, men saknar ett tillförlitligt sätt att avgöra om de faktiskt lyckades och vad ett bra resultat innebär. Det vi har lärt oss att göra är att utgå från befintliga användningsdata, antingen utvärderingar eller spår från produktion, och återskapa en utvärderingsmiljö där vi kan testa olika modeller och anpassningar på samma arbetsuppgift.
Det intressanta är att modellstyrning och anpassning måste övervägas tillsammans. En billigare modell kanske misslyckas med en uppgift med de promptar du redan använder, men lyckas när du väl har anpassat dem efter hur modellen fungerar. Det förändrar vilken modell du bör styra till från början.
Du nämner att instruktioner anpassas till specifika modeller. Hur avgör du vilka instruktioner som är universella och vilka som måste skräddarsys efter styrkorna och svagheterna hos en viss modellarkitektur?
Många instruktioner som verkar universella behöver anpassas till modellen. Här är ett enkelt exempel: hallucinationer i svar som ges i en enda tur. Vi studerade två olika modeller: DeepSeek V4 Pro och GPT-6 Luna. Båda har en stark tendens att hitta på saker när de inte vet svaret. Något i deras träningsprocess gör dem mycket obenägna att avstå från att svara och säga ”Jag vet inte”. Beteendet är likartat, men det skiljer sig mycket åt hur vi kan motverka det med promptar.
DeepSeek V4 Pro kan fås att avstå från att svara lika ofta som Claude-modellerna om man ger den många varianter av instruktionen ”Det är okej att säga att jag inte vet”. Samma metod har liten effekt på Luna. Luna reagerar bäst på att få ett poängavdrag för fel svar. Något i stil med ”Ett felaktigt svar ger −90 poäng, medan ett rätt svar bara ger +10” får den att avstå från att svara lika ofta som sin större syskonmodell, Sol. Beteendet är detsamma, men det krävs helt olika sätt att styra bort de två modellerna från det. För att anpassa instruktioner till en viss modell måste man ha djup förståelse för både modellen och det arbetsflöde där den används.
När företag går över till agentbaserade arbetsflöden, vilka belägg ser du för att styrning mellan billigare, specialiserade modeller är en mer hållbar strategi än att vänta på att en enda, allt mer kapabel spetsmodell ska klara allt?
Det kommer en ny spetsmodell ungefär varje vecka. Säg att du just nu väljer den största och bästa modellen för hela arbetsflödet. Om ett par månader, eller till och med veckor, finns det sannolikt mindre modeller som kan hantera stora delar av arbetsflödet, om inte hela. Samtidigt lär det också finnas större eller mer specialiserade modeller som presterar bättre i just ditt arbetsflöde. Om du varken byter modell eller styr mellan olika modeller går du miste om både prestanda och kostnadseffektivitet.
Men det är krångligt att hålla jämna steg med allt det här, och ingen ska behöva bli expert på alla olika modeller. Där tror vi att vi kan hjälpa till genom att se till att du alltid har den bästa modellen för din arbetsbelastning till lägsta möjliga kostnad för den prestanda du vill ha. Ibland innebär det helt enkelt att välja den mest kapabla modellen som finns för vissa delar av arbetsbelastningen, och ibland att anpassa större delen av arbetsbelastningen så att betydligt billigare modeller kan hantera den.
När ni hanterar ett system som fördelar uppgifter mellan flera modeller, hur säkerställer ni enhetlighet och integritet för data, särskilt när uppgifterna berör känslig information?
Vi fungerar som ett lager mellan användarna och modellleverantörerna. Användarna väljer vilka leverantörer de vill använda och tar med sina egna API-nycklar. Vi väljer den bästa modellen för deras arbetsbelastning, eller delar av den, bland dessa leverantörer, anpassar arbetsbelastningen och skickar den vidare till rätt modeller. Vi använder bara de utvärderingar eller spårningsdata som kunden väljer att dela med sig av, och vi tränar inte på eller sparar deras data.
Du grundade Propensity Labs tillsammans med Mana Azarm. Hur fördelar ni fokus mellan den forskningsintensiva delen av modellbeteende och det praktiska systemtekniska arbetet med att bygga de här agentbaserade arbetsflödena?
Våra kompetenser kompletterar varandra väl här. Mana, som är vår chefsforskare och även professor, fokuserar mer på modellernas beteende, medan jag fokuserar på systemtekniken. Eller rättare sagt, så vill vi att det ska vara. Verkligheten är rörigare, och det slutar med att vi båda arbetar med det som för tillfället är det största hindret.
För teknikchefer som just nu lägger stora summor på premium-API-anrop till modeller, vad är det enklaste sättet att börja testa modellroutning och anpassning av instruktioner i befintliga arbetsflöden?
Kom och prata med oss! Men allvarligt talat skulle jag helt enkelt prova att köra en mindre modell från den senaste generationen på just din arbetsbelastning och se vad den klarar av. Jag misstänker att många fortfarande använder större modeller från tidigare generationer och, med tanke på hur snabbt modellerna förbättras, inte har insett att det nyligen kommit mindre och billigare alternativ som kan hantera deras arbetsbelastning.
Vilka är de vanligaste missuppfattningarna bland utvecklare om vad billigare modeller kan åstadkomma när de begränsas eller vägleds på rätt sätt?
Den vanligaste missuppfattningen är att en billigare modell som misslyckas helt enkelt inte är tillräckligt kapabel. Jag tror att det är värdefullt att grundligt analysera hur och var en billigare modell misslyckas i era arbetsflöden. En del av misslyckandena beror på mönster som modellen tenderar att fastna i. Om man upptäcker dem och styr bort modellen från dem kan den kanske lyckas i arbetsflödet. En annan del gäller uppgifter som en billigare modell helt enkelt saknar den grundläggande förmågan att utföra korrekt. Då behöver man en större modell.
Ditt arbete berör skärningspunkten mellan integritet, skalbarhet och kostnad. När du blickar framåt mot de kommande 12–18 månaderna inom utvecklingen av AI-infrastruktur, var ser du den största klyftan mellan företagens önskemål och vad det nuvarande verktygsekosystemet erbjuder?
När jag pratar med personer som driftsätter modeller i produktionsmiljö ser jag ofta en rädsla för att missa något (FOMO) och, till viss del, en trötthet över att försöka hålla jämna steg med nya modeller och deras ökande förmågor. De flesta tekniker brukar bli enklare att använda och driftsätta med tiden. Stora språkmodeller har blivit svårare att hantera, med en uppsjö av modeller och inställningar att välja mellan (temperatur, beräkningsinsats för resonemang, cachelagring). Jag tror att det finns mycket att vinna på att förenkla och abstrahera bort sådant för team som använder modeller, så att de kan fokusera på vad de vill få modellerna att göra i stället för hur de ska få det gjort.
Vilka mätvärden bör ett tekniskt team prioritera när det börjar experimentera med routning mellan flera modeller, för att säkerställa att man inte bara jagar kostnadsbesparingar på bekostnad av tillförlitligheten?
Jag skulle börja med andelen uppgifter som slutförs framgångsrikt, felfrekvens, svarstid och kostnaden per slutförd uppgift. Kostnaden per token är inte särskilt användbar i sig om den billigare modellen misslyckas oftare. Därför bör man räkna in hela kostnaden för en uppgift, inklusive nya försök och eventuella klassificerare eller beslutsmodeller som används för routningen.
Det svåra är att mäta tillförlitlighet. Vi har sett ett vanligt mönster där team har svårt att migrera sina agenter från en modell till en annan, satsar fullt ut på utvärderingar under några månader och sedan märker att det blir mycket enklare att byta modell. Jag rekommenderar starkt att ni investerar i gedigna utvärderingar av era arbetsflöden så tidigt som möjligt och håller dem uppdaterade i takt med att arbetsflödena förändras och användarna börjar använda dem på nya sätt.
Tack för en utmärkt intervju! Läsare som vill utforska modellroutning, anpassning av instruktioner och utvärderingsmetoder för mer tillförlitliga och kostnadseffektiva AI-arbetsflöden kan besöka Propensity Labs.












