Intervjuer
Rahul Nambiar, medgründer og administrerende direktør i Propensity Labs – intervjuserie

Viktige punkterVed å tilpasse ledetekster til en billigere modell kunne den matche en premiummodell…
Vis mer
- Ved å tilpasse ledetekster til en billigere modell kunne den matche en premiummodell til 7 % av kostnaden.
- Billigere modeller feiler ofte på grunn av fiksbare atferdsmønstre snarere enn utilstrekkelig rå kapasitet.
- Team bør måle kostnad per vellykket fullført oppgave i stedet for kostnad per token alene.
Rahul Nambiar er medgründer og administrerende direktør i Propensity Labs. Tidligere bygget han storskala infrastruktur hos AWS før han gikk til Meta, der han ledet arbeidet med en oversikt over brukerdata i eksabyteskala ved hjelp av maskinlæringsbasert klassifisering. Nå fokuserer arbeidet hans på å forstå hvordan KI-modeller oppfører seg, og på å kombinere ruting mellom modeller med tilpasning av instruksjoner for å gjøre agentbaserte arbeidsflyter rimeligere og mer pålitelige.
Propensity Labs utvikler systemer som hjelper team med å velge KI-modeller og styre dem mot bestemte arbeidsoppgaver. Tilnærmingen kombinerer evaluering av modellenes atferd, automatisk tilpasning av prompter og ruting mellom modeller. Målet er å hjelpe brukerne med å få mer ut av modellene som er tilgjengelige, uten at de må bli eksperter på hver enkelt modell.
Karrieren din har tatt deg fra Meta, der du ledet arbeidet med personvernteknologi i et prosjekt for en oversikt over data i eksabyteskala, via AWS og nå til rollen som administrerende direktør i Propensity Labs. Hvordan har den tekniske bakgrunnen din formet synet ditt på begrensningene ved dagens KI-modeller og potensialet i spesialisert ruting av instruksjoner?
Jeg begynte faktisk hos AWS og gikk deretter til Meta. Noe jeg har lært av å bygge storskala systemer, er at man ofte kan oppnå store gevinster ved å forstå og optimalisere hvordan de underliggende komponentene oppfører seg, i stedet for å behandle dem som svarte bokser som kan byttes ut med hverandre. Det samme gjelder KI-modeller. Vi har sett at selv svært kapable modeller har særegenheter i atferden sin som man kan forstå og ta høyde for, ofte med overraskende store forbedringer i ytelse og kostnader.
I det nylige eksperimentet ditt viste du at mindre modeller som ble valgt gjennom ruting, presterte bedre enn premiummodeller til en brøkdel av kostnaden. Hva er de største tekniske hindringene for å implementere denne typen ruting mellom modeller i produksjonsmiljøer, sammenlignet med i en referansetest?
Ved å tilpasse promptene til Luna og svakhetene dens klarte vi å få den til å matche Sols ytelse til 7 % av kostnaden i den komplekse, agentbaserte Tau3-referansetesten fra Sierra. Ved å rute mellom Luna med tilpasning og Sol kunne vi matche Astras ytelse til 16 % av kostnaden for den.
En viktig lærdom for oss var at både ruting og prompttilpasning må være svært spesifikke for den aktuelle arbeidsoppgaven. Referansetester har ryddige miljøer og vurderingssystemer som kan brukes til å undersøke hvordan en modell presterer på en bestemt oppgave, og evaluere hvor godt den utførte den. Dette gir grunnlag for å avgjøre hvordan promptene bør tilpasses modellen, og når man bør rute til hvilken modell.
Arbeidsflyter i produksjon er ikke like ryddig tilrettelagt. Man har logger over modeller som utfører oppgaver, men ingen pålitelig måte å fastslå om de faktisk lyktes, eller hva som regnes som et godt resultat. Det vi har lært å gjøre, er å ta eksisterende bruksdata, enten fra evalueringer eller produksjonslogger, og rekonstruere et evalueringsoppsett som gjør det mulig å teste ulike modeller og tilpasninger på den samme arbeidsoppgaven.
Det interessante er at ruting og tilpasning må vurderes samlet. En rimeligere modell kan mislykkes med en oppgave når den bruker de eksisterende promptene dine, men lykkes når du først har tilpasset promptene til hvordan modellen oppfører seg. Det endrer hvilken modell du bør rute til i utgangspunktet.
Du nevner at instruksjoner tilpasses bestemte modeller. Hvordan skiller du mellom instruksjoner som gjelder generelt, og dem som må skreddersys til styrkene og svakhetene ved en bestemt modellarkitektur?
Mange instruksjoner som virker universelle, må tilpasses modellen. Her er et enkelt eksempel: hallusinering i svar med én enkelt tur. Vi undersøkte to ulike modeller: DeepSeek V4 Pro og GPT-6 Luna. Begge har en sterk tendens til å finne på ting når de ikke vet svaret. Et eller annet ved treningsprosessen gjør dem svært tilbakeholdne med å avstå fra å svare og si «Jeg vet ikke». Atferden er lik, men det er svært forskjellig hvordan vi kan motvirke den med prompter.
DeepSeek V4 Pro kan fås til å avstå fra å svare like ofte som Claude-modellene hvis man gir den mange varianter av instruksjonen «Det er greit å si at jeg ikke vet». Den samme taktikken har liten effekt på Luna. Luna responderer best når den får en kostnad for å ta feil. En instruksjon av typen «Et feil svar gir −90 poeng, mens et riktig svar bare gir +10» får den til å avstå fra å svare like ofte som den større søstermodellen Sol. Atferden er den samme, men virkemidlene for å få de to modellene til å endre den er svært forskjellige. For å tilpasse instruksjoner til en bestemt modell må man ha inngående forståelse av både modellen og arbeidsflyten den brukes i.
Etter hvert som selskaper tar i bruk agentbaserte arbeidsflyter, hvilke tegn ser du på at ruting mellom rimeligere, spesialiserte modeller er en mer langsiktig strategi enn å vente på at én stadig mer kapabel, ledende modell skal håndtere alt?
Det kommer en ny ledende modell omtrent hver uke. La oss si at du velger den største og beste modellen akkurat nå for hele arbeidsflyten din. Om et par måneder, eller kanskje bare noen uker, vil det sannsynligvis finnes mindre modeller som kan håndtere store deler av arbeidsflyten din, om ikke alt. Samtidig vil det sannsynligvis også finnes større eller mer spesialiserte modeller som presterer bedre i arbeidsflyten din. Hvis du ikke bytter mellom modeller eller ruter oppgaver til ulike modeller, går du glipp av muligheter både til å forbedre ytelsen og redusere kostnadene.
Det er imidlertid krevende å holde tritt med alt dette, og folk skal ikke måtte bli eksperter på alle de ulike modellene. Her tror vi at vi kan hjelpe ved å sørge for at du alltid har den beste modellen for arbeidsbelastningen din, til lavest mulig kostnad for den ytelsen du ønsker. Noen ganger handler det om å velge den mest kapable modellen som finnes, for deler av arbeidsbelastningen din. Andre ganger handler det om å tilpasse størstedelen av arbeidsbelastningen slik at langt billigere modeller kan håndtere den.
Når du administrerer et system som fordeler oppgaver på tvers av flere modeller, hvordan håndterer du datakonsistens og personvern, særlig når oppgavene omfatter sensitive opplysninger?
Vi fungerer som et mellomlag mellom brukere og modelltilbydere. Brukerne velger hvilke tilbydere de vil bruke, og tar med sine egne API-nøkler. Vi velger den beste modellen for arbeidsbelastningen deres, eller deler av den, blant disse tilbyderne, tilpasser arbeidsbelastningen og sender den videre til de riktige modellene. Vi bruker bare evalueringer eller sporingsdata som kunden velger å dele, og vi trener ikke på eller lagrer dataene deres.
Du grunnla Propensity Labs sammen med Mana Azarm. Hvordan fordeler dere innsatsen mellom den forskningsintensive siden av modellatferd og den praktiske systemutviklingen bak disse agentbaserte arbeidsflytene?
Kompetansen vår utfyller hverandre godt på dette området. Mana, som er sjefsforskeren vår og også professor, konsentrerer seg mer om modellatferd, mens jeg fokuserer på systemutvikling. Eller rettere sagt: Det er slik vi ønsker at det skal være. Virkeligheten er mer rotete, og vi ender begge opp med å jobbe med det som er den største hindringen der og da.
For teknologidirektører som for tiden bruker mye penger på premium-API-kall til modeller: Hva er det enkleste å teste når det gjelder modellruting og instruksjonstilpasning i eksisterende arbeidsflyter?
Kom og snakk med oss! Men helt seriøst: Jeg ville bare prøvd å kjøre en mindre modell fra den nyeste generasjonen på akkurat din arbeidsbelastning og sett hva den klarer å håndtere. Jeg mistenker at mange fortsatt bruker større modeller fra tidligere generasjoner, og at de, med tanke på hvor raskt modellene blir bedre, ikke har innsett at det nylig har kommet mindre og billigere alternativer som kan håndtere arbeidsbelastningen deres.
Hvilke misoppfatninger har utviklere oftest om hva billigere modeller kan klare når de får tydelige begrensninger eller god veiledning?
Den vanligste misoppfatningen er at en billigere modell som mislykkes, rett og slett ikke er kapabel nok. Jeg tror det er nyttig å analysere grundig hvordan og hvor en billigere modell svikter i arbeidsflytene dine. En del av feilene skyldes mønstre modellen har en tendens til å falle inn i. Hvis man oppdager disse mønstrene og hjelper modellen med å unngå dem, kan det gjøre at den lykkes i arbeidsflyten din. En annen del skyldes oppgaver som den billigere modellen rett og slett ikke har de grunnleggende evnene som skal til for å løse riktig. Da trenger du en større modell.
Arbeidet ditt berører skjæringspunktet mellom personvern, skala og kostnader. Når du ser på utviklingen av KI-infrastruktur de neste 12–18 månedene, hvor mener du det største gapet er mellom det bedrifter ønsker seg, og det dagens verktøyøkosystem tilbyr?
Når jeg snakker med fagfolk som setter modeller i produksjon, merker jeg ofte at de føler FOMO og til en viss grad er utmattet av å prøve å holde tritt med nye modeller og stadig bedre funksjonalitet. De fleste teknologier blir enklere å bruke og ta i bruk over tid. Store språkmodeller (LLM-er) har blitt vanskeligere, med et stort utvalg modeller og innstillinger (temperatur, resonnementsinnsats, hurtigbufring) å velge mellom. Jeg tror det er svært verdifullt å forenkle og abstrahere bort kompleksiteten for team som bruker modeller, slik at de kan konsentrere seg om hva de vil oppnå med modellene, i stedet for hvordan de skal få det til.
Hvilke måltall bør tekniske team prioritere når de begynner å eksperimentere med ruting mellom flere modeller, for å sikre at de ikke bare jakter på kostnadsbesparelser på bekostning av påliteligheten?
Jeg ville begynt med andelen oppgaver som løses, feilraten, forsinkelsen og kostnaden per fullførte oppgave. Kostnad per token alene er ikke særlig nyttig hvis den billigere modellen oftere mislykkes. Derfor bør man regne med den samlede kostnaden for en oppgave, inkludert nye forsøk og eventuelle klassifikatorer eller beslutningsmodeller man bruker til rutingen.
Det vanskelige er å måle pålitelighet. Vi har sett et vanlig mønster der team strever med å flytte agentene sine fra én modell til en annen, satser fullt på evalueringer i noen måneder og deretter opplever at det blir mye enklere å bytte modeller. Jeg vil på det sterkeste anbefale å investere i grundige evalueringer av arbeidsflytene deres så tidlig som mulig og holde dem oppdatert etter hvert som arbeidsflytene endres, og etter hvert som brukerne bruker dem på nye måter.
Takk for et flott intervju. Lesere som ønsker å utforske modellruting, instruksjonstilpasning og evalueringsmetoder for mer pålitelige og kostnadseffektive KI-arbeidsflyter, bør besøke Propensity Labs.












