Interviews

Rahul Nambiar, medstifter og CEO for Propensity Labs – interviewserie

Antoine Tardif
Føj Unite.AI til dine foretrukne kilder på Google
Rahul Nambiar smiling in a green shirt against an outdoor urban background.
NøglepunkterVed at tilpasse prompts til en billigere model kunne den matche en premiummodel til 7 %…
Vis mere
  • Ved at tilpasse prompts til en billigere model kunne den matche en premiummodel til 7 % af omkostningerne.
  • Billigere modeller fejler ofte på grund af rettelige adfærdsmønstre snarere end utilstrækkelig rå kapacitet.
  • Teams bør måle omkostningen pr. succesfuldt fuldført opgave snarere end omkostningen pr. token alene.

Rahul Nambiar er medstifter og CEO for Propensity Labs. Tidligere opbyggede han infrastruktur i stor skala hos AWS, inden han skiftede til Meta, hvor han stod i spidsen for arbejdet med et exabyte-stort register over brugerdata baseret på maskinlæringsklassifikation. I dag fokuserer hans arbejde på at forstå, hvordan AI-modeller opfører sig, og på at kombinere modelrouting med tilpasning af instruktioner for at gøre agentbaserede arbejdsgange billigere og mere pålidelige.

Propensity Labs udvikler systemer, der hjælper teams med at vælge AI-modeller og dirigere opgaver til dem ud fra deres specifikke arbejdsbelastning. Tilgangen kombinerer evalueringer af modellernes adfærd, automatisk tilpasning af prompts og routing mellem modeller med det mål at hjælpe brugerne med at få mere ud af de tilgængelige modeller, uden at de behøver at blive eksperter i hver enkelt.

Din karriere har ført dig fra Meta, hvor du ledte arbejdet med privatlivsteknologi i forbindelse med et projekt om et exabyte-stort dataregister, til AWS og nu til rollen som CEO for Propensity Labs. Hvordan har din tekniske baggrund præget dit syn på begrænsningerne ved de nuværende AI-modeller og potentialet i specialiseret routing af instruktioner?

Jeg begyndte faktisk hos AWS og skiftede derefter til Meta. En ting, jeg har lært af at bygge systemer i stor skala, er, at man ofte kan opnå store gevinster ved at forstå og optimere, hvordan de underliggende komponenter opfører sig, i stedet for at betragte dem som sorte bokse, der kan udskiftes med hinanden. Det samme gælder AI-modeller. Vi har erfaret, at selv meget kapable modeller har særlige adfærdsmønstre, som man kan forstå og tage højde for, ofte med overraskende store forbedringer af ydeevnen og omkostningerne.

I dit nylige eksperiment viste du, at mindre modeller, som blev valgt via routing, klarede sig bedre end premiummodeller til en brøkdel af prisen. Hvilke er de største tekniske udfordringer ved at implementere denne type modelrouting i produktionsmiljøer sammenlignet med en benchmarktest?

Ved at tilpasse prompts til Luna og dens svagheder kunne vi få den til at matche Sols ydeevne til 7 % af prisen i Sierras komplekse, agentbaserede Tau3-benchmark. Ved at route mellem Luna med tilpasninger og Sol kunne vi matche Astras ydeevne til 16 % af dens pris.

En vigtig erkendelse for os var, at både routing og prompttilpasning skal være meget specifikke for den enkelte arbejdsbelastning. Benchmarks har veldefinerede miljøer og evalueringssystemer, som man kan bruge til at undersøge, hvordan en model klarer sig på en given opgave, og vurdere, hvor godt den løste den. Det viser, hvordan man skal tilpasse prompts til modellen, og hvornår man skal route opgaver til de forskellige modeller.

Produktionsarbejdsgange er ikke lige så veldefinerede. Man har spor af modeller, der udfører opgaver, men ingen pålidelig måde at afgøre, om de faktisk lykkedes, eller hvad et godt resultat er. Det, vi har lært at gøre, er at tage eksisterende brugsdata, enten evalueringer eller produktionsspor, og rekonstruere et evalueringssetup, der gør det muligt at teste forskellige modeller og tilpasninger på den samme arbejdsbelastning.

Det interessante er, at routing og tilpasning skal overvejes samlet. En billigere model klarer måske ikke en opgave med de prompts, du allerede bruger, men kan lykkes, når du har tilpasset dem til modellens adfærd. Det ændrer, hvilken model du bør route opgaven til fra begyndelsen.

Du nævner, at instruktioner tilpasses til specifikke modeller. Hvordan skelner du mellem instruktioner, der gælder universelt, og dem, der skal tilpasses specifikt til styrkerne og svaghederne ved en bestemt modelarkitektur?

Mange instruktioner, der virker universelle, skal tilpasses til den enkelte model. Her er et enkelt eksempel: hallucinationer i svar på enkeltstående spørgsmål. Vi undersøgte to forskellige modeller: DeepSeek V4 Pro og GPT-6 Luna. Begge har en stærk tendens til at finde på ting, når de ikke kender svaret. Noget ved deres træningsproces gør dem meget tilbageholdende med at afstå fra at svare og sige »Det ved jeg ikke«. Adfærden er den samme, men det er meget forskelligt, hvordan vi afhjælper den med prompts.

DeepSeek V4 Pro kan fås til at afstå fra at svare lige så ofte som Claude-modellerne, hvis man supplerer den med mange variationer af »Det er okay at sige, at jeg ikke ved det«. Den samme taktik har kun ringe effekt på Luna. Luna reagerer bedst på at få en omkostning for at tage fejl. En formulering i stil med »Et forkert svar giver -90 point, mens et rigtigt svar kun giver +10« får den til at afstå fra at svare lige så ofte som dens større søstermodel, Sol. Adfærden er den samme, men der skal bruges helt forskellige greb for at få de to modeller til at holde op med den. Hvis man vil tilpasse instruktioner til en bestemt model, skal man have en dyb forståelse af både modellen og den arbejdsgang, den anvendes i.

Efterhånden som virksomheder går over til agentbaserede arbejdsgange, hvilke tegn ser du så på, at routing mellem billigere, specialiserede modeller er en mere holdbar strategi end at vente på, at én stadig mere kapabel frontlinjemodel kan håndtere alt?

Der kommer en ny frontlinjemodel cirka hver uge. Lad os sige, at du lige nu vælger den største og bedste model til hele din arbejdsgang. Om et par måneder, eller endda om nogle uger, vil der sandsynligvis være mindre modeller, der kan håndtere store dele af arbejdsgangen, hvis ikke det hele. Samtidig vil der sandsynligvis også være større eller mere specialiserede modeller, som præsterer bedre i din arbejdsgang. Hvis du ikke skifter mellem modeller eller router opgaver til forskellige modeller, går du glip af både bedre ydeevne og lavere omkostninger.

Det er dog besværligt at følge med i alt dette, og folk skal ikke være nødt til at blive eksperter i alle de forskellige modeller. Her mener vi, at vi kan hjælpe ved at sikre, at du altid har den bedste model til din arbejdsbyrde til den laveste pris, der giver den ønskede ydeevne. Nogle gange handler det blot om at vælge den mest kapable model på markedet til dele af din arbejdsbyrde, mens det andre gange handler om at tilpasse størstedelen af din arbejdsbyrde, så langt billigere modeller kan klare den.

Når du administrerer et system, der fordeler opgaver på tværs af flere modeller, hvordan håndterer du så datakonsistens og beskyttelse af personlige oplysninger, især når opgaverne involverer følsomme oplysninger?

Vi fungerer som et mellemled mellem brugerne og modeludbyderne. Brugerne vælger, hvilke udbydere de vil benytte, og medbringer deres egne API-nøgler. Vi vælger den bedste model blandt disse udbyderes modeller til brugernes arbejdsbyrde eller dele af den, tilpasser arbejdsbyrden og sender den videre til de rette modeller. Vi bruger kun de evalueringer eller spor, som en kunde vælger at dele, og vi træner ikke på deres data eller opbevarer dem.

Du var med til at grundlægge Propensity Labs sammen med Mana Azarm. Hvordan fordeler I fokus mellem den forskningsintensive del af arbejdet med modellers adfærd og den praktiske systemudvikling, der ligger i at bygge disse agentbaserede pipelines?

Vores kompetencer supplerer hinanden godt på dette område. Mana, som er vores chefforsker og også professor, fokuserer mere på modellers adfærd, mens jeg fokuserer på systemudviklingen. Eller rettere: Sådan ønsker vi, at det skal være. Virkeligheden er mere rodet, og vi ender begge med at arbejde på det, der er den største flaskehals i øjeblikket.

Hvad er den nemmeste gevinst for teknologidirektører, der i øjeblikket bruger mange penge på API-kald til premiummodeller, når de skal afprøve modelrouting og tilpasning af instruktioner i deres eksisterende arbejdsgange?

Kom og tal med os! Men helt seriøst ville jeg bare prøve at køre en mindre model fra den nyeste generation på en konkret arbejdsbyrde og se, hvad den kan klare. Jeg formoder, at mange stadig bruger større modeller fra tidligere generationer og, i takt med at modellerne forbedres, simpelthen ikke har opdaget, at der for nylig er kommet mindre og billigere alternativer, som kan klare deres arbejdsbyrde.

Hvilke misforståelser har udviklere oftest om, hvad billigere modeller kan klare, når de får de rette begrænsninger eller vejledning?

Den mest udbredte misforståelse er at antage, at en billigere model, der fejler, simpelthen ikke er kapabel nok. Jeg mener, det er en fordel at undersøge grundigt, hvordan og hvor en billigere model fejler i jeres arbejdsgange. En del af fejlene skyldes mønstre, som modellen har tendens til at falde ind i, men hvis man opdager dem og hjælper modellen med at undgå dem, kan den måske lykkes i jeres arbejdsgang. En anden del skyldes opgaver, som en billigere model ganske enkelt ikke har de grundlæggende evner til at udføre korrekt; her er der brug for en større model.

Dit arbejde befinder sig i krydsfeltet mellem beskyttelse af personlige oplysninger, skalering og omkostninger. Når du ser på udviklingen inden for AI-infrastruktur de næste 12-18 måneder, hvor ser du så den største kløft mellem virksomhedernes ønsker og det, som det nuværende økosystem af værktøjer tilbyder?

Når jeg taler med praktikere, der sætter modeller i produktion, oplever jeg ofte, at de er bange for at gå glip af noget (FOMO) og til en vis grad trætte af at følge med i nye modeller og deres voksende kapacitet. De fleste teknologier bliver med tiden lettere at bruge og implementere. LLM’er er blevet sværere at arbejde med, fordi der er et væld af modeller og indstillinger (temperature, ræsonneringsindsats, cachelagring), man skal vælge imellem. Jeg mener, at det er meget værdifuldt at forenkle og abstraktere dem, så teams, der bruger modeller, kan fokusere på, hvad de vil opnå med modellerne, og ikke på, hvordan de skal opnå det.

Hvilke målinger bør et teknisk team prioritere, når det begynder at eksperimentere med routing på tværs af flere modeller, så det sikrer sig, at det ikke kun jagter besparelser på bekostning af pålideligheden?

Jeg ville begynde med succesrater for opgaver, fejlrater, latenstid og omkostningen pr. gennemført opgave. Omkostningen pr. token er ikke særlig nyttig i sig selv, hvis den billigere model oftere fejler. Derfor bør man medregne de samlede omkostninger ved en opgave – herunder gentagne forsøg og eventuelle klassifikatorer eller beslutningsmodeller, man kalder for at stå for routingen.

Det svære er at måle pålidelighed. Vi har set et udbredt mønster, hvor teams har svært ved at flytte deres agenter fra én model til en anden, satser fuldt ud på evalueringer i nogle måneder og derefter oplever, at det bliver meget lettere at skifte model. Jeg vil på det kraftigste anbefale, at man investerer i solide evalueringer af sine arbejdsgange så tidligt som muligt og holder dem opdateret, efterhånden som arbejdsgangene og brugernes anvendelse af dem ændrer sig.

Tak for et godt interview. Læsere, der ønsker at udforske modelrouting, tilpasning af instruktioner og evalueringsmetoder til mere pålidelige og omkostningseffektive AI-arbejdsgange, bør besøge Propensity Labs.

Antoine er en visionær leder og stiftende partner i Unite.AI, drevet af en urokkelig passion for at forme og fremme fremtiden for AI og robotteknologi. Som serieiværksætter mener han, at AI vil forandre samfundet lige så grundlæggende som elektriciteten, og han taler ofte begejstret om potentialet i banebrydende teknologier og kunstig generel intelligens (AGI).

Som fremtidsforsker er han optaget af at undersøge, hvordan disse innovationer vil forme vores verden. Han er desuden grundlægger af Securities.io, en platform med fokus på investering i avancerede teknologier, der omdefinerer fremtiden og omformer hele brancher.