Interviuri
Rahul Nambiar, cofondator și director general al Propensity Labs – serie de interviuri

Puncte cheieAdaptarea prompturilor la un model mai ieftin i-a permis să egaleze un model premium la…
Vezi mai mult
- Adaptarea prompturilor la un model mai ieftin i-a permis să egaleze un model premium la 7% din cost.
- Modelele mai ieftine eșuează adesea din cauza unor tipare comportamentale reparabile, nu din cauza capacității brute insuficiente.
- Echipele ar trebui să măsoare costul per sarcină finalizată cu succes, nu doar costul per token.
Rahul Nambiar este cofondator și director general al Propensity Labs. Anterior, a construit infrastructură la scară largă la AWS, înainte de a se alătura Meta, unde a coordonat activitatea de creare a unui inventar al datelor utilizatorilor la scară de exabiți, folosind clasificarea prin învățare automată. În prezent, activitatea sa se concentrează pe înțelegerea comportamentului modelelor de inteligență artificială și pe combinarea direcționării între modele cu adaptarea instrucțiunilor, pentru a îmbunătăți costul și fiabilitatea fluxurilor de lucru bazate pe agenți.
Propensity Labs dezvoltă sisteme care ajută echipele să aleagă și să direcționeze modele de inteligență artificială în funcție de sarcinile lor specifice. Abordarea sa combină evaluarea comportamentului modelelor, adaptarea automată a prompturilor și direcționarea între modele, cu scopul de a-i ajuta pe utilizatori să valorifice mai bine modelele disponibile, fără să fie nevoiți să devină experți în fiecare dintre ele.
Cariera dumneavoastră v-a purtat de la Meta, unde ați condus activitatea în domeniul tehnologiilor de protecție a confidențialității pentru un proiect de inventariere a datelor la scară de exabiți, la AWS și, în prezent, la funcția de director general al Propensity Labs. Cum v-a influențat acest parcurs tehnic perspectiva asupra limitărilor modelelor actuale de inteligență artificială și asupra potențialului direcționării specializate a instrucțiunilor?
De fapt, mi-am început cariera la AWS, apoi m-am mutat la Meta. Un lucru pe care l-am învățat construind sisteme la scară largă este că, de multe ori, poți obține câștiguri considerabile dacă înțelegi și optimizezi comportamentul componentelor de bază, în loc să le tratezi ca pe niște cutii negre interschimbabile. Același lucru este valabil și pentru modelele de inteligență artificială. Am constatat că până și modelele foarte capabile au particularități de comportament care pot fi înțelese și compensate, ceea ce duce adesea la îmbunătățiri surprinzător de mari ale performanței și costurilor.
În experimentul dumneavoastră recent, ați demonstrat că modelele mai mici, direcționate, au depășit modelele premium la o fracțiune din cost. Care sunt principalele obstacole tehnice în implementarea acestui tip de direcționare a modelelor în medii de producție, comparativ cu un test de referință?
Adaptând prompturile la Luna și la punctele sale slabe, am reușit să obținem performanțe egale cu cele ale lui Sol la 7% din cost, în benchmarkul agentic complex Tau3 de la Sierra. Direcționarea între Luna, cu prompturi adaptate, și Sol ne-a permis să obținem performanțe egale cu cele ale lui Astra la 16% din costul acestuia.
O lecție importantă pentru noi a fost că atât direcționarea, cât și adaptarea prompturilor trebuie să fie foarte specifice sarcinii. Benchmarkurile oferă medii bine definite și evaluatori pe care îi poți folosi pentru a studia performanța unui model la o anumită sarcină și pentru a evalua cât de bine s-a descurcat. Acest lucru arată cum trebuie adaptate prompturile la model și când trebuie direcționat către un anumit model.
Fluxurile de lucru din producție nu sunt la fel de bine delimitate. Ai la dispoziție trasee ale modelelor care îndeplinesc sarcini, dar nu există o modalitate fiabilă de a afla dacă au reușit cu adevărat și cum arată un rezultat bun. Am învățat să folosim datele existente despre utilizare — fie evaluări, fie trasee din producție — pentru a reconstrui un cadru de evaluare care ne permite să testăm diferite modele și adaptări pe aceeași sarcină.
Partea interesantă este că direcționarea și adaptarea trebuie analizate împreună. Un model mai ieftin poate să nu reușească o sarcină cu prompturile existente, dar să o îndeplinească după ce le adaptezi la comportamentul modelului respectiv. Astfel se schimbă alegerea modelului către care ar trebui să direcționezi sarcina de la bun început.
Menționați adaptarea instrucțiunilor la anumite modele. Cum stabiliți care instrucțiuni sunt universale și care trebuie personalizate pentru punctele forte și slabe ale unei anumite arhitecturi de model?
Multe instrucțiuni care par universale trebuie adaptate modelului. Iată un exemplu simplu: halucinațiile în răspunsurile generate într-un singur tur. Am studiat aici două modele diferite: DeepSeek V4 Pro și GPT-6 Luna. Ambele au o tendință puternică de a inventa lucruri atunci când nu cunosc răspunsul. Un anumit efect al procesului lor de antrenare le face foarte reticente să se abțină de la răspuns și să spună „Nu știu”. Comportamentul este similar, dar metodele prin care îl reducem folosind prompturi sunt foarte diferite.
DeepSeek V4 Pro poate fi determinat să se abțină la fel de des ca modelele Claude dacă îi adaugi multe variante ale instrucțiunii „E în regulă să spui «Nu știu»”. Aceeași tactică are un efect redus asupra lui Luna. Luna răspunde cel mai bine când i se atribuie un cost pentru răspunsurile greșite. O formulare de tipul „Un răspuns greșit valorează -90 de puncte, în timp ce unul corect aduce doar +10” îl face să se abțină în aceeași măsură ca fratele său mai mare, Sol. Același comportament, dar metode foarte diferite de a determina cele două modele să renunțe la el. Pentru a adapta instrucțiunile unui anumit model, trebuie să înțelegi în profunzime atât modelul, cât și fluxul de lucru în care este implementat.
Pe măsură ce companiile adoptă fluxuri de lucru bazate pe agenți, ce dovezi aveți că direcționarea între modele mai ieftine și specializate este o strategie mai durabilă decât așteptarea unui singur model de ultimă generație, tot mai capabil, care să se ocupe de toate?
Aproximativ în fiecare săptămână apare un nou model de ultimă generație. Să presupunem că alegi acum cel mai mare și mai performant model pentru întregul flux de lucru. În câteva luni, sau chiar săptămâni, probabil vor exista modele mai mici capabile să gestioneze o mare parte din fluxul tău de lucru, dacă nu chiar întregul flux. În același timp, probabil vor apărea și modele mai mari sau mai specializate, cu performanțe mai bune pentru fluxul tău de lucru. Dacă nu schimbi modelul sau nu direcționezi sarcinile între mai multe modele, pierzi atât din performanță, cât și din posibilitatea de a reduce costurile.
Dar este greu să ții pasul cu toate acestea, iar oamenii nu ar trebui să fie nevoiți să devină experți în fiecare model în parte. Aici credem că putem ajuta, asigurându-ne că aveți întotdeauna cel mai potrivit model pentru volumul vostru de lucru, la cel mai mic cost pentru nivelul de performanță dorit. Uneori, asta înseamnă să alegem cel mai performant model disponibil pentru anumite părți ale volumului vostru de lucru, iar alteori, să adaptăm cea mai mare parte a acestuia astfel încât să poată fi gestionată de modele mult mai ieftine.
Cum gestionați consecvența și confidențialitatea datelor atunci când administrați un sistem care distribuie sarcinile între mai multe modele, mai ales când acestea implică informații sensibile?
Funcționăm ca un nivel intermediar între utilizatori și furnizorii de modele. Utilizatorii aleg ce furnizori vor să folosească și își aduc propriile chei API. Dintre modelele oferite de acești furnizori, îl alegem pe cel mai potrivit pentru volumul lor de lucru sau pentru o parte a acestuia, adaptăm volumul de lucru și îl trimitem către modelele potrivite. Folosim doar evaluările sau urmele pe care clienții aleg să ni le furnizeze și nu ne antrenăm pe datele lor și nici nu le păstrăm.
Ați cofondat Propensity Labs împreună cu Mana Azarm. Cum vă împărțiți responsabilitățile între componenta de cercetare aprofundată a comportamentului modelelor și latura practică, de inginerie a sistemelor, a construirii acestor fluxuri de lucru cu agenți?
Competențele noastre se completează bine în acest domeniu. Mana, care este cercetătorul nostru-șef și, totodată, profesor, se concentrează mai mult pe aspectele legate de comportamentul modelelor, iar eu mă ocup de ingineria sistemelor. Sau, mai bine zis, așa ne-am dori să fie. În realitate, lucrurile sunt mai complicate și ajungem fiecare să lucrăm la ceea ce reprezintă principalul blocaj în acel moment.
Pentru directorii tehnici care cheltuiesc în prezent sume mari pe apeluri API către modele premium, care ar fi cel mai ușor punct de pornire pentru a testa rutarea între modele și adaptarea instrucțiunilor în fluxurile de lucru existente?
Haideți să discutăm! Dar, vorbind serios, aș încerca pur și simplu să folosesc un model mai mic, din cea mai recentă generație, pentru volumul vostru specific de lucru și să văd ce poate face. Bănuiesc că mulți folosesc încă modele mai mari din generațiile anterioare și, având în vedere ritmul în care se îmbunătățesc modelele, nu și-au dat seama că au apărut recent alternative mai mici și mai ieftine, care le pot gestiona volumul de lucru.
Care sunt cele mai frecvente concepții greșite ale dezvoltatorilor despre capacitățile modelelor mai ieftine atunci când acestea sunt bine limitate sau ghidate?
Cea mai frecventă este presupunerea că, dacă un model mai ieftin eșuează, înseamnă pur și simplu că nu este suficient de capabil. Cred că este util să analizăm în profunzime cum și în ce situații eșuează un model mai ieftin în fluxurile voastre de lucru. O parte dintre aceste eșecuri țin de tipare în care modelul tinde să cadă, dar, dacă le identificăm și îl îndrumăm să le evite, este posibil să reușească în fluxul vostru de lucru. O altă parte ține de sarcini pe care un model mai ieftin pur și simplu nu are capacitatea necesară să le îndeplinească în mod corect; în astfel de cazuri, aveți nevoie de un model mai mare.
Activitatea voastră se află la intersecția dintre confidențialitate, scalare și costuri. Privind la următoarele 12-18 luni de dezvoltare a infrastructurii IA, unde vedeți cea mai mare discrepanță între ceea ce își doresc companiile și ceea ce oferă ecosistemul actual de instrumente?
Din discuțiile cu practicienii care implementează modele în medii de producție, observ că un sentiment frecvent este teama de a rata noutățile (FOMO) și, într-o anumită măsură, epuizarea provocată de efortul de a ține pasul cu noile modele și cu numărul tot mai mare de capabilități. În general, tehnologiile tind să devină mai ușor de folosit și de implementat în timp. În schimb, modelele lingvistice mari au devenit mai greu de folosit, din cauza multitudinii de modele și setări dintre care trebuie să alegi (temperatură, efort de raționare, memorare în cache). Cred că echipele care folosesc modele ar avea mult de câștigat dacă acestea ar fi simplificate și abstractizate, astfel încât echipele să se poată concentra doar pe ceea ce vor să obțină de la modele, nu pe cum să obțină acel rezultat.
Ce indicatori ar trebui să prioritizeze o echipă tehnică atunci când începe să experimenteze cu rutarea între mai multe modele, pentru a se asigura că nu urmărește doar reducerea costurilor în detrimentul fiabilității?
Aș începe cu rata de succes a sarcinilor, rata de eșec, latența și costul per sarcină finalizată cu succes. Costul per token, luat separat, nu este deosebit de relevant dacă modelul mai ieftin eșuează mai des. Prin urmare, trebuie să calculați costul total al unei sarcini — inclusiv reîncercările și orice clasificatoare sau modele de decizie folosite pentru rutare.
Partea dificilă este măsurarea fiabilității. Am observat un tipar frecvent: echipele întâmpină dificultăți când își migrează agenții de la un model la altul, apoi investesc masiv în evaluări timp de câteva luni și, în cele din urmă, constată că procesul de schimbare a modelelor a devenit mult mai ușor. V-aș recomanda cu tărie să investiți cât mai devreme în evaluări solide pentru fluxurile voastre de lucru și să le actualizați pe măsură ce se schimbă atât fluxurile, cât și modul în care utilizatorii le folosesc.
Vă mulțumim pentru acest interviu excelent. Cititorii care doresc să afle mai multe despre rutarea între modele, adaptarea instrucțiunilor și metodele de evaluare pentru fluxuri de lucru cu IA mai fiabile și mai rentabile pot vizita Propensity Labs.












