Interviste

Rahul Nambiar, cofondatore e CEO di Propensity Labs – serie di interviste

Antoine Tardif
Aggiungi Unite.AI alle tue fonti preferite su Google
Rahul Nambiar smiling in a green shirt against an outdoor urban background.
Punti chiaveAdattare i prompt a un modello più economico gli ha permesso di eguagliare un modello…
Vedi di più
  • Adattare i prompt a un modello più economico gli ha permesso di eguagliare un modello premium al 7% del costo.
  • I modelli più economici spesso falliscono a causa di schemi comportamentali correggibili piuttosto che per una capacità grezza insufficiente.
  • I team dovrebbero misurare il costo per attività completata con successo anziché il solo costo per token.

Rahul Nambiar è cofondatore e CEO di Propensity Labs. In precedenza ha realizzato infrastrutture su vasta scala presso AWS, prima di passare a Meta, dove ha guidato un progetto per creare un inventario dei dati degli utenti su scala exabyte, utilizzando la classificazione basata sull’apprendimento automatico. Oggi il suo lavoro si concentra sulla comprensione del comportamento dei modelli di IA e sulla combinazione dell’instradamento dei modelli con l’adattamento delle istruzioni per migliorare i costi e l’affidabilità dei flussi di lavoro basati su agenti.

Propensity Labs sviluppa sistemi che aiutano i team a scegliere e indirizzare i modelli di IA in base ai carichi di lavoro specifici. Il suo approccio combina valutazioni del comportamento dei modelli, adattamento automatico dei prompt e instradamento tra modelli, con l’obiettivo di aiutare gli utenti a sfruttare meglio i modelli disponibili senza dover diventare esperti di ciascuno di essi.

La sua carriera l’ha portata da Meta, dove ha guidato lo sviluppo di tecnologie per la privacy nell’ambito di un progetto di inventario dei dati su scala exabyte, ad AWS e ora al ruolo di CEO di Propensity Labs. In che modo questo background tecnico ha influenzato la sua prospettiva sui limiti degli attuali modelli di IA e sul potenziale dell’instradamento specializzato delle istruzioni?

In realtà ho iniziato da AWS e poi sono passato a Meta. Una cosa che ho imparato realizzando sistemi su vasta scala è che spesso si possono ottenere enormi vantaggi comprendendo e ottimizzando il comportamento dei componenti sottostanti, invece di trattarli come scatole nere intercambiabili. Lo stesso vale per i modelli di IA. Abbiamo scoperto che anche i modelli molto capaci presentano peculiarità comportamentali che si possono comprendere e aggirare, ottenendo spesso miglioramenti sorprendentemente significativi in termini di prestazioni e costi.

Nel suo recente esperimento, ha dimostrato che modelli più piccoli instradati in modo mirato hanno superato modelli premium a una frazione del costo. Quali sono i principali ostacoli ingegneristici all’implementazione di questo tipo di instradamento dei modelli in ambienti di produzione, rispetto a un test basato su benchmark?

Adattando i prompt a Luna e ai suoi punti deboli, siamo riusciti a portarla allo stesso livello di prestazioni di Sol al 7% del costo, nel complesso benchmark agentico Tau3 di Sierra. L’instradamento tra Luna, con l’adattamento, e Sol ci ha permesso di raggiungere le prestazioni di Astra al 16% del suo costo.

Una delle lezioni più importanti per noi è stata che sia l’instradamento sia l’adattamento dei prompt devono essere specifici per ciascun carico di lavoro. I benchmark offrono ambienti ben definiti e sistemi di valutazione che consentono di studiare le prestazioni di un modello in un determinato compito e di valutarne i risultati. Questo permette di capire come adattare i prompt al modello e quando instradare una richiesta verso un modello anziché un altro.

I flussi di lavoro in produzione non sono così ben definiti. Si dispone di tracce dei modelli mentre completano i compiti, ma non di un metodo affidabile per stabilire se li abbiano effettivamente portati a termine con successo e che cosa si debba considerare un buon risultato. Abbiamo imparato a partire dai dati d’uso esistenti, che si tratti di valutazioni o di tracce di produzione, e a ricostruire un sistema di valutazione che ci consenta di testare modelli e adattamenti diversi sullo stesso carico di lavoro.

L’aspetto interessante è che l’instradamento e l’adattamento vanno considerati insieme. Un modello meno costoso potrebbe non riuscire a svolgere un compito con i prompt esistenti, ma riuscirci dopo che questi sono stati adattati al suo comportamento. Questo cambia la scelta del modello verso cui instradare la richiesta fin dall’inizio.

Ha parlato di adattare le istruzioni a modelli specifici. Come distingue le istruzioni universali da quelle che devono essere personalizzate in modo specifico in base ai punti di forza e di debolezza di una determinata architettura di modello?

Molte istruzioni che sembrano universali devono essere adattate al modello. Ecco un esempio semplice: le allucinazioni nelle risposte a turno singolo. Abbiamo studiato due modelli diversi: DeepSeek V4 Pro e GPT-6 Luna. Entrambi tendono fortemente a inventare informazioni quando non conoscono la risposta. Qualche aspetto del loro processo di addestramento li rende molto restii ad astenersi dal rispondere e a dire «Non lo so». Il comportamento è simile, ma le tecniche per mitigarlo tramite i prompt sono molto diverse.

DeepSeek V4 Pro può essere indotto ad astenersi con la stessa frequenza dei modelli Claude se gli si propongono diverse varianti di «Va bene dire “Non lo so”». La stessa tattica ha poco effetto su Luna. Luna risponde meglio se le si assegna un costo per le risposte sbagliate. Una formulazione come «Una risposta sbagliata vale -90 punti, mentre una risposta corretta ne dà solo +10» la induce ad astenersi quanto il suo fratello maggiore, Sol. Il comportamento è lo stesso, ma per spingere i due modelli ad abbandonarlo servono leve molto diverse. Per adattare le istruzioni a un modello specifico, bisogna comprendere a fondo sia il modello sia il flusso di lavoro in cui viene impiegato.

Con il passaggio delle aziende ai flussi di lavoro basati su agenti, quali elementi indicano che instradare le richieste tra modelli più economici e specializzati sia una strategia più duratura rispetto ad aspettare che un unico modello di frontiera, sempre più capace, sia in grado di gestire tutto?

Ogni settimana circa esce un nuovo modello di frontiera. Immaginiamo che oggi si scelga il modello più grande e potente per l’intero flusso di lavoro. Nel giro di un paio di mesi, o persino di poche settimane, probabilmente saranno disponibili modelli più piccoli in grado di gestirne ampie parti, se non la totalità. Allo stesso tempo, probabilmente ci saranno anche modelli più grandi o più specializzati, con prestazioni migliori nel flusso di lavoro in questione. Se non si cambia modello né si instradano le richieste tra modelli diversi, si rinuncia a potenziali vantaggi sia in termini di prestazioni sia di costi.

Stare al passo con tutto questo, però, è complicato, e non si dovrebbe costringere nessuno a diventare esperto di tutti i diversi modelli. È qui che crediamo di poter essere d’aiuto, facendo in modo che abbiate sempre il modello più adatto al vostro carico di lavoro, al costo più basso possibile per il livello di prestazioni desiderato. A volte basta scegliere il modello più potente disponibile per alcune parti del carico di lavoro; altre volte, invece, è possibile adattarne la maggior parte affinché possa essere gestita da modelli molto meno costosi.

Quando si gestisce un sistema che instrada le attività tra più modelli, come si garantiscono la coerenza dei dati e la privacy, soprattutto quando le attività riguardano informazioni sensibili?

Operiamo come livello intermedio tra gli utenti e i fornitori di modelli. Gli utenti scelgono i fornitori che desiderano utilizzare e inseriscono le proprie chiavi API. Tra i modelli offerti da questi fornitori, selezioniamo quello più adatto ai loro carichi di lavoro, o a una loro parte, adattiamo il carico di lavoro e lo inviamo ai modelli giusti. Utilizziamo solo le valutazioni o le tracce che un cliente sceglie di condividere e non addestriamo modelli sui suoi dati né li conserviamo.

Hai cofondato Propensity Labs con Mana Azarm. Come suddividete il lavoro tra l’ambito della ricerca, incentrato sul comportamento dei modelli, e quello pratico dell’ingegneria dei sistemi, dedicato alla creazione di queste pipeline agentiche?

In questo ambito, le nostre competenze si integrano bene. Mana, che è la nostra direttrice scientifica ed è anche professore, si concentra maggiormente sugli aspetti legati al comportamento dei modelli, mentre io mi occupo dell’ingegneria dei sistemi. O meglio, è così che vorremmo lavorare. La realtà è più complicata e finiamo entrambi per occuparci di ciò che, in quel momento, rappresenta il principale ostacolo.

Per i CTO che oggi spendono molto per le chiamate alle API dei modelli premium, qual è il risultato più facile da ottenere testando l’instradamento dei modelli e l’adattamento delle istruzioni nei flussi di lavoro già esistenti?

Venite a parlarne con noi! Ma, seriamente, proverei semplicemente a eseguire un modello più piccolo, di ultima generazione, sul vostro specifico carico di lavoro e a vedere cosa riesce a gestire. Sospetto che molti siano ancora legati a modelli più grandi delle generazioni precedenti e che, considerata la velocità con cui i modelli migliorano, non si siano ancora resi conto che di recente sono arrivate alternative più piccole ed economiche, in grado di gestire i loro carichi di lavoro.

Quali sono le idee sbagliate più diffuse tra gli sviluppatori riguardo a ciò che i modelli più economici possono fare quando vengono adeguatamente vincolati o guidati?

L’idea sbagliata più comune è pensare che, se un modello più economico non riesce in un compito, semplicemente non sia abbastanza potente. Credo sia utile analizzare a fondo come e in quali casi un modello più economico fallisce nei vostri flussi di lavoro. Una parte degli errori dipende da schemi in cui il modello tende a incorrere e che, se individuati e corretti, potrebbero permettergli di riuscire nel vostro flusso di lavoro. Un’altra parte riguarda attività che un modello più economico non ha le capacità di base per svolgere correttamente: in questi casi serve un modello più grande.

Il tuo lavoro riguarda l’intersezione tra privacy, scalabilità e costi. Guardando ai prossimi 12-18 mesi di sviluppo delle infrastrutture per l’IA, dove vedi la maggiore discrepanza tra ciò che vogliono le aziende e ciò che offre l’attuale ecosistema di strumenti?

Parlando con chi implementa modelli in produzione, noto spesso una sensazione di FOMO e, in una certa misura, di stanchezza per la necessità di stare al passo con i nuovi modelli e le loro capacità crescenti. La maggior parte delle tecnologie tende a diventare più facile da usare e da implementare con il tempo. Gli LLM, invece, sono diventati più difficili da gestire, con una miriade di modelli e impostazioni tra cui scegliere, come la temperatura, lo sforzo di ragionamento e la memorizzazione nella cache. Credo sia molto utile semplificare questi aspetti e astrarli, così che i team che usano i modelli possano concentrarsi su ciò che vogliono ottenere, anziché su come riuscirci.

Su quali metriche dovrebbe concentrarsi un team tecnico quando inizia a sperimentare l’instradamento tra più modelli, per assicurarsi di non inseguire soltanto il risparmio sui costi a discapito dell’affidabilità?

Comincerei dai tassi di completamento riuscito delle attività, dai tassi di errore, dalla latenza e dal costo per attività completata con successo. Il costo per token, da solo, non è particolarmente utile se il modello più economico fallisce più spesso; è quindi importante conteggiare il costo totale di un’attività, compresi i nuovi tentativi e gli eventuali classificatori o modelli decisionali impiegati per l’instradamento.

La parte difficile è misurare l’affidabilità. Abbiamo osservato uno schema ricorrente: i team faticano a migrare i propri agenti da un modello a un altro, investono molto nelle valutazioni per alcuni mesi e poi scoprono che cambiare modello è diventato molto più semplice. Consiglierei vivamente di investire fin da subito in valutazioni solide per i vostri flussi di lavoro e di mantenerle aggiornate man mano che cambiano i flussi di lavoro e il modo in cui gli utenti li utilizzano.

Grazie per la bella intervista. I lettori che desiderano approfondire l’instradamento dei modelli, l’adattamento delle istruzioni e i metodi di valutazione per flussi di lavoro di IA più affidabili ed economici possono visitare Propensity Labs.

Antoine è un leader visionario e socio fondatore di Unite.AI, animato da una passione incrollabile per plasmare e promuovere il futuro dell’IA e della robotica. Imprenditore che ha fondato diverse aziende, ritiene che l’IA trasformerà la società quanto l’elettricità e parla spesso con entusiasmo del potenziale delle tecnologie dirompenti e dell’intelligenza artificiale generale (AGI).

In qualità di futurologo, si dedica a esplorare come queste innovazioni plasmeranno il nostro mondo. È inoltre il fondatore di Securities.io, una piattaforma incentrata sugli investimenti in tecnologie all’avanguardia che stanno ridefinendo il futuro e trasformando interi settori.