SFR-AutoR&D di Salesforce automatizza la ricerca e la convalida dei modelli

Salesforce ha presentato SFR-AutoR&D l’11 novembre 2026, affermando che i suoi agenti hanno prodotto SFR-Embedding v4 in circa 80 ore, invece delle diverse settimane spesso necessarie per la sperimentazione umana. Il sistema è progettato per gestire autonomamente il ciclo di ricerca, sia modificando basi di codice esistenti, sia sviluppando e testando nuovi metodi di addestramento per i modelli di IA.

Il lavoro va oltre una dimostrazione di ricerca isolata. Prima che i ricercatori lo indirizzassero verso la baseline open source EmbeddingGemma 2 per creare la v4, SFR-AutoR&D aveva già migliorato SFR-Embedding V3, che Salesforce utilizza per il recupero dei dati in Data Cloud. I modelli di embedding convertono il testo in rappresentazioni numeriche, consentendo ai sistemi di recuperare record, documenti o cronologie dei casi. Nell’architettura di Salesforce, tale recupero fornisce le informazioni sui clienti su cui si basano le risposte di Agentforce; la qualità del recupero influisce quindi sulla risposta successiva dell’agente.

Due agenti, un unico ciclo di ricerca controllato

Il progetto SFR-AutoR&D suddivide il lavoro in quattro fasi: individuare un’ipotesi verificabile, realizzare un candidato e confrontarlo con una baseline, valutare la correttezza o la qualità del modello e apprendere dagli esperimenti riusciti e da quelli falliti. Se un candidato non dimostra un miglioramento verificato, la baseline rimane invariata.

AutoR&D-Engineer riceve un repository, un obiettivo e una serie di vincoli, quindi produce una patch candidata corredata da prove ottenute con i benchmark. TrainForge parte da un modello di baseline, un’attività, una valutazione e un budget di calcolo, e produce il checkpoint verificato migliore insieme al relativo record di valutazione.

Il processo di scoperta dei metodi di TrainForge genera strategie di addestramento invece di scegliere soltanto da un elenco fisso di ricette. Codex scrive le implementazioni partendo da uno spazio di lavoro vuoto e una serie di verifiche accerta che il codice in esecuzione corrisponda all’idea proposta. I candidati promettenti passano da un test LoRA rapido, che aggiorna un insieme compatto di parametri addestrabili mantenendo invariato il modello di base, a una breve esecuzione con tutti i parametri e poi all’addestramento completo. I set di dati congelati e tenuti da parte sono riservati alla valutazione.

Entrambi gli agenti operano su AutoInfra, l’infrastruttura condivisa di Salesforce per l’addestramento e l’inferenza. Assegna unità di elaborazione grafica (GPU) agli esperimenti paralleli e conserva richieste, progressi e risultati, così da poter riprendere il lavoro dopo eventuali interruzioni del gateway. AutoInfra separa inoltre gli ambienti dell’algoritmo, del servizio di addestramento e della sandbox, per proteggere l’integrità del sistema e prevenire la manipolazione della funzione di ricompensa.

«Il metodo scientifico continua a guidarci, ma il ciclo procede più rapidamente», ha dichiarato Silvio Savarese, vicepresidente esecutivo e direttore scientifico di Salesforce.

Miglioramenti negli embedding e risultati sulle basi di codice

Nella valutazione pubblica degli embedding, Salesforce riferisce che il checkpoint di ricerca ha ottenuto 57.21, contro il 51.07 di EmbeddingGemma 2: un miglioramento dichiarato di 6.13 punti su una scala da 0 a 100. Il checkpoint supportato per la produzione ha ottenuto 55.76. I punteggi corrispondono alla media di nDCG@10 su 10 attività di recupero all’interno della stessa suite MTEB, composta da 41 attività; la metrica valuta la pertinenza dei primi 10 risultati, attribuendo maggior peso a quelli in posizione più alta.

Tutti e tre i modelli sono stati valutati con un limite di contesto di 8,192 token. Salesforce specifica che si tratta di confronti locali tra checkpoint, non di posizioni ufficiali nella classifica MTEB. I risultati documentano quindi un miglioramento rispetto alla baseline selezionata secondo un protocollo controllato, senza stabilire una posizione rispetto al quadro più ampio.

Un’altra sessione autonoma, durata circa nove ore, si è concentrata sull’efficienza del servizio. Salesforce riferisce un aumento del throughput del 36% e una riduzione della latenza del 17%, con una perdita di qualità pressoché nulla: risultati che collegano la ricerca ai costi e alla rapidità di risposta del recupero su grandi insiemi di dati dei clienti.

I risultati ingegneristici indicano inoltre riduzioni in pandas fino a 1.84× più rapide con tipi di dati che ammettono valori nulli, usati per rappresentare esplicitamente i valori mancanti. Riportano un aumento mediano del 4.1% delle query al secondo in hnswlib su tre creazioni di indici e un throughput di USearch su singolo core superiore del 17.5% con GCC 11.4. Le ultime due librerie eseguono ricerche vettoriali, un’operazione fondamentale nel recupero basato sull’IA.

La stessa documentazione ingegneristica riporta 134,064 casi di test differenziale per la patch di pandas relativa ai tipi di dati che ammettono valori nulli, senza alcuna differenza nei valori, nelle maschere, nei tipi di dati o nelle eccezioni. Gli input che non rientrano nel percorso ottimizzato ricorrono all’implementazione esistente di pandas, e tutte e tre le ottimizzazioni per pandas sono state sottoposte come pull request al progetto principale. La patch di hnswlib riutilizza la memoria temporanea per ciascuna unità di elaborazione, mantenendo risultati di ricerca identici a livello di byte. La patch di USearch memorizza nella cache le norme dei vettori archiviati, aggiungendo quattro byte per vettore e mantenendo il richiamo nella valutazione riportata.

Limiti dell’autonomia e della distribuzione

I ricercatori continuano a definire gli obiettivi, i budget, le valutazioni e i vincoli relativi ai dati. I modelli destinati all’uso nei prodotti attingono esclusivamente a set di dati di addestramento che hanno superato la revisione etica e legale, e un modello migliorato deve anche soddisfare i requisiti di fiducia e sicurezza previsti per la produzione. Salesforce ha dichiarato che il lavoro per la produzione è in corso; i risultati di ricerca di SFR-Embedding v4 non equivalgono quindi a un rilascio completato per i clienti.

SFR-AutoR&D combina la sperimentazione autonoma con vincoli definiti dalle persone e requisiti in materia di evidenze. La sua rilevanza immediata consiste nel ridurre da settimane a giorni questo ciclo di ricerca controllato; la prossima verifica sostanziale sarà stabilire se i progressi della versione v4 superano la revisione per la produzione e raggiungono i sistemi di recupero da cui dipendono gli agenti aziendali di Salesforce.