Salesforces SFR-AutoR&D automatiserer forskning på modeller og validering

Salesforce lanserte SFR-AutoR&D 11. november 2026 og opplyste at agentene deres utviklet SFR-Embedding v4 på rundt 80 timer, i stedet for de flere ukene menneskelige eksperimenter ofte krever. Systemet er utviklet for å gjennomføre forskningssyklusen autonomt, både ved å endre eksisterende kodebaser og ved å utvikle og teste nye treningsmetoder for KI-modeller.

Arbeidet går lenger enn en enkeltstående forskningsdemonstrasjon. SFR-AutoR&D hadde allerede forbedret SFR-Embedding V3, som Salesforce bruker til gjenfinning i Data Cloud, før forskerne tok i bruk den åpne grunnmodellen EmbeddingGemma 2 for å lage v4. Embedding-modeller gjør tekst om til numeriske representasjoner, slik at systemer kan hente fram oppføringer, dokumenter eller sakshistorikk. I Salesforces arkitektur brukes denne gjenfinningen til å hente fram kundeinformasjon som Agentforce baserer svarene sine på. Dermed får kvaliteten på gjenfinningen betydning for agentens etterfølgende svar.

To agenter, én kontrollert forskningssløyfe

SFR-AutoR&D-prosjektet deler arbeidet inn i fire trinn: å finne en testbar hypotese, bygge en kandidat og sammenligne den med en grunnmodell, evaluere korrekthet eller modellkvalitet og lære av både vellykkede og mislykkede eksperimenter. En kandidat som ikke kan påvise en verifisert forbedring, fører ikke til noen endring i grunnmodellen.

AutoR&D-Engineer tar imot et kodearkiv, et mål og begrensninger, og lager deretter en kandidatendring med dokumentasjon fra sammenligningstester. TrainForge tar utgangspunkt i en grunnmodell, en oppgave, en evaluering og et beregningsbudsjett, og leverer det beste verifiserte kontrollpunktet samt evalueringsresultatet.

TrainForges prosess for metodeutvikling genererer treningsstrategier i stedet for bare å velge fra en fast liste med oppskrifter. Codex skriver implementeringer fra et tomt arbeidsområde, og kontroller verifiserer at koden som kjøres, samsvarer med den foreslåtte ideen. Lovende kandidater går videre fra en rask LoRA-test, som oppdaterer et begrenset sett med trenbare parametere samtidig som grunnmodellen beholdes, til en kort kjøring med alle parametere og deretter full trening. Låste datasett som holdes utenfor treningen, er forbeholdt evaluering.

Begge agentene kjører på AutoInfra, Salesforces felles infrastruktur for trening og inferens. Den tildeler GPU-arbeidere til parallelle eksperimenter og lagrer forespørsler, framdrift og resultater vedvarende, slik at arbeidet kan gjenopptas etter avbrudd i gatewayen. AutoInfra skiller også mellom miljøene for algoritmer, treningstjenester og sandkasser for å beskytte systemintegriteten og hindre manipulering av belønningssystemet.

«Den vitenskapelige metoden gjelder fortsatt, men prosessen går raskere», sa Silvio Savarese, konserndirektør og sjefsforsker i Salesforce.

Forbedringer i embedding-modeller og resultater fra kodebaser

I den offentlige evalueringen av embedding-modeller oppgir Salesforce at forskningskontrollpunktet fikk 57,21, mot 51,07 for EmbeddingGemma 2 – en rapportert forbedring på 6,13 poeng på en skala fra 0 til 100. Kontrollpunktet som støttes for produksjonsbruk, fikk 55,76. Poengsummene er gjennomsnittet av nDCG@10 på tvers av 10 gjenfinningsoppgaver i den samme MTEB-pakken med 41 oppgaver. Måltallet vurderer relevansen blant de 10 øverste resultatene og gir høyere rangerte resultater større vekt.

Alle de tre modellene ble evaluert med en kontekstgrense på 8 192 token. Salesforce understreker uttrykkelig at målingene er lokale sammenligninger mellom kontrollpunkter, ikke offisielle plasseringer på MTEB-resultatlisten. De dokumenterer derfor en forbedring sammenlignet med den valgte grunnmodellen under en kontrollert protokoll, men fastslår ikke modellens plassering i forhold til det bredere feltet.

En separat autonom økt på rundt ni timer var rettet mot effektivisering av inferenskjøringen. Salesforce rapporterer 36 % høyere gjennomstrømning og 17 % lavere forsinkelse, med nesten ingen kvalitetsforringelse. Dermed knyttes forskningsresultatet til kostnadene og responstiden ved gjenfinning på tvers av store kundedatasett.

Resultatene fra utviklingsarbeidet viser også opptil 1,84× raskere reduksjonsoperasjoner i pandas for datatyper som kan inneholde manglende verdier, og som uttrykkelig representerer slike verdier. De viser en median økning på 4,1 % i antall hnswlib-spørringer per sekund på tvers av tre indeksbygginger og 17,5 % høyere gjennomstrømning i USearch med én prosessorkjerne og GCC 11.4. De to sistnevnte bibliotekene utfører vektorsøk, en sentral operasjon i KI-basert gjenfinning.

Den samme utviklingsdokumentasjonen beskriver 134 064 differensialtester av pandas-endringen for datatyper som kan inneholde manglende verdier, uten noen forskjeller i verdier, masker, datatyper eller unntak. Inndata som ikke omfattes av den raske kodebanen, behandles i stedet av pandas’ eksisterende implementasjon, og alle de tre pandas-optimaliseringene er sendt inn som endringsforslag til hovedprosjektet. hnswlib-endringen gjenbruker midlertidig minne per arbeider samtidig som søkeresultatene forblir identiske på bytenivå. USearch-endringen mellomlagrer normene til lagrede vektorer, noe som legger til fire byte per vektor uten å påvirke gjenfinningsgraden i den rapporterte evalueringen.

Begrensninger for autonomi og utrulling

Forskerne fastsetter fortsatt målene, budsjettene, evalueringene og databegrensningene. Modeller som er ment for produktbruk, bruker bare treningsdatasett som har bestått etisk og juridisk gjennomgang, og en forbedret modell må også oppfylle kravene til tillit og sikkerhet for produksjonsbruk. Salesforce opplyste at arbeidet med produksjonssetting pågår, så forskningsresultatene for SFR-Embedding v4 innebærer ikke at modellen allerede er tatt i bruk hos kundene.

SFR-AutoR&D kombinerer autonom eksperimentering med begrensninger og krav til dokumentasjon fastsatt av mennesker. Den umiddelbare betydningen er at denne kontrollerte forskningssyklusen forkortes fra uker til dager; den neste vesentlige prøven er om forbedringene i v4 består produksjonsvurderingen og når frem til gjenfinningssystemene som Salesforces bedriftsagenter er avhengige av.