Salesforce’s SFR-AutoR&D automatiserer modelforskning og -validering

Salesforce introducerede SFR-AutoR&D den 11. november 2026 og oplyste, at systemets agenter skabte SFR-Embedding v4 på cirka 80 timer i stedet for de flere uger, som menneskelige eksperimenter ofte kræver. Systemet er udviklet til at gennemføre forskningscyklussen autonomt, både ved at ændre eksisterende kodebaser og ved at udvikle og afprøve nye træningsmetoder til AI-modeller.

Arbejdet rækker ud over en enkeltstående forskningsdemonstration. SFR-AutoR&D havde allerede forbedret SFR-Embedding V3, som Salesforce bruger til informationshentning i Data Cloud, inden forskerne satte systemet til at arbejde med open source-basismodellen EmbeddingGemma 2 for at skabe v4. Indlejringsmodeller omdanner tekst til numeriske repræsentationer, så systemer kan hente poster, dokumenter eller sagsforløb. I Salesforces arkitektur leverer denne informationshentning de kundeoplysninger, som Agentforce baserer sine svar på, og derfor har kvaliteten af informationshentningen betydning for agentens efterfølgende svar.

To agenter, én kontrolleret forskningscyklus

SFR-AutoR&D-projektet opdeler arbejdet i fire faser: formulering af en hypotese, der kan afprøves, opbygning af en kandidat og en sammenligning med en basismodel, evaluering af korrekthed eller modelkvalitet samt læring af både vellykkede og mislykkede eksperimenter. En kandidat, der ikke kan påvise en verificeret forbedring, ændrer ikke basismodellen.

AutoR&D-Engineer modtager et kodearkiv, et mål og nogle begrænsninger og leverer derefter en foreslået programrettelse ledsaget af dokumentation fra benchmarktests. TrainForge tager udgangspunkt i en basismodel, en opgave, en evaluering og et beregningsbudget og leverer det bedst verificerede checkpoint samt dets evalueringsrapport.

TrainForges proces til at finde metoder genererer træningsstrategier i stedet for kun at vælge blandt en fast liste af opskrifter. Codex skriver implementeringer fra et tomt arbejdsområde, og kontroller bekræfter, at den kørende kode svarer til den foreslåede idé. Lovende kandidater går videre fra en hurtig LoRA-test, der opdaterer et begrænset sæt parametre, som kan trænes, mens basismodellen bevares, til en kort kørsel med alle parametre og derefter fuld træning. Fastlåste datasæt, der holdes ude af træningen, reserveres til evaluering.

Begge agenter kører på AutoInfra, Salesforces fælles infrastruktur til træning og inferens. Den tildeler GPU-arbejdere til parallelle eksperimenter og gemmer anmodninger, fremskridt og resultater vedvarende, så arbejdet kan genoptages efter afbrydelser i gatewayen. AutoInfra adskiller også miljøerne for algoritmer, træningstjenester og sandkasser for at beskytte systemets integritet og forhindre manipulation af belønningsmekanismen.

»Den videnskabelige metode er stadig styrende, men processen går hurtigere,« sagde Silvio Savarese, Salesforces koncerndirektør og chefforsker.

Forbedringer af indlejringsmodeller og resultater fra kodebaser

På den offentlige evaluering af indlejringsmodeller rapporterer Salesforce, at forskningscheckpointet opnåede 57,21 mod 51,07 for EmbeddingGemma 2, hvilket ifølge rapporten er en forbedring på 6,13 point på en skala fra 0 til 100. Checkpointet, der understøttes til produktion, opnåede 55,76. Resultaterne er gennemsnittet af nDCG@10 på tværs af 10 informationshentningsopgaver i den samme MTEB-testpakke med 41 opgaver. Målingen vurderer relevansen blandt de 10 øverste resultater og vægter resultater højere på listen tungere.

Alle tre modeller blev evalueret med en kontekstgrænse på 8.192 tokens. Salesforce betegner udtrykkeligt målingerne som sammenligninger mellem lokale checkpoints, ikke som officielle placeringer på MTEB-ranglisten. De dokumenterer derfor en forbedring i forhold til den valgte basismodel under en kontrolleret protokol, men fastslår ikke modellernes placering i forhold til det bredere felt.

En separat autonom session, der varede cirka ni timer, fokuserede på effektiviteten af modelbetjening. Salesforce rapporterer 36 % højere gennemløb og 17 % lavere latenstid med næsten intet kvalitetstab, hvilket knytter forskningsresultatet til omkostningerne og svartiden ved informationshentning på tværs af store kundedatasæt.

De tekniske resultater viser også op til 1,84× hurtigere reduktionsoperationer i pandas på datatyper, der tillader null-værdier, og som udtrykkeligt repræsenterer manglende værdier. De viser en medianstigning på 4,1 % i antal hnswlib-forespørgsler pr. sekund på tværs af tre indeksbygninger samt 17,5 % højere USearch-gennemløb på én kerne med GCC 11.4. De to sidstnævnte biblioteker udfører vektorsøgning, som er en central operation i AI-baseret informationshentning.

Den samme tekniske dokumentation registrerer 134.064 differentialtests for pandas-programrettelsen til datatyper med null-værdier, uden nogen forskelle i værdier, masker, datatyper eller undtagelser. Input, der falder uden for programmets hurtige behandlingsvej, håndteres med pandas’ eksisterende implementering, og alle tre pandas-optimeringer er indsendt som pull requests til det oprindelige projekt. hnswlib-programrettelsen genbruger midlertidig hukommelse pr. arbejder, samtidig med at søgeresultaterne forbliver byteidentiske. USearch-programrettelsen cacher de gemte vektornormer, hvilket tilføjer fire byte pr. vektor, samtidig med at genfindingen bevares i den rapporterede evaluering.

Begrænsninger for autonomi og udrulning

Forskerne fastlægger stadig målene, budgetterne, evalueringerne og begrænsningerne for data. Modeller, der er beregnet til brug i produkter, benytter kun træningsdatasæt, der har bestået en etisk og juridisk gennemgang, og en forbedret model skal også opfylde kravene til tillid og sikkerhed i produktionen. Salesforce oplyste, at arbejdet med produktion er i gang, så forskningsresultaterne for SFR-Embedding v4 betyder ikke, at udrulningen til kunder er gennemført.

SFR-AutoR&D kombinerer selvstændige eksperimenter med menneskedefinerede begrænsninger og dokumentationskrav. Den umiddelbare betydning er, at denne kontrollerede forskningscyklus forkortes fra uger til dage. Den næste væsentlige prøve bliver, om forbedringerne i v4 lever op til produktionsgodkendelsen og når frem til de informationssøgningssystemer, som Salesforces agenter til virksomheder er afhængige af.