Salesforces SFR-AutoR&D automatiserar modellforskning och validering

Salesforce introducerade SFR-AutoR&D den 11 november 2026 och uppgav att systemets agenter tog fram SFR-Embedding v4 på ungefär 80 timmar, jämfört med de flera veckor som mänskliga experiment ofta kräver. Systemet är utformat för att genomföra forskningscykeln autonomt, både genom att ändra befintliga kodbaser och genom att utveckla och testa nya träningsmetoder för AI-modeller.

Arbetet sträcker sig längre än till en fristående forskningsdemonstration. SFR-AutoR&D hade redan förbättrat SFR-Embedding V3, som Salesforce använder för informationssökning i Data Cloud, innan forskarna lät systemet utgå från basmodellen med öppen källkod EmbeddingGemma 2 för att skapa v4. Inbäddningsmodeller omvandlar text till numeriska representationer, så att system kan hämta poster, dokument eller ärendehistorik. I Salesforces arkitektur tillhandahåller den sökningen kundinformation som Agentforce baserar sina svar på, vilket gör sökningens kvalitet betydelsefull för agentens efterföljande svar.

Två agenter, en kontrollerad forskningscykel

Projektet SFR-AutoR&D delar upp arbetet i fyra steg: formulera en testbar hypotes, ta fram en kandidat och en jämförelse med baslinjen, utvärdera korrekthet eller modellkvalitet samt dra lärdom av både lyckade och misslyckade experiment. Om en kandidat inte kan påvisa en verifierad förbättring förblir baslinjen oförändrad.

AutoR&D-Engineer tar emot ett kodarkiv, ett mål och begränsningar och tar sedan fram en kandidatpatch med tillhörande benchmarkresultat som belägg. TrainForge utgår från en baslinjemodell, en uppgift, en utvärdering och en beräkningsbudget och levererar den bästa verifierade kontrollpunkten och dess utvärderingsresultat.

TrainForges process för att upptäcka metoder genererar träningsstrategier i stället för att enbart välja från en fast lista med recept. Codex skriver implementationer från en tom arbetsyta, och kontroller verifierar att den körande koden motsvarar den föreslagna idén. Lovande kandidater går vidare från ett snabbt LoRA-test, som uppdaterar en kompakt uppsättning träningsbara parametrar samtidigt som basmodellen behålls, till en kort körning med samtliga parametrar och därefter fullständig träning. Frysta, undanhållna datamängder reserveras för utvärdering.

Båda agenterna körs på AutoInfra, Salesforces gemensamma infrastruktur för träning och inferens. Den tilldelar GPU-arbetare till parallella experiment och sparar förfrågningar, förlopp och resultat så att arbetet kan återupptas efter avbrott i gatewayen. AutoInfra separerar också algoritm-, träningstjänst- och sandlådemiljöerna för att skydda systemets integritet och motverka manipulation av belöningsfunktionen.

”Den vetenskapliga metoden gäller fortfarande, men processen går snabbare”, sade Silvio Savarese, Salesforces vice vd och chefsforskare.

Förbättringar av inbäddningsmodeller och resultat för kodbaser

I den offentliga utvärderingen av inbäddningsmodeller rapporterar Salesforce att forskningskontrollpunkten fick 57.21 jämfört med 51.07 för EmbeddingGemma 2, en rapporterad förbättring på 6.13 poäng på en skala från 0 till 100. Kontrollpunkten som stöds för produktion fick 55.76. Poängen är genomsnittet av nDCG@10 för 10 sökuppgifter inom samma MTEB-svit med 41 uppgifter. Måttet bedömer relevansen bland de 10 främsta resultaten och ger högre rankade objekt större vikt.

Alla tre modeller utvärderades med en kontextgräns på 8,192 token. Salesforce betecknar uttryckligen mätningarna som jämförelser mellan lokala kontrollpunkter, inte som officiella placeringar på MTEB:s topplista. De dokumenterar därmed en förbättring jämfört med den valda baslinjen enligt ett kontrollerat protokoll, utan att fastställa en placering i förhållande till det bredare fältet.

En separat autonom körning på ungefär nio timmar inriktades på att effektivisera serveringen. Salesforce rapporterar 36 % högre genomströmning och 17 % lägre latens med nästan ingen kvalitetsförlust, vilket kopplar forskningsresultatet till kostnaden och svarstiden för informationssökning i stora kunddatamängder.

De tekniska resultaten visar också upp till 1.84× snabbare pandas-reduktioner för datatyper som tillåter nullvärden och uttryckligen representerar saknade värden. De redovisar en medianökning på 4.1 % av antalet hnswlib-frågor per sekund över tre indexbyggen och 17.5 % högre USearch-genomströmning på en enda kärna med GCC 11.4. De två sistnämnda biblioteken utför vektorsökning, en central operation inom AI-baserad informationssökning.

Samma tekniska redovisning dokumenterar 134,064 differentialtester för pandas-patchen för datatyper som tillåter nullvärden, utan några skillnader i värden, masker, datatyper eller undantag. Indata som inte omfattas av dess snabba kodväg hanteras i stället av pandas befintliga implementation, och alla tre pandas-optimeringarna har skickats in som pull-förfrågningar till huvudprojektet. hnswlib-patchen återanvänder tillfälligt minne per arbetare och bevarar samtidigt sökresultat som är identiska byte för byte. USearch-patchen cachelagrar lagrade vektornormer, vilket tillför fyra byte per vektor samtidigt som återkallningen bevaras i den rapporterade utvärderingen.

Begränsningar för autonomi och driftsättning

Forskarna fastställer fortfarande målen, budgetarna, utvärderingarna och databegränsningarna. Modeller som är avsedda att användas i produkter får endast använda träningsdatamängder som har godkänts vid en etisk och juridisk granskning, och en förbättrad modell måste också uppfylla kraven på förtroende och säkerhet för produktion. Salesforce uppgav att arbetet med produktionssättning pågår, så forskningsresultaten för SFR-Embedding v4 innebär inte att modellen har börjat användas av kunder.

SFR-AutoR&D kombinerar autonoma experiment med begränsningar och evidenskrav som fastställs av människor. Den omedelbara betydelsen är att den kontrollerade forskningscykeln komprimeras från veckor till dagar; nästa avgörande test är om förbättringarna i v4 klarar produktionsgranskningen och når de system för informationshämtning som Salesforces företagsagenter är beroende av.