Salesforce’s SFR-AutoR&D automatiseert modelonderzoek en -validatie

Salesforce introduceerde SFR-AutoR&D op 11 november 2026 en meldde dat de agents SFR-Embedding v4 in ongeveer 80 uur hadden ontwikkeld, in plaats van de meerdere weken die menselijke experimenten vaak vergen. Het systeem is ontworpen om de onderzoekscyclus zelfstandig uit te voeren, zowel door bestaande codebases aan te passen als door nieuwe trainingsmethoden voor AI-modellen te ontwikkelen en te testen.

Het werk reikt verder dan een op zichzelf staande onderzoeksdemonstratie. SFR-AutoR&D had SFR-Embedding V3, dat Salesforce gebruikt voor het ophalen van informatie in Data Cloud, al verbeterd voordat onderzoekers het systeem op de open-sourcebasisversie EmbeddingGemma 2 loslieten om v4 te maken. Embeddingmodellen zetten tekst om in numerieke representaties, zodat systemen gegevens, documenten of casusgeschiedenissen kunnen ophalen. In de architectuur van Salesforce levert dit ophalen klantinformatie waarop antwoorden van Agentforce zijn gebaseerd. Daardoor is de kwaliteit van het ophalen van belang voor het daaropvolgende antwoord van de agent.

Twee agents, één gecontroleerde onderzoekscyclus

Het SFR-AutoR&D-project verdeelt het werk in vier fasen: een toetsbare hypothese formuleren, een kandidaat en een vergelijking met de basisversie opbouwen, de juistheid of modelkwaliteit evalueren en leren van zowel geslaagde als mislukte experimenten. Als een kandidaat geen geverifieerde verbetering kan aantonen, blijft de basisversie ongewijzigd.

AutoR&D-Engineer neemt een repository, doel en beperkingen als invoer en levert vervolgens een kandidaatpatch met benchmarkresultaten als onderbouwing. TrainForge begint met een basismodel, taak, evaluatie en rekenbudget en levert het best geverifieerde controlepunt op, samen met het evaluatieverslag.

TrainForges proces voor het ontdekken van methoden genereert trainingsstrategieën in plaats van alleen te kiezen uit een vaste lijst met recepten. Codex schrijft implementaties vanuit een lege werkruimte, waarna controles nagaan of de draaiende code overeenkomt met het voorgestelde idee. Veelbelovende kandidaten gaan van een snelle LoRA-test, waarbij een compacte set trainbare parameters wordt bijgewerkt terwijl het basismodel behouden blijft, naar een korte training met alle parameters en vervolgens naar volledige training. Bevroren datasets die buiten de training zijn gehouden, worden gereserveerd voor evaluatie.

Beide agents draaien op AutoInfra, de gedeelde infrastructuur van Salesforce voor training en inferentie. Deze infrastructuur wijst GPU-workers toe aan parallelle experimenten en bewaart aanvragen, voortgang en resultaten, zodat het werk na onderbrekingen van de gateway kan worden hervat. AutoInfra houdt ook de omgevingen voor algoritmen, trainingsservices en sandboxen gescheiden om de systeemintegriteit te beschermen en manipulatie van de beloningsfunctie tegen te gaan.

‘De wetenschappelijke methode blijft leidend, maar de cyclus verloopt sneller’, zei Silvio Savarese, executive vice president en hoofdwetenschapper bij Salesforce.

Verbeteringen in embeddings en resultaten in codebases

Bij de openbare evaluatie van embeddings behaalde het onderzoekscontrolepunt volgens Salesforce een score van 57.21, tegenover 51.07 voor EmbeddingGemma 2: een gerapporteerde winst van 6.13 punten op een schaal van 0–100. Het controlepunt dat voor productie wordt ondersteund, behaalde een score van 55.76. De scores zijn gemiddelden van nDCG@10 over 10 ophaaltaken binnen dezelfde MTEB-suite met 41 taken. De maatstaf beoordeelt de relevantie van de 10 hoogste resultaten en geeft hoger gerangschikte items meer gewicht.

Alle drie de modellen zijn geëvalueerd met een contextlimiet van 8.192 tokens. Salesforce bestempelt de metingen uitdrukkelijk als vergelijkingen tussen lokale controlepunten, niet als officiële posities op het MTEB-klassement. Ze documenteren dus een verbetering ten opzichte van de gekozen basisversie volgens een gecontroleerd protocol, maar stellen geen positie vast ten opzichte van het bredere veld.

Een afzonderlijke autonome sessie van ongeveer negen uur was gericht op de efficiëntie van het aanbieden van het model. Salesforce meldt een 36% hogere verwerkingscapaciteit en 17% lagere latentie, met vrijwel geen kwaliteitsverlies. Daarmee verbindt het bedrijf de onderzoeksresultaten aan de kosten en reactiesnelheid van het ophalen van informatie uit grote klantdatasets.

De technische resultaten melden ook tot 1.84× snellere pandas-reducties op nullable gegevenstypen, waarmee ontbrekende waarden expliciet worden weergegeven. Verder is er een mediane toename van 4.1% in het aantal hnswlib-query’s per seconde over drie indexconstructies en een 17.5% hogere USearch-verwerkingscapaciteit op één kern met GCC 11.4. De laatste twee bibliotheken voeren vectorzoekopdrachten uit, een kerntaak bij het ophalen van informatie voor AI.

In hetzelfde technische verslag staan 134.064 differentiële testgevallen voor de pandas-patch voor nullable gegevenstypen, met nul verschillen in waarden, maskers, gegevenstypen of uitzonderingen. Invoer die niet onder het snelle pad valt, wordt verwerkt met de bestaande implementatie van pandas. Alle drie de pandas-optimalisaties zijn ingediend als pullrequests voor opname in het hoofdproject. De hnswlib-patch hergebruikt scratchgeheugen per worker en behoudt daarbij byte-identieke zoekresultaten. De USearch-patch slaat de normen van opgeslagen vectoren op in een cache. Dat kost vier bytes per vector, terwijl de recall in de gerapporteerde evaluatie behouden blijft.

Grenzen aan autonomie en implementatie

Onderzoekers bepalen nog steeds de doelen, budgetten, evaluaties en beperkingen voor de gegevens. Modellen die voor productgebruik zijn bedoeld, worden uitsluitend getraind met datasets die een ethische en juridische beoordeling hebben doorstaan. Een verbeterd model moet ook voldoen aan de vereisten voor vertrouwen en veiligheid in productie. Salesforce zei dat het werk aan productiegebruik gaande is; de onderzoeksresultaten van SFR-Embedding v4 betekenen dus niet dat het product al bij klanten is uitgerold.

SFR-AutoR&D combineert autonoom experimenteren met door mensen vastgestelde beperkingen en bewijsvereisten. De onmiddellijke betekenis ervan is dat deze gecontroleerde onderzoekscyclus wordt teruggebracht van weken tot dagen; de volgende wezenlijke test is of de verbeteringen van v4 de productiebeoordeling doorstaan en terechtkomen in de systemen voor informatieopvraging waarvan de zakelijke agents van Salesforce afhankelijk zijn.