Salesforces SFR-AutoR&D automatisiert Modellforschung und -validierung

Salesforce stellte SFR-AutoR&D vor und erklärte am 11. November 2026, seine Agenten hätten SFR-Embedding v4 in etwa 80 Stunden entwickelt – statt in den mehreren Wochen, die Experimente durch Menschen häufig erfordern. Das System soll den Forschungszyklus autonom durchlaufen, indem es sowohl bestehende Codebasen verändert als auch neue Trainingsmethoden für KI-Modelle entwickelt und testet.

Die Arbeit geht über eine isolierte Forschungsdemonstration hinaus. SFR-AutoR&D hatte SFR-Embedding V3 bereits verbessert, das Salesforce für den Abruf in Data Cloud verwendet, bevor die Forschenden das System auf die Open-Source-Baseline EmbeddingGemma 2 ansetzten, um v4 zu entwickeln. Embeddingmodelle wandeln Text in numerische Repräsentationen um, damit Systeme Datensätze, Dokumente oder Fallverläufe abrufen können. In der Salesforce-Architektur liefert dieser Abruf Kundeninformationen, auf denen die Antworten von Agentforce beruhen. Damit ist die Abrufqualität entscheidend für die anschließende Antwort des Agenten.

Zwei Agenten, ein kontrollierter Forschungszyklus

Das SFR-AutoR&D-Projekt unterteilt die Arbeit in vier Phasen: eine überprüfbare Hypothese entwickeln, einen Kandidaten und einen Baseline-Vergleich erstellen, die Korrektheit oder Modellqualität bewerten und aus erfolgreichen wie fehlgeschlagenen Experimenten lernen. Kann ein Kandidat keinen verifizierten Zugewinn nachweisen, bleibt die Baseline unverändert.

AutoR&D-Engineer erhält ein Repository, ein Ziel und Rahmenbedingungen und erstellt anschließend einen Änderungsvorschlag samt Benchmark-Belegen. TrainForge startet mit einem Baseline-Modell, einer Aufgabe, einer Evaluierung und einem Rechenbudget und liefert den besten verifizierten Checkpoint sowie dessen Evaluierungsprotokoll.

TrainForges Prozess zur Methodenfindung entwickelt Trainingsstrategien, statt nur aus einer festgelegten Liste von Rezepten auszuwählen. Codex schreibt Implementierungen in einem leeren Arbeitsbereich, und Prüfungen stellen sicher, dass der ausgeführte Code der vorgeschlagenen Idee entspricht. Vielversprechende Kandidaten durchlaufen zunächst einen schnellen LoRA-Test, bei dem eine kompakte Menge trainierbarer Parameter aktualisiert wird, während das Basismodell erhalten bleibt. Danach folgen ein kurzer Lauf mit allen Parametern und schließlich das vollständige Training. Zur Evaluierung werden eingefrorene, zurückgehaltene Datensätze verwendet.

Beide Agenten laufen auf AutoInfra, der gemeinsamen Trainings- und Inferenzinfrastruktur von Salesforce. Sie weist GPU-Arbeitsknoten parallelen Experimenten zu und speichert Anfragen, Fortschritte und Ergebnisse dauerhaft, sodass die Arbeit nach Unterbrechungen am Gateway fortgesetzt werden kann. Außerdem trennt AutoInfra die Umgebungen für Algorithmen, Trainingsdienste und Sandboxen, um die Systemintegrität zu schützen und Reward-Hacking zu verhindern.

„Die wissenschaftliche Methode gibt weiterhin den Rahmen vor, aber der Zyklus läuft schneller ab“, sagte Silvio Savarese, Executive Vice President und Chief Scientist von Salesforce.

Zuwächse bei Embeddings und Ergebnisse auf Codebasen

Bei der öffentlichen Embedding-Evaluierung erzielte der Forschungs-Checkpoint laut Salesforce 57,21 gegenüber 51,07 für EmbeddingGemma 2. Das entspricht einem ausgewiesenen Zugewinn von 6,13 Punkten auf einer Skala von 0 bis 100. Der für den Produktionseinsatz unterstützte Checkpoint erreichte 55,76. Die Werte sind Durchschnittswerte des nDCG@10 über 10 Abrufaufgaben innerhalb derselben MTEB-Testreihe mit 41 Aufgaben. Die Metrik bewertet die Relevanz der 10 besten Ergebnisse und gewichtet höher eingestufte Elemente stärker.

Alle drei Modelle wurden mit einer Kontextbegrenzung von 8.192 Tokens evaluiert. Salesforce kennzeichnet die Messwerte ausdrücklich als Vergleiche lokaler Checkpoints und nicht als offizielle Platzierungen in der MTEB-Bestenliste. Sie dokumentieren somit eine Verbesserung gegenüber der ausgewählten Baseline unter einem kontrollierten Testverfahren, belegen aber keine Position im Vergleich zum breiteren Feld.

In einer separaten, etwa neun Stunden dauernden autonomen Sitzung wurde die Effizienz des Modellbetriebs untersucht. Salesforce berichtet von einem um 36 % höheren Durchsatz und einer um 17 % geringeren Latenz bei nahezu unverändert hoher Qualität. Damit wird das Forschungsergebnis mit den Kosten und der Reaktionsfähigkeit des Abrufs über große Kundendatensätze hinweg verknüpft.

Die Ergebnisse der Entwicklungsarbeit weisen außerdem auf bis zu 1,84-mal schnellere pandas-Reduktionen bei nullwertfähigen Datentypen hin, die fehlende Werte ausdrücklich darstellen. Dokumentiert werden zudem ein um 4,1 % höherer Median bei den Abfragen pro Sekunde für hnswlib über drei Indexaufbauten hinweg sowie ein um 17,5 % höherer USearch-Durchsatz auf einem einzelnen Kern mit GCC 11.4. Die beiden letztgenannten Bibliotheken führen Vektorsuchen durch – eine zentrale Operation beim KI-gestützten Abruf.

Dieselbe Entwicklungsdokumentation verzeichnet 134.064 Differenzfälle für den pandas-Patch für nullwertfähige Datentypen, ohne Abweichungen bei Werten, Masken, Datentypen oder Ausnahmen. Eingaben, die nicht über den Schnellpfad verarbeitet werden können, werden an die bestehende pandas-Implementierung weitergeleitet. Alle drei pandas-Optimierungen wurden als Pull Requests zur Übernahme in das Upstream-Projekt eingereicht. Der hnswlib-Patch verwendet den Scratch-Speicher pro Arbeitsknoten wieder und erhält dabei byte-identische Suchergebnisse. Der USearch-Patch speichert Normen bereits gespeicherter Vektoren zwischen. Dafür kommen vier Byte pro Vektor hinzu; der Recall bleibt in der berichteten Evaluierung unverändert.

Grenzen der Autonomie und des Einsatzes

Die Forschenden legen weiterhin Ziele, Budgets, Evaluierungen und Datenbeschränkungen fest. Für den Produkteinsatz vorgesehene Modelle greifen ausschließlich auf Trainingsdatensätze zurück, die eine ethische und rechtliche Prüfung bestanden haben. Ein verbessertes Modell muss außerdem die Anforderungen an Vertrauen und Sicherheit im Produktionseinsatz erfüllen. Salesforce erklärte, dass die Arbeiten für den Produktionseinsatz noch laufen. Die Forschungsergebnisse zu SFR-Embedding v4 bedeuten daher nicht, dass das Modell bereits vollständig für Kunden eingeführt wurde.

SFR-AutoR&D verbindet autonome Experimente mit von Menschen festgelegten Einschränkungen und Nachweisanforderungen. Die unmittelbare Bedeutung besteht darin, diesen kontrollierten Forschungszyklus von Wochen auf Tage zu verkürzen. Der nächste entscheidende Test ist, ob die Verbesserungen von v4 die Produktionsprüfung bestehen und die Abrufsysteme erreichen, auf die die Unternehmensagenten von Salesforce angewiesen sind.