Modèles et plateformes d’IA
Salesforce automatise la recherche et la validation des modèles avec SFR-AutoR&D
Ajouter Unite.AI à vos sources préférées sur Google
Salesforce a présenté SFR-AutoR&D le 11 novembre 2026, indiquant que ses agents avaient produit SFR-Embedding v4 en environ 80 heures, au lieu des plusieurs semaines que nécessitent souvent les expérimentations menées par des humains. Le système est conçu pour exécuter de manière autonome le cycle de recherche, en modifiant des bases de code existantes comme en élaborant et en testant de nouvelles méthodes d’entraînement pour les modèles d’IA.
Ces travaux vont au-delà d’une démonstration de recherche isolée. SFR-AutoR&D avait déjà amélioré SFR-Embedding V3, que Salesforce utilise pour la recherche d’informations dans Data Cloud, avant que les chercheurs ne l’appliquent au modèle de référence open source EmbeddingGemma 2 pour créer la version v4. Les modèles d’embedding convertissent le texte en représentations numériques qui permettent aux systèmes de retrouver des dossiers, des documents ou des historiques de cas. Dans l’architecture de Salesforce, cette recherche fournit les informations client sur lesquelles s’appuient les réponses d’Agentforce ; sa qualité influe donc sur la réponse ultérieure de l’agent.
Deux agents, une boucle de recherche contrôlée
Le projet SFR-AutoR&D répartit le travail en quatre étapes : formuler une hypothèse vérifiable, construire un candidat et le comparer à un modèle de référence, évaluer l’exactitude ou la qualité du modèle, puis tirer des enseignements des expériences réussies comme des échecs. Un candidat qui ne démontre aucun gain vérifié ne modifie pas le modèle de référence.
AutoR&D-Engineer reçoit un dépôt, une cible et des contraintes, puis produit un correctif candidat accompagné de résultats de référence. TrainForge part d’un modèle de référence, d’une tâche, d’une évaluation et d’un budget de calcul, puis fournit le meilleur point de contrôle vérifié et son rapport d’évaluation.
Le processus de découverte de méthodes de TrainForge génère des stratégies d’entraînement au lieu de choisir uniquement parmi une liste fixe de recettes. Codex écrit des implémentations à partir d’un espace de travail vierge, et des vérifications confirment que le code exécuté correspond à l’idée proposée. Les candidats prometteurs passent d’un test LoRA rapide, qui met à jour un ensemble restreint de paramètres entraînables tout en conservant le modèle de base, à une courte exécution avec l’ensemble des paramètres, puis à un entraînement complet. Les jeux de données mis à l’écart et figés sont réservés à l’évaluation.
Les deux agents fonctionnent sur AutoInfra, l’infrastructure commune de Salesforce pour l’entraînement et l’inférence. Celle-ci affecte des processeurs graphiques aux expériences menées en parallèle et conserve les requêtes, l’avancement et les résultats afin que le travail puisse reprendre après une interruption de la passerelle. AutoInfra sépare également les environnements de l’algorithme, du service d’entraînement et du bac à sable pour protéger l’intégrité du système et prévenir le détournement du mécanisme de récompense.
« La méthode scientifique reste le principe directeur, mais la boucle s’exécute plus rapidement », a déclaré Silvio Savarese, vice-président exécutif et scientifique en chef de Salesforce.
Progrès sur les embeddings et résultats sur les bases de code
Lors de l’évaluation publique des embeddings, Salesforce indique que le point de contrôle de recherche a obtenu un score de 57,21, contre 51,07 pour EmbeddingGemma 2, soit un gain annoncé de 6,13 points sur une échelle de 0 à 100. Le point de contrôle pris en charge pour la production a obtenu un score de 55,76. Les scores correspondent à la moyenne du nDCG@10 sur 10 tâches de recherche d’informations de la même suite MTEB, qui compte 41 tâches. Cette métrique évalue la pertinence parmi les 10 premiers résultats, en accordant davantage de poids aux éléments les mieux classés.
Les trois modèles ont été évalués avec une limite de contexte de 8 192 jetons. Salesforce précise que ces mesures sont des comparaisons locales entre points de contrôle, et non des classements officiels du palmarès MTEB. Elles attestent donc d’une amélioration par rapport au modèle de référence choisi dans le cadre d’un protocole contrôlé, sans établir de position face à l’ensemble du secteur.
Une autre session autonome, d’une durée d’environ neuf heures, visait à améliorer l’efficacité de la mise en service. Salesforce fait état d’un débit supérieur de 36 % et d’une latence réduite de 17 %, avec une perte de qualité presque nulle, reliant ainsi les résultats de recherche au coût et à la réactivité de la recherche d’informations dans de vastes jeux de données clients.
Les résultats d’ingénierie font également état de réductions pandas jusqu’à 1,84 fois plus rapides sur des types de données nullables, qui représentent explicitement les valeurs manquantes. Ils indiquent une hausse médiane de 4,1 % du nombre de requêtes par seconde avec hnswlib lors de trois constructions d’index, ainsi qu’un débit supérieur de 17,5 % sur un seul cœur avec USearch et GCC 11.4. Ces deux dernières bibliothèques effectuent des recherches vectorielles, une opération essentielle à la recherche d’informations par l’IA.
Le même bilan d’ingénierie recense 134 064 cas de tests différentiels pour le correctif pandas relatif aux types de données nullables, sans aucune différence dans les valeurs, les masques, les types de données ou les exceptions. Les entrées qui ne suivent pas son chemin rapide sont traitées par l’implémentation existante de pandas, et les trois optimisations pandas ont été soumises sous forme de demandes de modification dans le dépôt amont. Le correctif hnswlib réutilise la mémoire temporaire de chaque processus de travail tout en préservant des résultats de recherche identiques octet pour octet. Le correctif USearch met en cache les normes des vecteurs stockés, ce qui ajoute quatre octets par vecteur tout en préservant le rappel lors de l’évaluation rapportée.
Limites de l’autonomie et du déploiement
Les chercheurs définissent toujours les objectifs, les budgets, les évaluations et les contraintes relatives aux données. Les modèles destinés à être utilisés dans des produits s’appuient uniquement sur des jeux de données d’entraînement ayant passé les examens éthiques et juridiques, et tout modèle amélioré doit également satisfaire aux exigences de confiance et de sécurité applicables en production. Salesforce a indiqué que les travaux de mise en production étaient en cours ; les résultats de recherche de SFR-Embedding v4 ne signifient donc pas que son déploiement auprès des clients est achevé.
SFR-AutoR&D associe l’expérimentation autonome à des contraintes définies par des humains et à des exigences en matière de preuves. Son importance immédiate tient à la réduction de ce cycle de recherche encadré, qui passe de plusieurs semaines à quelques jours ; le prochain test de fond consistera à déterminer si les progrès de la version 4 satisfont aux exigences de l’évaluation en vue de la mise en production et atteignent les systèmes de récupération dont dépendent les agents d’entreprise de Salesforce.
