SFR-AutoR&D de Salesforce automatiza la investigación y validación de modelos

Salesforce presentó SFR-AutoR&D el 11 de noviembre de 2026 y afirmó que sus agentes produjeron SFR-Embedding v4 en unas 80 horas, en lugar de las varias semanas que suelen requerir los experimentos realizados por personas. El sistema está diseñado para ejecutar el ciclo de investigación de forma autónoma, tanto modificando bases de código existentes como desarrollando y probando nuevos métodos de entrenamiento para modelos de IA.

El trabajo va más allá de una demostración de investigación aislada. SFR-AutoR&D ya había mejorado SFR-Embedding V3, que Salesforce utiliza para la recuperación de información en Data Cloud, antes de que los investigadores lo aplicaran al modelo de referencia de código abierto EmbeddingGemma 2 para crear la versión 4. Los modelos de incrustación convierten el texto en representaciones numéricas para que los sistemas puedan recuperar registros, documentos o historiales de casos. En la arquitectura de Salesforce, esa recuperación proporciona la información de los clientes en la que se basan las respuestas de Agentforce, por lo que su calidad influye en la respuesta posterior del agente.

Dos agentes, un ciclo de investigación controlado

El proyecto SFR-AutoR&D divide el trabajo en cuatro etapas: formular una hipótesis que se pueda probar, crear una propuesta y compararla con un modelo de referencia, evaluar la corrección o la calidad del modelo y aprender tanto de los experimentos satisfactorios como de los fallidos. Si una propuesta no demuestra una mejora verificada, el modelo de referencia no cambia.

AutoR&D-Engineer recibe un repositorio, un objetivo y un conjunto de restricciones, y luego genera un parche candidato acompañado de pruebas de rendimiento. TrainForge parte de un modelo de referencia, una tarea, una evaluación y un presupuesto de cómputo, y genera el mejor punto de control verificado junto con su registro de evaluación.

El proceso de descubrimiento de métodos de TrainForge genera estrategias de entrenamiento en lugar de limitarse a elegir entre una lista fija de recetas. Codex escribe implementaciones desde un espacio de trabajo vacío, y las comprobaciones verifican que el código en ejecución coincida con la idea propuesta. Las propuestas prometedoras pasan de una prueba rápida con LoRA, que actualiza un conjunto compacto de parámetros entrenables mientras conserva el modelo base, a una ejecución breve con todos los parámetros y, después, al entrenamiento completo. Los conjuntos de datos reservados y excluidos del entrenamiento se destinan a la evaluación.

Ambos agentes se ejecutan en AutoInfra, la infraestructura compartida de Salesforce para entrenamiento e inferencia. Esta asigna trabajadores con GPU a experimentos paralelos y mantiene las solicitudes, el progreso y los resultados de forma persistente, para que el trabajo pueda reanudarse tras interrupciones de la pasarela. AutoInfra también separa los entornos del algoritmo, del servicio de entrenamiento y del entorno aislado para proteger la integridad del sistema y evitar la manipulación de recompensas.

«El método científico sigue rigiendo el proceso, pero el ciclo avanza más rápido», afirmó Silvio Savarese, vicepresidente ejecutivo y científico jefe de Salesforce.

Mejoras en incrustaciones y resultados en bases de código

En la evaluación pública de incrustaciones, Salesforce informa que el punto de control de investigación obtuvo 57,21, frente a los 51,07 de EmbeddingGemma 2: una mejora declarada de 6,13 puntos en una escala de 0 a 100. El punto de control compatible con producción obtuvo 55,76. Las puntuaciones corresponden al promedio de nDCG@10 en 10 tareas de recuperación dentro del mismo conjunto MTEB de 41 tareas; la métrica evalúa la relevancia entre los 10 primeros resultados y da más peso a los elementos mejor clasificados.

Los tres modelos se evaluaron con un límite de contexto de 8.192 tokens. Salesforce indica expresamente que las mediciones son comparaciones locales entre puntos de control, no posiciones oficiales en la clasificación de MTEB. Por tanto, documentan una mejora respecto del modelo de referencia seleccionado en un protocolo controlado, pero no establecen una posición frente al conjunto más amplio de modelos.

Otra sesión autónoma, de aproximadamente nueve horas, se centró en la eficiencia del servicio. Salesforce informa de un aumento del 36 % en el rendimiento y una reducción del 17 % en la latencia, con una pérdida de calidad casi nula; esto vincula los resultados de investigación con el costo y la capacidad de respuesta de la recuperación en grandes conjuntos de datos de clientes.

Los resultados de ingeniería también indican que las reducciones de pandas en tipos de datos que admiten valores nulos —es decir, que representan explícitamente los valores faltantes— fueron hasta 1,84× más rápidas. Además, registran un aumento mediano del 4,1 % en las consultas por segundo de hnswlib en tres compilaciones del índice, y un rendimiento un 17,5 % mayor en un solo núcleo de USearch con GCC 11.4. Estas dos últimas bibliotecas realizan búsquedas vectoriales, una operación fundamental en la recuperación de información mediante IA.

El mismo registro de ingeniería documenta 134.064 casos diferenciales para el parche de pandas para tipos de datos que admiten valores nulos, sin diferencias en valores, máscaras, tipos de datos ni excepciones. Las entradas que no siguen su ruta rápida recurren a la implementación existente de pandas, y las tres optimizaciones de pandas se han enviado como solicitudes de incorporación de cambios al proyecto original. El parche de hnswlib reutiliza memoria temporal por trabajador y conserva resultados de búsqueda idénticos byte por byte. El parche de USearch almacena en caché las normas de los vectores almacenados; añade cuatro bytes por vector y mantiene la misma recuperación en la evaluación descrita.

Límites de la autonomía y el despliegue

Los investigadores siguen definiendo los objetivos, los presupuestos, las evaluaciones y las restricciones sobre los datos. Los modelos destinados a productos solo se entrenan con conjuntos de datos que han superado una revisión ética y legal, y los modelos mejorados también deben cumplir los requisitos de confianza y seguridad para producción. Salesforce afirmó que el trabajo de preparación para producción está en marcha, por lo que los resultados de investigación de SFR-Embedding v4 no equivalen a un despliegue completo para los clientes.

SFR-AutoR&D combina la experimentación autónoma con restricciones y requisitos de evidencia definidos por personas. Su importancia inmediata radica en reducir ese ciclo de investigación controlada de semanas a días; la siguiente prueba sustancial será determinar si las mejoras de v4 superan la revisión para producción y llegan a los sistemas de recuperación de los que dependen los agentes empresariales de Salesforce.