O SFR-AutoR&D da Salesforce automatiza a pesquisa e a validação de modelos

Salesforce apresentou o SFR-AutoR&D em 11 de novembro de 2026, afirmando que seus agentes produziram o SFR-Embedding v4 em cerca de 80 horas, em vez das várias semanas que a experimentação humana costuma exigir. O sistema foi projetado para executar o ciclo de pesquisa de forma autônoma, tanto alterando bases de código existentes quanto desenvolvendo e testando novos métodos de treinamento para modelos de IA.

O trabalho vai além de uma demonstração de pesquisa isolada. O SFR-AutoR&D já havia aprimorado o SFR-Embedding V3, que a Salesforce usa para recuperação no Data Cloud, antes de os pesquisadores aplicarem o sistema à linha de base de código aberto EmbeddingGemma 2 para criar a v4. Os modelos de incorporação convertem texto em representações numéricas para que os sistemas possam recuperar registros, documentos ou históricos de casos. Na arquitetura da Salesforce, essa recuperação fornece as informações dos clientes nas quais as respostas do Agentforce se baseiam, tornando a qualidade da recuperação determinante para a resposta subsequente do agente.

Dois agentes, um ciclo de pesquisa controlado

O projeto SFR-AutoR&D divide o trabalho em quatro etapas: identificar uma hipótese testável, criar um candidato e compará-lo com a linha de base, avaliar a correção ou a qualidade do modelo e aprender com experimentos bem-sucedidos e malsucedidos. Se um candidato não comprovar um ganho verificado, a linha de base permanece inalterada.

O AutoR&D-Engineer recebe um repositório, um objetivo e um conjunto de restrições e, em seguida, produz um patch candidato acompanhado de evidências de benchmark. O TrainForge começa com um modelo de linha de base, uma tarefa, uma avaliação e um orçamento computacional, e produz o melhor checkpoint verificado e seu registro de avaliação.

O processo de descoberta de métodos do TrainForge gera estratégias de treinamento, em vez de escolher apenas entre opções de uma lista fixa de receitas. O Codex escreve implementações em um espaço de trabalho vazio, e verificações confirmam que o código em execução corresponde à ideia proposta. Candidatos promissores avançam de um teste rápido com LoRA, que atualiza um conjunto compacto de parâmetros treináveis enquanto mantém o modelo base, para uma execução breve com todos os parâmetros e, depois, para o treinamento completo. Conjuntos de dados congelados e mantidos à parte são reservados para avaliação.

Os dois agentes são executados no AutoInfra, a infraestrutura compartilhada da Salesforce para treinamento e inferência. Ela atribui trabalhadores de GPU a experimentos paralelos e mantém solicitações, progresso e resultados persistentes, para que o trabalho possa ser retomado após interrupções no gateway. O AutoInfra também separa os ambientes do algoritmo, do serviço de treinamento e da área isolada (sandbox) para proteger a integridade do sistema e evitar a manipulação da função de recompensa.

“O método científico continua a orientar o trabalho, mas o ciclo é mais rápido”, disse Silvio Savarese, vice-presidente executivo e cientista-chefe da Salesforce.

Ganhos em incorporações e resultados em bases de código

Na avaliação pública de incorporações, a Salesforce informa que o checkpoint de pesquisa obteve 57,21, contra 51,07 do EmbeddingGemma 2, um ganho relatado de 6,13 pontos em uma escala de 0 a 100. O checkpoint compatível com produção obteve 55,76. As pontuações correspondem à média do nDCG@10 em 10 tarefas de recuperação dentro do mesmo conjunto de avaliação MTEB, composto por 41 tarefas; a métrica avalia a relevância entre os 10 principais resultados, atribuindo maior peso aos itens mais bem classificados.

Os três modelos foram avaliados com um limite de contexto de 8.192 tokens. A Salesforce identifica explicitamente as medições como comparações locais entre checkpoints, e não como posições oficiais no ranking da MTEB. Portanto, elas documentam uma melhoria em relação à linha de base selecionada segundo um protocolo controlado, mas não estabelecem uma posição diante do conjunto mais amplo de modelos.

Uma sessão autônoma separada, com duração de aproximadamente nove horas, teve como objetivo melhorar a eficiência do serviço. A Salesforce relata um aumento de 36% na taxa de processamento e uma redução de 17% na latência, com perda de qualidade quase nula, relacionando o resultado da pesquisa ao custo e à capacidade de resposta da recuperação em grandes conjuntos de dados de clientes.

Os resultados de engenharia também relatam reduções pandas até 1,84× mais rápidas em tipos de dados anuláveis, que representam explicitamente valores ausentes. Eles registram um aumento mediano de 4,1% nas consultas por segundo do hnswlib em três compilações de índice e uma taxa de processamento do USearch 17,5% maior em núcleo único com o GCC 11.4. Essas duas últimas bibliotecas realizam busca vetorial, uma operação central na recuperação por IA.

O mesmo registro de engenharia documenta 134.064 casos de teste diferencial para o patch do pandas referente a tipos de dados anuláveis, sem diferenças nos valores, nas máscaras, nos tipos de dados ou nas exceções. As entradas fora do caminho rápido recorrem à implementação existente do pandas, e as três otimizações para pandas foram submetidas como solicitações de integração ao projeto original. O patch do hnswlib reutiliza memória temporária por trabalhador, preservando resultados de busca idênticos byte a byte. O patch do USearch armazena em cache as normas dos vetores armazenados, adicionando quatro bytes por vetor e preservando a revocação na avaliação relatada.

Limites de autonomia e implantação

Os pesquisadores ainda definem os objetivos, os orçamentos, as avaliações e as restrições de dados. Os modelos destinados ao uso em produtos utilizam apenas conjuntos de dados de treinamento que passaram por análise ética e jurídica, e um modelo aprimorado também precisa atender aos requisitos de confiança e segurança para produção. A Salesforce afirmou que o trabalho de produção está em andamento; portanto, os resultados de pesquisa do SFR-Embedding v4 não significam que sua implantação para clientes esteja concluída.

SFR-AutoR&D combina experimentação autônoma com restrições e requisitos de evidência definidos por humanos. Sua importância imediata está em reduzir de semanas para dias esse ciclo controlado de pesquisa; o próximo teste substancial é verificar se os ganhos da v4 atendem aos critérios de revisão para produção e chegam aos sistemas de recuperação dos quais dependem os agentes corporativos da Salesforce.