Salesforce의 SFR-AutoR&D, 모델 연구와 검증 자동화

Salesforce는 2026년 11월 11일 SFR-AutoR&D를 선보이며, 이 시스템의 에이전트가 SFR-Embedding v4를 약 80시간 만에 만들었다고 밝혔다. 사람이 실험을 진행할 때는 보통 몇 주가 걸리는 작업이다. 이 시스템은 기존 코드베이스를 수정하고 AI 모델을 위한 새로운 학습 방법을 개발·시험하는 방식으로 연구 주기를 자율적으로 수행하도록 설계됐다.

이 작업은 독립적인 연구 시연에 그치지 않는다. 연구진이 오픈 소스 기준 모델인 EmbeddingGemma 2에 적용해 v4를 만들기 전에, SFR-AutoR&D는 이미 Salesforce가 Data Cloud에서 검색에 사용하는 SFR-Embedding V3를 개선한 바 있다. 임베딩 모델은 텍스트를 숫자 표현으로 변환해 시스템이 레코드, 문서 또는 사례 기록을 검색할 수 있도록 한다. Salesforce 아키텍처에서 검색은 Agentforce가 답변의 근거로 삼는 고객 정보를 제공하므로, 검색 품질은 에이전트가 이후에 내놓는 응답에도 중요한 영향을 미친다.

에이전트 두 개, 통제된 연구 주기 하나

SFR-AutoR&D 프로젝트는 작업을 네 단계로 나눈다. 검증 가능한 가설을 찾고, 후보 모델과 기준 모델을 비교할 수 있도록 구성하고, 정확성이나 모델 품질을 평가한 다음, 성공과 실패를 모두 반영해 학습한다. 검증된 성능 향상을 입증하지 못한 후보는 기준 모델에 아무런 변화를 주지 않는다.

AutoR&D-Engineer는 저장소, 목표, 제약 조건을 입력받아 벤치마크 근거를 함께 제시하는 후보 패치를 만든다. TrainForge는 기준 모델, 작업, 평가 방식, 연산 예산을 입력받아 검증을 거친 최상의 체크포인트와 평가 기록을 산출한다.

TrainForge의 방법 탐색 과정은 정해진 레시피 목록에서만 선택하는 대신 학습 전략을 만들어 낸다. Codex는 빈 작업 공간에서 구현 코드를 작성하고, 검사를 통해 실행 중인 코드가 제안된 아이디어와 일치하는지 확인한다. 유망한 후보는 기반 모델을 유지하면서 학습 가능한 소수의 매개변수만 업데이트하는 빠른 LoRA 시험을 거친 뒤, 짧은 전체 매개변수 학습을 진행하고 이후 전체 학습으로 넘어간다. 고정된 홀드아웃 데이터셋은 평가용으로 따로 남겨 둔다.

두 에이전트 모두 Salesforce의 공용 학습·추론 인프라인 AutoInfra에서 실행된다. AutoInfra는 GPU 작업자를 여러 실험에 배정하고 요청, 진행 상황, 결과를 유지해 게이트웨이가 중단된 뒤에도 작업을 재개할 수 있게 한다. 또한 알고리즘, 학습 서비스, 샌드박스 환경을 분리해 시스템 무결성을 보호하고 보상 해킹을 방지한다.

Salesforce의 수석 부사장이자 최고 과학자인 실비오 사바레세는 “과학적 방법은 여전히 연구를 이끌고, 연구 주기는 더 빨라졌다”고 말했다.

임베딩 성능 향상과 코드베이스 개선 결과

공개 임베딩 평가에서 Salesforce는 연구용 체크포인트가 57.21점을 기록해 EmbeddingGemma 2의 51.07점보다 6.13점 높았다고 밝혔다. 0~100점 척도에서 보고된 성능 향상이다. 프로덕션 지원 체크포인트는 55.76점을 기록했다. 점수는 동일한 41개 작업으로 구성된 MTEB 평가군 중 검색 작업 10개의 nDCG@10 평균이다. 이 지표는 상위 10개 결과의 관련성을 평가하며, 순위가 높은 항목에 더 큰 가중치를 부여한다.

세 모델 모두 컨텍스트 한도를 8,192토큰으로 설정해 평가했다. Salesforce는 이 측정값이 로컬 체크포인트 간 비교이며 공식 MTEB 순위표 점수가 아니라고 명시했다. 따라서 이 결과는 통제된 프로토콜에서 선정된 기준 모델보다 성능이 향상됐음을 보여 주지만, 더 넓은 범위의 모델과 비교한 순위를 입증하지는 않는다.

약 9시간 동안 진행된 별도의 자율 세션에서는 서빙 효율성을 개선하는 데 초점을 맞췄다. Salesforce는 품질 저하가 거의 없는 상태에서 처리량이 36% 높아지고 지연 시간이 17% 줄었다고 밝혔다. 이는 연구 결과를 대규모 고객 데이터셋 검색의 비용과 응답성에 연결한다.

엔지니어링 결과에는 결측값을 명시적으로 표현하는 nullable 데이터 유형에서 pandas 연산이 최대 1.84배 빨라졌다는 내용도 담겼다. 또한 세 가지 인덱스 빌드에서 hnswlib의 초당 쿼리 수 중앙값이 4.1% 증가했고, GCC 11.4를 사용했을 때 단일 코어 USearch 처리량이 17.5% 높아졌다고 보고했다. 이 두 라이브러리는 AI 검색의 핵심 작업인 벡터 검색을 수행한다.

같은 엔지니어링 기록에 따르면 nullable 데이터 유형을 지원하는 pandas 패치는 차등 테스트 사례 134,064개를 처리했으며, 값, 마스크, 데이터 유형, 예외에서 차이가 전혀 없었다. 빠른 처리 경로에 해당하지 않는 입력은 pandas의 기존 구현으로 넘어가며, pandas 최적화 세 건은 모두 업스트림 풀 리퀘스트로 제출됐다. hnswlib 패치는 작업자마다 스크래치 메모리를 재사용하면서 검색 결과를 바이트 단위까지 동일하게 유지한다. USearch 패치는 저장된 벡터의 노름을 캐시해 벡터당 4바이트를 추가로 사용하며, 보고된 평가에서 재현율을 그대로 유지한다.

자율성 및 배포의 한계

연구진은 여전히 목표, 예산, 평가 방식, 데이터 제약 조건을 설정한다. 제품에 사용할 모델은 윤리적·법적 검토를 통과한 학습 데이터셋만 이용하며, 개선된 모델도 프로덕션 신뢰 및 안전 요건을 충족해야 한다. Salesforce는 프로덕션 작업이 진행 중이라고 밝혔으므로, SFR-Embedding v4의 연구 결과가 고객 대상 배포 완료를 의미하지는 않는다.

SFR-AutoR&D는 자율 실험과 사람이 설정한 제약 조건 및 증거 요건을 결합합니다. 당장 중요한 점은 이처럼 통제된 연구 주기를 몇 주에서 며칠로 단축한다는 것입니다. 다음으로 실질적인 검증 과제는 v4의 성능 향상이 운영 환경 검토를 통과하고 Salesforce의 엔터프라이즈 에이전트가 의존하는 검색 시스템에 적용되는지 여부입니다.