SalesforceのSFR-AutoR&D、モデル研究と検証を自動化

Salesforceは2026年11月11日、SFR-AutoR&Dを発表し、同システムのエージェントが約80時間でSFR-Embedding v4を開発したと明らかにした。人間による実験では通常、数週間かかる作業だという。このシステムは、既存のコードベースを変更するだけでなく、AIモデル向けの新たな学習手法を開発・検証することで、研究サイクル全体を自律的に実行するよう設計されている。

この取り組みは、単独の研究デモにとどまらない。研究者がオープンソースのEmbeddingGemma 2を基準モデルとしてv4の開発に取り組む前に、SFR-AutoR&Dはすでに、SalesforceがData Cloudで検索に利用するSFR-Embedding V3を改良していた。埋め込みモデルはテキストを数値表現に変換し、システムがレコード、文書、ケース履歴を検索できるようにする。Salesforceのアーキテクチャでは、この検索によってAgentforceの回答の根拠となる顧客情報が提供されるため、検索の品質はエージェントがその後に生成する回答を左右する重要な要素となる。

2つのエージェントが担う、管理された研究サイクル

SFR-AutoR&Dプロジェクトでは、作業を4段階に分けている。検証可能な仮説を立て、候補を作成してベースラインと比較し、正確性またはモデルの品質を評価したうえで、成功した実験と失敗した実験の両方から学ぶ。検証済みの性能向上を示せない候補は、ベースラインを変更しない。

AutoR&D-Engineerは、リポジトリ、目標、制約を受け取り、ベンチマークの証拠を添えた候補パッチを作成する。TrainForgeは、ベースラインモデル、タスク、評価方法、計算予算を基に、検証済みの最良のチェックポイントとその評価記録を生成する。

TrainForgeの手法探索プロセスは、固定されたレシピの一覧から選ぶのではなく、学習戦略を生成する。Codexは何もない作業環境から実装を作成し、実行中のコードが提案されたアイデアと一致するかを検証する。有望な候補は、ベースモデルを維持しながら少数の学習可能なパラメーターを更新する高速なLoRAテストから、短時間の全パラメーター実行、さらに本格的な学習へと進む。評価には、学習時に使用せず保留した固定データセットを用いる。

2つのエージェントはどちらも、Salesforce共通の学習・推論基盤であるAutoInfra上で動作する。同基盤はGPUワーカーを並列実験に割り当て、リクエスト、進捗、結果を永続的に保持するため、ゲートウェイが中断しても作業を再開できる。また、システムの完全性を保ち、報酬ハッキングを防ぐため、アルゴリズム、学習サービス、サンドボックスの各環境を分離している。

「科学的方法は今も研究を導いており、そのサイクルが高速化している」と、Salesforceのエグゼクティブバイスプレジデント兼チーフサイエンティスト、Silvio Savarese氏は述べた。

埋め込み性能の向上とコードベースでの成果

公開されている埋め込み評価で、Salesforceによると、研究用チェックポイントは57.21を記録し、EmbeddingGemma 2の51.07を上回った。0～100の尺度で、報告された向上幅は6.13ポイントとなる。本番環境での利用を想定したチェックポイントは55.76を記録した。これらのスコアは、同じ41タスクからなるMTEBスイートのうち、10の検索タスクにおけるnDCG@10の平均値だ。この指標は上位10件の結果の関連性を評価し、順位が高い項目ほど大きく重み付けする。

3つのモデルはいずれも、コンテキスト長を8,192トークンに制限して評価された。Salesforceは、これらの測定値を公式のMTEBリーダーボード順位ではなく、ローカル環境でのチェックポイント比較だと明記している。したがって、管理された評価手順のもとで選定したベースラインから改善したことは示されているものの、より広範なモデル群に対する位置付けを示すものではない。

サービング効率を対象とした別の自律実行セッションは、約9時間にわたった。Salesforceによると、品質をほぼ損なうことなくスループットが36%向上し、レイテンシが17%低下した。この結果は、大規模な顧客データセット全体を検索する際のコストと応答性に、研究成果がどう結び付くかを示している。

エンジニアリング面の成果として、欠損値を明示的に表すnullableデータ型を用いたpandasの集約処理が、最大1.84倍高速化したことも報告されている。また、3種類のインデックス構築において、hnswlibのクエリ数が中央値で4.1%増加したほか、GCC 11.4を用いた場合、単一コアでのUSearchのスループットが17.5%向上した。後者の2つのライブラリは、AI検索の中核となる処理であるベクトル検索を実行する。

同じエンジニアリング記録には、nullable型に対応するpandasのパッチについて、134,064件の差分テストを実施し、値、マスク、データ型、例外のいずれにも差がなかったことが記されている。高速処理の対象外となる入力には、pandasの既存実装を適用する。また、pandasの最適化3件はいずれも、上流リポジトリへのプルリクエストとして提出済みだ。hnswlibのパッチは、検索結果をバイト単位で完全に一致させたまま、ワーカーごとにスクラッチメモリを再利用する。USearchのパッチは格納されたベクトルのノルムをキャッシュし、報告された評価で再現率を維持しながら、ベクトル1件あたり4バイトを追加する。

自律性と導入における制約

目標、予算、評価方法、データに関する制約は、引き続き研究者が設定する。製品利用を想定したモデルには、倫理面および法務面の審査を通過した学習データセットのみを使用し、改良されたモデルも本番環境の信頼性・安全性要件を満たさなければならない。Salesforceは、本番導入に向けた作業が進行中だと述べており、SFR-Embedding v4の研究成果は、顧客への導入が完了したことを意味しない。

SFR-AutoR&Dは、人間が設定する制約や証拠要件のもとで、自律的な実験を行います。現時点での意義は、この管理された研究サイクルを数週間から数日へと短縮できることです。次に本格的に検証すべきなのは、v4の改善が本番環境の審査基準を満たし、Salesforceのエンタープライズエージェントが依存する検索システムに反映されるかどうかです。