Salesforce Mengotomatiskan Riset dan Validasi Model dengan SFR-AutoR&D

Salesforce memperkenalkan SFR-AutoR&D pada 11 November 2026. Perusahaan menyatakan bahwa agen-agennya menghasilkan SFR-Embedding v4 dalam waktu sekitar 80 jam, alih-alih beberapa minggu yang biasanya dibutuhkan eksperimen manusia. Sistem ini dirancang untuk menjalankan siklus riset secara otonom, baik dengan mengubah basis kode yang sudah ada maupun mengembangkan dan menguji metode pelatihan baru untuk model AI.

Pekerjaan ini tidak terbatas pada demonstrasi riset yang berdiri sendiri. Sebelum para peneliti mengarahkannya ke model dasar sumber terbuka EmbeddingGemma 2 untuk membuat v4, SFR-AutoR&D telah meningkatkan SFR-Embedding V3, yang digunakan Salesforce untuk pengambilan informasi di Data Cloud. Model embedding mengubah teks menjadi representasi numerik agar sistem dapat mengambil rekaman, dokumen, atau riwayat kasus. Dalam arsitektur Salesforce, proses pengambilan informasi tersebut menyediakan data pelanggan sebagai landasan jawaban Agentforce, sehingga kualitas pengambilan informasi berpengaruh terhadap respons agen selanjutnya.

Dua Agen, Satu Siklus Riset Terkendali

Proyek SFR-AutoR&D membagi pekerjaan menjadi empat tahap: menemukan hipotesis yang dapat diuji, membangun kandidat dan perbandingan dengan model dasar, mengevaluasi kebenaran atau kualitas model, serta belajar dari eksperimen yang berhasil maupun gagal. Jika suatu kandidat tidak dapat membuktikan adanya peningkatan yang terverifikasi, model dasar tidak akan berubah.

AutoR&D-Engineer menerima repositori, sasaran, dan batasan, lalu menghasilkan patch kandidat beserta bukti tolok ukurnya. TrainForge memulai dengan model dasar, tugas, evaluasi, dan anggaran komputasi, kemudian menghasilkan pos pemeriksaan terverifikasi terbaik beserta catatan evaluasinya.

Proses penemuan metode TrainForge menghasilkan strategi pelatihan, alih-alih hanya memilih dari daftar resep yang sudah ditetapkan. Codex menulis implementasi dari ruang kerja kosong, lalu pemeriksaan memastikan bahwa kode yang dijalankan sesuai dengan gagasan yang diajukan. Kandidat yang menjanjikan berlanjut dari uji LoRA cepat—yang memperbarui sekumpulan kecil parameter yang dapat dilatih sambil mempertahankan model dasar—ke pelatihan singkat dengan seluruh parameter, lalu ke pelatihan penuh. Set data tertahan yang dibekukan disisihkan untuk evaluasi.

Kedua agen berjalan di AutoInfra, infrastruktur pelatihan dan inferensi bersama milik Salesforce. Infrastruktur ini menugaskan pekerja GPU untuk menjalankan eksperimen secara paralel serta menyimpan permintaan, progres, dan hasil secara persisten agar pekerjaan dapat dilanjutkan setelah terjadi gangguan pada gateway. AutoInfra juga memisahkan lingkungan algoritma, layanan pelatihan, dan sandbox untuk melindungi integritas sistem serta mencegah manipulasi reward.

“Metode ilmiah tetap menjadi pedoman, sementara siklusnya berjalan lebih cepat,” kata Silvio Savarese, wakil presiden eksekutif sekaligus kepala ilmuwan Salesforce.

Peningkatan Embedding dan Hasil pada Basis Kode

Dalam evaluasi embedding publik, Salesforce melaporkan bahwa pos pemeriksaan riset memperoleh skor 57,21, dibandingkan 51,07 untuk EmbeddingGemma 2—kenaikan yang dilaporkan sebesar 6,13 poin pada skala 0–100. Pos pemeriksaan yang didukung untuk produksi memperoleh skor 55,76. Skor tersebut merupakan rata-rata nDCG@10 dari 10 tugas pengambilan informasi dalam rangkaian MTEB yang sama, yang mencakup 41 tugas. Metrik ini menilai relevansi di antara 10 hasil teratas, dengan bobot lebih besar untuk hasil yang berada di peringkat lebih tinggi.

Ketiga model dievaluasi dengan batas konteks 8.192 token. Salesforce secara tegas menyebut pengukuran ini sebagai perbandingan pos pemeriksaan lokal, bukan peringkat resmi di papan peringkat MTEB. Karena itu, hasil tersebut mendokumentasikan peningkatan dibandingkan model dasar yang dipilih dalam protokol terkendali, tetapi tidak menetapkan posisi terhadap keseluruhan bidang.

Sesi otonom terpisah yang berlangsung sekitar sembilan jam berfokus pada efisiensi penyajian. Salesforce melaporkan throughput 36% lebih tinggi dan latensi 17% lebih rendah dengan nyaris tanpa penurunan kualitas, sehingga hasil riset ini terkait langsung dengan biaya dan kecepatan respons pengambilan informasi di berbagai set data pelanggan berukuran besar.

Hasil rekayasa juga melaporkan reduksi pandas hingga 1,84× lebih cepat pada tipe data yang dapat bernilai null, yang secara eksplisit merepresentasikan nilai yang hilang. Hasil tersebut mencatat kenaikan median 4,1% pada jumlah kueri hnswlib per detik di tiga proses pembangunan indeks, serta throughput USearch satu inti yang 17,5% lebih tinggi dengan GCC 11.4. Dua pustaka terakhir menjalankan pencarian vektor, operasi utama dalam pengambilan informasi AI.

Catatan rekayasa yang sama mendokumentasikan 134.064 kasus uji diferensial untuk patch pandas bagi tipe data yang dapat bernilai null, tanpa perbedaan pada nilai, mask, tipe data, maupun pengecualian. Masukan yang berada di luar jalur cepatnya dialihkan ke implementasi pandas yang sudah ada, dan ketiga optimasi pandas telah diajukan sebagai permintaan penggabungan ke proyek sumber hulu. Patch hnswlib menggunakan kembali memori sementara untuk setiap pekerja sekaligus mempertahankan hasil pencarian yang identik hingga tingkat byte. Patch USearch menyimpan norma vektor yang tersimpan dalam cache, menambah empat byte per vektor, sekaligus mempertahankan recall dalam evaluasi yang dilaporkan.

Batas Otonomi dan Penerapan

Para peneliti tetap menetapkan sasaran, anggaran, evaluasi, dan batasan data. Model yang ditujukan untuk penggunaan produk hanya menggunakan set data pelatihan yang telah lolos tinjauan etika dan hukum, dan model yang ditingkatkan juga harus memenuhi persyaratan kepercayaan dan keselamatan untuk produksi. Salesforce mengatakan bahwa pekerjaan untuk produksi sedang berlangsung, sehingga hasil riset SFR-Embedding v4 belum berarti produk tersebut telah diluncurkan kepada pelanggan.

SFR-AutoR&D menggabungkan eksperimen otonom dengan batasan dan persyaratan bukti yang ditetapkan manusia. Arti pentingnya dalam waktu dekat adalah memangkas siklus riset terkontrol tersebut dari hitungan minggu menjadi hitungan hari; uji substantif berikutnya adalah apakah peningkatan v4 memenuhi peninjauan produksi dan menjangkau sistem temu kembali yang menjadi tumpuan agen Salesforce untuk perusahaan.