Salesforce’un SFR-AutoR&D’si Model Araştırma ve Doğrulamasını Otomatikleştiriyor

Salesforce, 11 Kasım 2026’da SFR-AutoR&D’yi tanıttı ve sistemin ajanlarının, insanlarla yapılan deneylerin çoğu zaman gerektirdiği birkaç hafta yerine yaklaşık 80 saatte SFR-Embedding v4’ü ürettiğini açıkladı. Sistem, hem mevcut kod tabanlarını değiştirerek hem de yapay zekâ modelleri için yeni eğitim yöntemleri geliştirip sınayarak araştırma döngüsünü otonom biçimde yürütmek üzere tasarlandı.

Bu çalışma, tek başına bir araştırma gösteriminin ötesine geçiyor. Araştırmacılar, v4’ü oluşturmak için açık kaynaklı EmbeddingGemma 2 temel modeline yönelmeden önce SFR-AutoR&D, Salesforce’un Data Cloud’da bilgi erişimi için kullandığı SFR-Embedding V3’ü zaten geliştirmişti. Gömme modelleri, sistemlerin kayıtları, belgeleri veya vaka geçmişlerini bulabilmesi için metinleri sayısal temsillere dönüştürür. Salesforce’un mimarisinde bu bilgi erişimi, Agentforce yanıtlarının dayandığı müşteri bilgilerini sağlar; dolayısıyla erişim kalitesi, ajanın sonraki yanıtını doğrudan etkiler.

İki Ajan, Tek Bir Kontrollü Araştırma Döngüsü

SFR-AutoR&D projesi, çalışmayı dört aşamaya ayırıyor: sınanabilir bir hipotez keşfetmek, bir aday ve temel model karşılaştırması oluşturmak, doğruluğu veya model kalitesini değerlendirmek ve hem başarılı hem de başarısız deneylerden öğrenmek. Doğrulanmış bir kazanım gösteremeyen aday, temel modeli değiştirmez.

AutoR&D-Engineer bir depo, hedef ve kısıtlar alır; ardından karşılaştırma sonuçlarıyla desteklenen bir aday yama üretir. TrainForge ise bir temel model, görev, değerlendirme ve hesaplama bütçesiyle işe başlar; doğrulanmış en iyi kontrol noktasını ve buna ait değerlendirme kaydını oluşturur.

TrainForge’un yöntem keşif süreci, yalnızca sabit bir tarif listesinden seçim yapmak yerine eğitim stratejileri üretir. Codex, boş bir çalışma alanından başlayarak uygulamaları yazar; denetimler de çalışan kodun önerilen fikirle örtüştüğünü doğrular. Umut vadeden adaylar, temel modeli korurken eğitilebilir parametrelerden oluşan küçük bir kümeyi güncelleyen hızlı bir LoRA testinden kısa bir tam parametreli çalıştırmaya, ardından da tam eğitime geçer. Dondurulmuş ve eğitim dışında tutulan veri kümeleri değerlendirme için ayrılır.

Her iki ajan da Salesforce’un ortak eğitim ve çıkarım altyapısı olan AutoInfra üzerinde çalışır. Sistem, GPU çalışanlarını paralel deneylere atar; istekleri, ilerlemeyi ve sonuçları kalıcı olarak saklayarak ağ geçidi kesintilerinden sonra çalışmanın sürdürülebilmesini sağlar. AutoInfra ayrıca sistem bütünlüğünü korumak ve ödül manipülasyonunu önlemek için algoritma, eğitim hizmeti ve korumalı alan ortamlarını birbirinden ayırır.

Salesforce’un baş bilim insanı ve başkan yardımcısı Silvio Savarese, “Bilimsel yöntem hâlâ yol gösteriyor; yalnızca döngü daha hızlı ilerliyor,” dedi.

Gömme Modelindeki Kazanımlar ve Kod Tabanı Sonuçları

Kamuya açık gömme değerlendirmesinde Salesforce, araştırma kontrol noktasının 57,21 puan aldığını; EmbeddingGemma 2’nin ise 51,07 puanda kaldığını ve bunun 0–100 ölçeğinde 6,13 puanlık bir artış anlamına geldiğini bildiriyor. Üretimde kullanımı desteklenen kontrol noktası 55,76 puan aldı. Puanlar, aynı 41 görevlik MTEB paketindeki 10 bilgi erişimi görevinde nDCG@10 ortalamasıdır. Bu ölçüt, en üstteki 10 sonuç arasındaki ilgililik düzeyini değerlendirir ve daha üst sıralardaki öğelere daha fazla ağırlık verir.

Üç modelin tümü 8.192 belirteçlik bağlam sınırıyla değerlendirildi. Salesforce, ölçümlerin resmî MTEB liderlik tablosu sıralamaları değil, yerel kontrol noktası karşılaştırmaları olduğunu özellikle belirtiyor. Dolayısıyla bu sonuçlar, kontrollü bir protokol kapsamında seçilen temel modele göre iyileşme olduğunu gösteriyor; ancak daha geniş alandaki konumu ortaya koymuyor.

Yaklaşık dokuz saat süren ayrı bir otonom oturum, sunum verimliliğini hedefledi. Salesforce, kalite kaybı neredeyse hiç olmadan verimin %36 arttığını ve gecikmenin %17 azaldığını bildiriyor. Bu sonuç, araştırma bulgusunu büyük müşteri veri kümelerindeki bilgi erişiminin maliyeti ve yanıt verme hızıyla ilişkilendiriyor.

Mühendislik sonuçları, eksik değerleri açıkça temsil eden boş değer kabul edilebilir veri türlerinde pandas indirgeme işlemlerinin 1,84 kata kadar hızlandığını da bildiriyor. Ayrıca üç dizin derlemesinde hnswlib sorgularının saniyedeki sayısında medyan %4,1 artış ve GCC 11.4 ile tek çekirdekte USearch veriminde %17,5 artış kaydediyor. Son iki kütüphane, yapay zekâ destekli bilgi erişiminin temel işlemlerinden biri olan vektör aramasını gerçekleştiriyor.

Aynı mühendislik kaydı, boş değer kabul edilebilir veri türlerini destekleyen pandas yaması için değerlerde, maskelerde, veri türlerinde veya istisnalarda hiçbir fark görülmeyen 134.064 diferansiyel test vakası belgeliyor. Hızlı yolunun dışındaki girdiler pandas’ın mevcut uygulamasına geri yönlendiriliyor ve pandas için yapılan üç optimizasyonun tümü ana projeye birleştirilmek üzere çekme isteği olarak gönderildi. hnswlib yaması, arama sonuçlarını bayt düzeyinde birebir aynı tutarken her çalışan için geçici belleği yeniden kullanıyor. USearch yaması ise saklanan vektör normlarını önbelleğe alıyor; bildirilen değerlendirmede geri çağırma oranını korurken her vektör için dört bayt ek bellek kullanıyor.

Otonomi ve Dağıtımın Sınırları

Araştırmacılar hedefleri, bütçeleri, değerlendirmeleri ve veri kısıtlarını belirlemeye devam ediyor. Ürünlerde kullanılması amaçlanan modeller yalnızca etik ve hukuki incelemeden geçmiş eğitim veri kümelerinden yararlanıyor; ayrıca geliştirilmiş bir modelin üretim ortamındaki güven ve emniyet gerekliliklerini de karşılaması gerekiyor. Salesforce, üretime yönelik çalışmaların sürdüğünü belirtti; dolayısıyla SFR-Embedding v4’ün araştırma sonuçları, müşterilere dağıtımın tamamlandığı anlamına gelmiyor.

SFR-AutoR&D, özerk deneyleri insanlar tarafından belirlenen kısıtlar ve kanıt gereklilikleriyle bir araya getiriyor. Bunun kısa vadede taşıdığı önem, bu kontrollü araştırma döngüsünü haftalardan günlere indirmesi; bir sonraki önemli sınav ise v4’teki kazanımların üretim incelemesinden geçip Salesforce’un kurumsal ajanlarının bağlı olduğu erişim sistemlerine ulaşıp ulaşmayacağı.