SFR-AutoR&D firmy Salesforce automatyzuje badania nad modelami i ich walidację

Salesforce przedstawiło SFR-AutoR&D 11 listopada 2026 r., informując, że jego agenci opracowali SFR-Embedding v4 w około 80 godzin, zamiast poświęcać na to kilka tygodni, jak często wymagałyby eksperymenty prowadzone przez ludzi. System zaprojektowano tak, by autonomicznie przeprowadzał cały cykl badawczy: zarówno modyfikował istniejące bazy kodu, jak i opracowywał oraz testował nowe metody trenowania modeli AI.

Prace wykraczają poza samodzielną demonstrację badawczą. Zanim badacze wykorzystali otwartoźródłowy model bazowy EmbeddingGemma 2 do stworzenia wersji v4, SFR-AutoR&D zdążyło już ulepszyć SFR-Embedding V3, którego Salesforce używa do wyszukiwania w Data Cloud. Modele osadzeń przekształcają tekst w reprezentacje liczbowe, dzięki którym systemy mogą wyszukiwać rekordy, dokumenty lub historie spraw. W architekturze Salesforce wyszukiwanie to dostarcza informacje o klientach, na których opierają się odpowiedzi Agentforce, dlatego jego jakość ma istotny wpływ na kolejną odpowiedź agenta.

Dwaj agenci, jeden kontrolowany cykl badawczy

Projekt SFR-AutoR&D dzieli pracę na cztery etapy: sformułowanie hipotezy, którą można przetestować; przygotowanie kandydata i porównania z modelem bazowym; ocenę poprawności lub jakości modelu; oraz wyciąganie wniosków z eksperymentów zarówno udanych, jak i nieudanych. Jeśli kandydat nie wykaże potwierdzonej poprawy, model bazowy pozostaje bez zmian.

AutoR&D-Engineer przyjmuje repozytorium, cel i ograniczenia, a następnie przygotowuje poprawkę kandydującą wraz z wynikami testów porównawczych. TrainForge rozpoczyna pracę od modelu bazowego, zadania, ewaluacji i budżetu obliczeniowego, a następnie dostarcza najlepszy zweryfikowany punkt kontrolny wraz z jego wynikami ewaluacji.

Proces odkrywania metod w TrainForge generuje strategie trenowania, zamiast wybierać wyłącznie spośród ustalonej listy gotowych rozwiązań. Codex tworzy implementacje w pustym obszarze roboczym, a testy sprawdzają, czy uruchomiony kod odpowiada proponowanemu pomysłowi. Obiecujące rozwiązania przechodzą od szybkiego testu LoRA — który aktualizuje niewielki zestaw parametrów podlegających trenowaniu, zachowując model bazowy — do krótkiego przebiegu z pełnym zestawem parametrów, a następnie pełnego trenowania. Zamrożone zbiory danych odłożone na potrzeby testów są wykorzystywane wyłącznie do ewaluacji.

Obaj agenci działają w oparciu o AutoInfra — wspólną infrastrukturę Salesforce do trenowania i inferencji. Przydziela ona procesory graficzne (GPU) do równoległych eksperymentów oraz trwale zapisuje żądania, postępy i wyniki, dzięki czemu prace można wznowić po przerwach w działaniu bramy sieciowej. AutoInfra oddziela również środowiska algorytmów, usług trenowania i piaskownicy, aby chronić integralność systemu i zapobiegać manipulowaniu funkcją nagrody.

„Nadal kierujemy się metodą naukową, ale cykl przebiega szybciej” — powiedział Silvio Savarese, wiceprezes wykonawczy Salesforce i główny naukowiec firmy.

Poprawa jakości osadzeń i wyniki dotyczące baz kodu

W publicznej ewaluacji modeli osadzeń Salesforce podaje, że badawczy punkt kontrolny uzyskał wynik 57,21, podczas gdy EmbeddingGemma 2 osiągnął 51,07, co oznacza zgłoszoną poprawę o 6,13 punktu w skali od 0 do 100. Punkt kontrolny dopuszczony do zastosowań produkcyjnych uzyskał wynik 55,76. Wyniki to średnia wartości nDCG@10 dla 10 zadań wyszukiwania w ramach tego samego zestawu MTEB obejmującego 41 zadań. Wskaźnik ocenia trafność wśród 10 najwyżej sklasyfikowanych wyników, przypisując większą wagę tym z wyższych pozycji.

Wszystkie trzy modele oceniono przy limicie kontekstu wynoszącym 8 192 tokeny. Salesforce wyraźnie zaznacza, że są to porównania lokalnych punktów kontrolnych, a nie oficjalne miejsca w rankingu MTEB. Wyniki dokumentują zatem poprawę względem wybranego modelu bazowego w kontrolowanych warunkach, ale nie określają pozycji modelu na tle szerszej stawki.

Inna autonomiczna sesja, trwająca około dziewięciu godzin, koncentrowała się na wydajności obsługi. Salesforce podaje wzrost przepustowości o 36% i skrócenie opóźnień o 17% przy niemal niezmienionej jakości. Łączy to wyniki badań z kosztami i szybkością wyszukiwania w dużych zbiorach danych klientów.

Wyniki prac inżynieryjnych obejmują również nawet 1,84 raza szybsze operacje redukcji w pandas na typach danych dopuszczających wartość null, które jawnie reprezentują brakujące wartości. Odnotowano także medianowy wzrost liczby zapytań na sekundę o 4,1% w hnswlib w trzech kompilacjach indeksu oraz wzrost przepustowości jednego rdzenia w USearch o 17,5% przy użyciu GCC 11.4. Dwie ostatnie biblioteki służą do wyszukiwania wektorowego, będącego kluczową operacją w wyszukiwaniu opartym na AI.

W tych samych wynikach prac inżynieryjnych odnotowano 134 064 przypadki testów różnicowych poprawki pandas dotyczącej typów danych dopuszczających wartość null; nie stwierdzono żadnych różnic w wartościach, maskach, typach danych ani wyjątkach. Dla danych wejściowych, które nie kwalifikują się do szybkiej ścieżki, zastosowanie ma dotychczasowa implementacja pandas. Wszystkie trzy optymalizacje pandas zgłoszono jako propozycje zmian do głównego repozytorium. Poprawka hnswlib ponownie wykorzystuje pamięć roboczą dla każdego procesu roboczego, zachowując identyczne na poziomie bajtów wyniki wyszukiwania. Poprawka USearch buforuje normy przechowywanych wektorów, dodając cztery bajty na wektor i zachowując skuteczność wyszukiwania odnotowaną w opisanej ewaluacji.

Ograniczenia autonomii i wdrażania

Badacze nadal wyznaczają cele, budżety, sposób ewaluacji i ograniczenia dotyczące danych. Modele przeznaczone do zastosowań w produktach korzystają wyłącznie ze zbiorów danych treningowych, które przeszły ocenę etyczną i prawną, a ulepszony model musi również spełniać produkcyjne wymogi zaufania i bezpieczeństwa. Salesforce poinformowało, że prace nad wdrożeniem produkcyjnym trwają, dlatego wyniki badań nad SFR-Embedding v4 nie oznaczają, że został on już wdrożony u klientów.

SFR-AutoR&D łączy autonomiczne eksperymentowanie z ograniczeniami i wymogami dotyczącymi dowodów określanymi przez ludzi. Jego bezpośrednie znaczenie polega na skróceniu tego kontrolowanego cyklu badawczego z tygodni do dni; kolejnym istotnym sprawdzianem będzie to, czy ulepszenia w wersji v4 przejdą ocenę przed wdrożeniem produkcyjnym i trafią do systemów wyszukiwania informacji, od których zależą agenci Salesforce obsługujący klientów korporacyjnych.