SFR-AutoR&D od Salesforce automatizuje výzkum a validaci modelů

Salesforce představila SFR-AutoR&D 11. listopadu 2026 a uvedla, že její agenti vytvořili SFR-Embedding v4 přibližně za 80 hodin namísto několika týdnů, které často vyžaduje experimentování prováděné lidmi. Systém je navržen tak, aby výzkumný cyklus řídil autonomně: upravuje existující kódové základny a zároveň vyvíjí a testuje nové trénovací metody pro modely umělé inteligence.

Tato práce přesahuje rámec samostatné výzkumné demonstrace. Ještě předtím, než výzkumníci nasadili SFR-AutoR&D na open-source základní model EmbeddingGemma 2 a vytvořili v4, systém už vylepšil SFR-Embedding V3, který Salesforce používá k vyhledávání v Data Cloud. Vkládací modely převádějí text na číselné reprezentace, díky nimž mohou systémy vyhledávat záznamy, dokumenty nebo historii případů. V architektuře Salesforce toto vyhledávání poskytuje informace o zákaznících, o které se opírají odpovědi Agentforce, takže jeho kvalita ovlivňuje následné odpovědi agenta.

Dva agenti, jeden řízený výzkumný cyklus

Projekt SFR-AutoR&D rozděluje práci do čtyř fází: formulování testovatelné hypotézy, vytvoření kandidátního řešení a jeho porovnání se základní variantou, vyhodnocení správnosti nebo kvality modelu a poučení z úspěšných i neúspěšných experimentů. Pokud kandidátní řešení neprokáže ověřitelné zlepšení, základní varianta zůstane beze změny.

AutoR&D-Engineer přijme repozitář, cíl a omezení a poté vytvoří kandidátní opravu doplněnou o výsledky benchmarků. TrainForge vychází ze základního modelu, úlohy, způsobu vyhodnocení a výpočetního rozpočtu a vytvoří nejlepší ověřený kontrolní bod spolu se záznamem o jeho vyhodnocení.

TrainForge ve svém procesu hledání metod vytváří trénovací strategie, místo aby vybíral pouze z pevně daného seznamu postupů. Codex píše implementace od prázdného pracovního prostoru a kontroly ověřují, zda spuštěný kód odpovídá navrženému řešení. Slibné kandidáty posouvá od rychlého testu LoRA, který upravuje malou sadu trénovatelných parametrů a přitom zachovává základní model, přes krátký běh s plným počtem parametrů až k úplnému trénování. Zmrazené datové sady vyhrazené pro vyhodnocení nebyly použity při trénování.

Oba agenti běží na AutoInfra, sdílené infrastruktuře Salesforce pro trénování a inferenci. Ta přiděluje grafické procesory paralelním experimentům a trvale uchovává požadavky, průběh i výsledky, takže lze v práci pokračovat i po výpadcích brány. AutoInfra také odděluje prostředí algoritmů, trénovací služby a sandboxu, aby chránila integritu systému a bránila zneužívání odměnové funkce.

„Vědecká metoda je stále určující, jen celý cyklus probíhá rychleji,“ uvedl Silvio Savarese, výkonný viceprezident a hlavní vědecký pracovník Salesforce.

Zlepšení vkládacích modelů a výsledky v kódových základnách

V rámci veřejného hodnocení vkládacích modelů dosáhl podle Salesforce výzkumný kontrolní bod skóre 57,21, zatímco EmbeddingGemma 2 získal 51,07; uváděné zlepšení tak činí 6,13 bodu na stupnici 0–100. Kontrolní bod podporovaný pro produkční nasazení dosáhl skóre 55,76. Uvedená skóre představují průměr hodnoty nDCG@10 v 10 úlohách vyhledávání v rámci stejné sady MTEB se 41 úlohami. Tato metrika hodnotí relevanci mezi 10 nejvýše umístěnými výsledky a přikládá větší váhu výsledkům na vyšších pozicích.

Všechny tři modely byly vyhodnoceny s limitem kontextu 8 192 tokenů. Salesforce výslovně označuje tato měření za porovnání lokálních kontrolních bodů, nikoli za oficiální pořadí v žebříčku MTEB. Dokládají tedy zlepšení oproti vybrané základní variantě za řízeného protokolu, ale neurčují pozici modelu ve srovnání s širším okruhem systémů.

Samostatná autonomní relace, která trvala přibližně devět hodin, se zaměřila na efektivitu obsluhy požadavků. Salesforce uvádí o 36 % vyšší propustnost a o 17 % nižší latenci při téměř nulové ztrátě kvality. Výsledek výzkumu tak souvisí s náklady a rychlostí vyhledávání napříč rozsáhlými datovými soubory zákazníků.

Výsledky vývoje uvádějí také až 1,84× rychlejší redukce v pandas pro typy, které umožňují reprezentovat chybějící hodnoty. Zaznamenávají mediánové zvýšení počtu dotazů za sekundu o 4,1 % v hnswlib napříč třemi sestaveními indexu a o 17,5 % vyšší propustnost USearch při využití jednoho jádra s GCC 11.4. Poslední dvě knihovny provádějí vektorové vyhledávání, což je klíčová operace při vyhledávání pomocí umělé inteligence.

Stejný záznam o vývoji dokumentuje 134 064 diferenciálních testovacích případů pro opravu pandas týkající se typů s podporou chybějících hodnot; nezjistil přitom žádný rozdíl v hodnotách, maskách, datových typech ani výjimkách. Vstupy, které nespadají do rychlé cesty, se zpracují stávající implementací pandas a všechny tři optimalizace pandas byly předloženy jako pull requesty do upstreamu. Oprava hnswlib znovu využívá pracovní paměť jednotlivých pracovních vláken a zachovává přitom výsledky vyhledávání totožné až na úrovni bajtů. Oprava USearch ukládá normy uložených vektorů do mezipaměti, čímž přidává čtyři bajty na vektor a zároveň zachovává úplnost vyhledávání v uvedeném vyhodnocení.

Omezení autonomie a nasazení

Výzkumníci stále určují cíle, rozpočty, způsob vyhodnocení i datová omezení. Modely určené pro použití v produktech čerpají výhradně z trénovacích datových sad, které prošly etickou a právní kontrolou, a vylepšený model musí splňovat také požadavky produkční důvěryhodnosti a bezpečnosti. Salesforce uvedla, že práce na produkčním nasazení probíhají, takže výsledky výzkumu SFR-Embedding v4 ještě neznamenají dokončené nasazení pro zákazníky.

SFR-AutoR&D kombinuje autonomní experimentování s omezeními a požadavky na důkazy stanovenými lidmi. Jeho bezprostřední význam spočívá ve zkrácení tohoto řízeného výzkumného cyklu z týdnů na dny; dalším zásadním testem bude, zda zlepšení dosažená ve verzi v4 projdou produkčním posouzením a dostanou se do vyhledávacích systémů, na nichž závisejí podnikoví agenti Salesforce.