SFR-AutoR&D de la Salesforce automatizează cercetarea și validarea modelelor

Salesforce a lansat SFR-AutoR&D pe 11 noiembrie 2026, afirmând că agenții săi au creat SFR-Embedding v4 în aproximativ 80 de ore, în loc de cele câteva săptămâni necesare adesea experimentelor realizate de oameni. Sistemul este conceput să desfășoare autonom întregul ciclu de cercetare, atât prin modificarea bazelor de cod existente, cât și prin dezvoltarea și testarea unor noi metode de antrenare a modelelor de inteligență artificială.

Această activitate depășește cadrul unei simple demonstrații de cercetare. SFR-AutoR&D îmbunătățise deja SFR-Embedding V3, pe care Salesforce îl folosește pentru regăsirea informațiilor în Data Cloud, înainte ca cercetătorii să-l aplice modelului open-source EmbeddingGemma 2, folosit ca referință, pentru a crea v4. Modelele de embedding transformă textul în reprezentări numerice, astfel încât sistemele să poată regăsi înregistrări, documente sau istoricul cazurilor. În arhitectura Salesforce, această regăsire furnizează informațiile despre clienți pe care se bazează răspunsurile Agentforce, ceea ce face ca precizia regăsirii să influențeze răspunsul ulterior al agentului.

Doi agenți, un singur ciclu de cercetare controlat

Proiectul SFR-AutoR&D împarte activitatea în patru etape: formularea unei ipoteze care poate fi testată, construirea unui candidat și compararea acestuia cu un model de referință, evaluarea corectitudinii sau a calității modelului și valorificarea atât a experimentelor reușite, cât și a celor nereușite. Dacă un candidat nu poate demonstra un câștig verificat, modelul de referință rămâne neschimbat.

AutoR&D-Engineer primește un depozit de cod, un obiectiv și un set de constrângeri, apoi produce un patch candidat însoțit de dovezi obținute prin evaluare comparativă. TrainForge pornește de la un model de referință, o sarcină, o metodă de evaluare și un buget de calcul și furnizează cel mai performant checkpoint verificat, împreună cu înregistrarea evaluării sale.

Procesul TrainForge de descoperire a metodelor generează strategii de antrenare, în loc să aleagă doar dintr-o listă fixă de rețete. Codex scrie implementări pornind de la un spațiu de lucru gol, iar verificările confirmă că execuția codului corespunde ideii propuse. Candidații promițători trec de la un test LoRA rapid, care actualizează un set restrâns de parametri antrenabili, păstrând în același timp modelul de bază, la o scurtă rulare cu toți parametrii și apoi la antrenarea completă. Seturile de date de testare păstrate separat și nemodificate sunt rezervate evaluării.

Ambii agenți rulează pe AutoInfra, infrastructura comună de antrenare și inferență a Salesforce. Aceasta alocă unități de procesare grafică experimentelor desfășurate în paralel și păstrează solicitările, progresul și rezultatele, astfel încât activitatea să poată fi reluată după întreruperi ale gateway-ului. AutoInfra separă, de asemenea, mediile algoritmului, serviciului de antrenare și sandbox-ului pentru a proteja integritatea sistemului și a preveni exploatarea mecanismului de recompensare.

„Metoda științifică rămâne principiul călăuzitor, iar ciclul se desfășoară mai repede”, a declarat Silvio Savarese, vicepreședinte executiv și director științific al Salesforce.

Îmbunătățiri ale modelelor de embedding și rezultate în bazele de cod

În cadrul evaluării publice a modelelor de embedding, Salesforce raportează că checkpointul de cercetare a obținut 57,21, față de 51,07 pentru EmbeddingGemma 2, ceea ce reprezintă un câștig raportat de 6,13 puncte pe o scară de la 0 la 100. Checkpointul acceptat pentru producție a obținut 55,76. Scorurile reprezintă media nDCG@10 pentru 10 sarcini de regăsire din aceeași suită MTEB, care cuprinde 41 de sarcini; metrica evaluează relevanța primelor 10 rezultate, acordând o pondere mai mare elementelor clasate mai sus.

Toate cele trei modele au fost evaluate cu o limită de context de 8.192 de tokenuri. Salesforce precizează explicit că măsurătorile reprezintă comparații locale între checkpointuri, nu poziții oficiale în clasamentul MTEB. Prin urmare, ele documentează îmbunătățirea față de modelul de referință ales, în condiții controlate, fără a stabili o poziție în raport cu ansamblul mai larg al modelelor.

O sesiune autonomă separată, care a durat aproximativ nouă ore, a vizat eficiența servirii. Salesforce raportează un debit cu 36% mai mare și o latență cu 17% mai mică, cu o pierdere aproape nulă a calității, legând astfel rezultatul cercetării de costul și rapiditatea regăsirii informațiilor în seturi mari de date despre clienți.

Rezultatele inginerești raportează, de asemenea, agregări pandas de până la 1,84 ori mai rapide pentru tipurile de date nullable, care reprezintă explicit valorile lipsă. Acestea indică o creștere mediană de 4,1% a numărului de interogări hnswlib pe secundă, măsurată pe trei construiri de index, și un debit USearch cu 17,5% mai mare pe un singur nucleu, cu GCC 11.4. Ultimele două biblioteci efectuează căutări vectoriale, o operație esențială pentru regăsirea informațiilor în sistemele de inteligență artificială.

Aceeași documentație inginerească consemnează 134.064 de cazuri de testare diferențială pentru patch-ul pandas destinat tipurilor de date nullable, fără nicio diferență în valori, măști, tipuri de date sau excepții. Pentru intrările care nu se încadrează în calea rapidă se folosește implementarea existentă din pandas, iar toate cele trei optimizări pandas au fost trimise ca solicitări de integrare în proiectul principal. Patch-ul hnswlib reutilizează memoria temporară pentru fiecare unitate de procesare, păstrând rezultate de căutare identice la nivel de octet. Patch-ul USearch memorează în cache normele vectorilor stocați, adăugând patru octeți per vector, și păstrează rata de regăsire măsurată în evaluarea raportată.

Limitele autonomiei și ale implementării

Cercetătorii stabilesc în continuare obiectivele, bugetele, evaluările și constrângerile privind datele. Modelele destinate utilizării în produse se bazează exclusiv pe seturi de date de antrenare care au trecut de evaluarea etică și juridică, iar un model îmbunătățit trebuie să îndeplinească și cerințele de încredere și siguranță pentru producție. Salesforce a declarat că activitatea de pregătire pentru producție este în curs, așadar rezultatele cercetării pentru SFR-Embedding v4 nu înseamnă că implementarea pentru clienți a fost finalizată.

SFR-AutoR&D combină experimentarea autonomă cu constrângeri și cerințe privind dovezile stabilite de oameni. Importanța sa imediată constă în comprimarea acestui ciclu de cercetare controlată, care durează săptămâni, în doar câteva zile; următorul test substanțial este dacă îmbunătățirile versiunii v4 trec de evaluarea pentru producție și ajung în sistemele de regăsire de care depind agenții Salesforce pentru companii.