Salesforcen SFR-AutoR&D automatisoi mallien tutkimuksen ja validoinnin

Salesforce esitteli SFR-AutoR&D:n 11. marraskuuta 2026 ja kertoi, että sen agentit tuottivat SFR-Embedding v4:n noin 80 tunnissa, kun ihmisten tekemissä kokeissa kuluu usein useita viikkoja. Järjestelmä on suunniteltu suorittamaan tutkimussykli itsenäisesti sekä muokkaamalla olemassa olevia koodikantoja että kehittämällä ja testaamalla uusia tekoälymallien koulutusmenetelmiä.

Työ ulottuu yksittäistä tutkimusdemonstraatiota pidemmälle. SFR-AutoR&D oli jo parantanut SFR-Embedding V3:a, jota Salesforce käyttää tiedonhakuun Data Cloudissa, ennen kuin tutkijat ottivat sen käyttöön avoimen lähdekoodin EmbeddingGemma 2 -vertailumallin pohjalta v4:n luomiseksi. Upotusmallit muuntavat tekstin numeerisiksi esityksiksi, joiden avulla järjestelmät voivat hakea tietueita, asiakirjoja tai tapaushistorioita. Salesforcen arkkitehtuurissa haku tuottaa asiakastiedot, joihin Agentforcen vastaukset perustuvat, joten haun laadulla on merkitystä agentin myöhemmän vastauksen kannalta.

Kaksi agenttia, yksi hallittu tutkimussykli

SFR-AutoR&D-projekti jakaa työn neljään vaiheeseen: testattavan hypoteesin selvittämiseen, ehdokkaan ja vertailutuloksen rakentamiseen, oikeellisuuden tai mallin laadun arviointiin sekä onnistuneista ja epäonnistuneista kokeista oppimiseen. Jos ehdokas ei osoita todennettua parannusta, vertailumalli pysyy ennallaan.

AutoR&D-Engineer ottaa vastaan tietovaraston, tavoitteen ja rajoitteet ja tuottaa sitten ehdokasmuutoksen, johon liittyy vertailutuloksia koskevaa näyttöä. TrainForge aloittaa lähtötason mallista, tehtävästä, arvioinnista ja laskentabudjetista ja tuottaa parhaan todennetun tarkistuspisteen sekä sen arviointitietueen.

TrainForgen menetelmien löytämisprosessi tuottaa koulutusstrategioita sen sijaan, että se valitsisi vain ennalta määritellystä menetelmäluettelosta. Codex kirjoittaa toteutukset tyhjästä työtilasta, ja tarkistuksilla varmistetaan, että suoritettava koodi vastaa ehdotettua ideaa. Lupaavat ehdokkaat etenevät nopeasta LoRA-testistä, jossa päivitetään pieni joukko koulutettavia parametreja perusmalli säilyttäen, lyhyeen kaikkien parametrien ajoon ja siitä täysimittaiseen koulutukseen. Jäädytetyt, koulutuksesta erillään pidetyt aineistot varataan arviointiin.

Molemmat agentit toimivat AutoInfrassa, Salesforcen yhteisessä koulutus- ja päättelyinfrastruktuurissa. Se jakaa GPU-työntekijöitä rinnakkaisiin kokeisiin ja säilyttää pyynnöt, edistymistiedot ja tulokset niin, että työ voi jatkua yhdyskäytävän häiriöiden jälkeen. AutoInfra myös eristää algoritmi-, koulutuspalvelu- ja hiekkalaatikkoympäristöt järjestelmän eheyden suojaamiseksi ja palkkioiden manipuloinnin estämiseksi.

”Tieteellinen menetelmä ohjaa yhä työtä, mutta sykli etenee nopeammin”, sanoi Silvio Savarese, Salesforcen varatoimitusjohtaja ja päätutkija.

Upotusten parannukset ja koodikannan tulokset

Salesforcen mukaan julkisessa upotusten arvioinnissa tutkimusvaiheen tarkistuspiste sai tuloksen 57,21, kun EmbeddingGemma 2:n tulos oli 51,07. Ilmoitettu parannus oli 6,13 pistettä asteikolla 0–100. Tuotantokäyttöä tukeva tarkistuspiste sai tuloksen 55,76. Tulokset ovat nDCG@10-arvojen keskiarvoja 10 hakutehtävässä saman 41 tehtävän MTEB-testikokonaisuuden sisällä. Mittari arvioi 10 parhaan tuloksen relevanssia ja antaa korkeammalle sijoittuville tuloksille enemmän painoarvoa.

Kaikki kolme mallia arvioitiin 8 192 tokenin kontekstirajalla. Salesforce ilmoittaa nimenomaisesti, että mittaukset ovat paikallisten tarkistuspisteiden vertailuja eivätkä MTEB-tulostaulukon virallisia sijoituksia. Ne siis dokumentoivat parannuksen valittuun vertailumalliin nähden hallitussa testausmenettelyssä, mutta eivät osoita mallin sijoitusta laajemmassa vertailussa.

Erillisessä, noin yhdeksän tuntia kestäneessä itsenäisessä kokeessa keskityttiin palvelutehokkuuteen. Salesforcen mukaan läpimeno kasvoi 36 % ja viive pieneni 17 % laadun heikentyessä tuskin lainkaan. Näin tutkimustulos kytkeytyy haun kustannuksiin ja vasteaikaan suurissa asiakastietoaineistoissa.

Teknisissä tuloksissa raportoidaan myös, että pandasin tyhjät arvot sallivien tietotyyppien pelkistykset olivat jopa 1,84 kertaa nopeampia. Näissä tietotyypeissä puuttuvat arvot esitetään nimenomaisesti. Tuloksissa kirjataan hnswlib-kyselyjen mediaanimäärän kasvu 4,1 % sekunnissa kolmen indeksin luonnin yhteydessä sekä USearchin yksiydinsuorituskyvyn kasvu 17,5 % GCC 11.4:llä. Nämä kaksi kirjastoa suorittavat vektorihakua, joka on keskeinen tekoälyyn perustuvan tiedonhaun toiminto.

Sama tekninen aineisto dokumentoi 134 064 erilaista testitapausta tyhjät arvot sallivien tietotyyppien pandas-korjaukselle. Arvoissa, maskeissa, tietotyypeissä tai poikkeuksissa ei havaittu yhtäkään eroa. Syötteet, jotka eivät kuulu pikakäsittelypolkuun, käsitellään pandasin aiemmalla toteutuksella, ja kaikki kolme pandas-optimointia on lähetetty alkuperäiseen projektiin muutosehdotuksina. hnswlib-korjaus käyttää kunkin työntekijän tilapäismuistia uudelleen ja säilyttää haun tulokset tavutasolla identtisinä. USearch-korjaus tallentaa vektorien normit välimuistiin. Se lisää neljä tavua vektoria kohden, mutta säilyttää takaisinkutsun kattavuuden raportoidussa arvioinnissa.

Itsenäisyyden ja käyttöönoton rajoitukset

Tutkijat määrittävät edelleen tavoitteet, budjetit, arvioinnit ja dataa koskevat rajoitteet. Tuotteissa käytettäviin malleihin otetaan mukaan vain koulutusaineistoja, jotka ovat läpäisseet eettisen ja oikeudellisen arvioinnin, ja parannetun mallin on lisäksi täytettävä tuotantokäytön luottamus- ja turvallisuusvaatimukset. Salesforce kertoi tuotantotyön olevan käynnissä, joten SFR-Embedding v4:n tutkimustulokset eivät tarkoita, että se olisi jo otettu käyttöön asiakkailla.

SFR-AutoR&D yhdistää autonomisen kokeilun ihmisten asettamiin rajoitteisiin ja näyttövaatimuksiin. Sen välitön merkitys on, että tätä hallittua tutkimussykliä voidaan lyhentää viikoista päiviin; seuraavaksi on olennaista selvittää, läpäisevätkö v4:n parannukset tuotantoarvioinnin ja päätyvätkö ne tiedonhakujärjestelmiin, joista Salesforcen yritysagentit ovat riippuvaisia.