Η SFR-AutoR&D της Salesforce αυτοματοποιεί την έρευνα και την επικύρωση μοντέλων

Η Salesforce παρουσίασε την SFR-AutoR&D στις 11 Νοεμβρίου 2026, αναφέροντας ότι οι πράκτορές της δημιούργησαν το SFR-Embedding v4 σε περίπου 80 ώρες, αντί για τις αρκετές εβδομάδες που απαιτούν συνήθως οι πειραματισμοί από ανθρώπους. Το σύστημα έχει σχεδιαστεί ώστε να εκτελεί αυτόνομα τον κύκλο έρευνας, τόσο τροποποιώντας υπάρχουσες βάσεις κώδικα όσο και αναπτύσσοντας και δοκιμάζοντας νέες μεθόδους εκπαίδευσης για μοντέλα ΤΝ.

Η εργασία ξεπερνά τα όρια μιας μεμονωμένης ερευνητικής επίδειξης. Η SFR-AutoR&D είχε ήδη βελτιώσει το SFR-Embedding V3, το οποίο χρησιμοποιεί η Salesforce για ανάκτηση στο Data Cloud, προτού οι ερευνητές τη στρέψουν στο μοντέλο αναφοράς ανοιχτού κώδικα EmbeddingGemma 2 για να δημιουργήσουν την έκδοση v4. Τα μοντέλα ενσωμάτωσης μετατρέπουν το κείμενο σε αριθμητικές αναπαραστάσεις, ώστε τα συστήματα να μπορούν να ανακτούν εγγραφές, έγγραφα ή ιστορικά υποθέσεων. Στην αρχιτεκτονική της Salesforce, αυτή η ανάκτηση παρέχει τις πληροφορίες πελατών στις οποίες βασίζονται οι απαντήσεις του Agentforce, καθιστώντας την ποιότητα της ανάκτησης καθοριστική για την επακόλουθη απάντηση του πράκτορα.

Δύο πράκτορες, ένας ελεγχόμενος ερευνητικός κύκλος

Το έργο SFR-AutoR&D χωρίζει την εργασία σε τέσσερα στάδια: διατύπωση μιας ελέγξιμης υπόθεσης, δημιουργία ενός υποψηφίου και σύγκριση με ένα μοντέλο αναφοράς, αξιολόγηση της ορθότητας ή της ποιότητας του μοντέλου και εξαγωγή συμπερασμάτων από επιτυχημένα και αποτυχημένα πειράματα. Αν ένας υποψήφιος δεν μπορεί να αποδείξει επαληθευμένο κέρδος, το μοντέλο αναφοράς παραμένει αμετάβλητο.

Το AutoR&D-Engineer δέχεται ένα αποθετήριο, έναν στόχο και περιορισμούς και στη συνέχεια παράγει μια υποψήφια ενημέρωση κώδικα, συνοδευόμενη από στοιχεία αξιολόγησης επιδόσεων. Το TrainForge ξεκινά με ένα μοντέλο αναφοράς, μια εργασία, μια αξιολόγηση και έναν προϋπολογισμό υπολογιστικών πόρων και παράγει το καλύτερο επαληθευμένο σημείο ελέγχου και την αντίστοιχη καταγραφή αξιολόγησης.

Η διαδικασία ανακάλυψης μεθόδων του TrainForge δημιουργεί στρατηγικές εκπαίδευσης, αντί να επιλέγει αποκλειστικά από έναν προκαθορισμένο κατάλογο συνταγών. Το Codex γράφει υλοποιήσεις σε έναν κενό χώρο εργασίας και οι έλεγχοι επαληθεύουν ότι ο κώδικας που εκτελείται αντιστοιχεί στην προτεινόμενη ιδέα. Οι υποσχόμενοι υποψήφιοι προχωρούν από μια γρήγορη δοκιμή LoRA, η οποία ενημερώνει ένα μικρό σύνολο εκπαιδεύσιμων παραμέτρων διατηρώντας το βασικό μοντέλο, σε μια σύντομη εκτέλεση με όλες τις παραμέτρους και, στη συνέχεια, σε πλήρη εκπαίδευση. Τα παγωμένα σύνολα δεδομένων που έχουν παρακρατηθεί από την εκπαίδευση προορίζονται για αξιολόγηση.

Και οι δύο πράκτορες εκτελούνται στο AutoInfra, την κοινόχρηστη υποδομή εκπαίδευσης και συναγωγής της Salesforce. Κατανέμει GPU workers σε παράλληλα πειράματα και διατηρεί μόνιμα τα αιτήματα, την πρόοδο και τα αποτελέσματα, ώστε η εργασία να μπορεί να συνεχιστεί μετά από διακοπές της πύλης επικοινωνίας. Το AutoInfra διαχωρίζει επίσης τα περιβάλλοντα του αλγορίθμου, της υπηρεσίας εκπαίδευσης και του sandbox, για να προστατεύει την ακεραιότητα του συστήματος και να αποτρέπει τη χειραγώγηση της ανταμοιβής.

«Η επιστημονική μέθοδος εξακολουθεί να διέπει τη διαδικασία, αλλά ο κύκλος εκτελείται ταχύτερα», δήλωσε ο Silvio Savarese, εκτελεστικός αντιπρόεδρος και επικεφαλής επιστήμονας της Salesforce.

Βελτιώσεις στις ενσωματώσεις και αποτελέσματα στον κώδικα

Στη δημόσια αξιολόγηση ενσωματώσεων, η Salesforce αναφέρει ότι το ερευνητικό σημείο ελέγχου βαθμολογήθηκε με 57,21, έναντι 51,07 του EmbeddingGemma 2, καταγράφοντας αναφερόμενη βελτίωση κατά 6,13 μονάδες σε κλίμακα 0–100. Το σημείο ελέγχου που υποστηρίζεται για χρήση στην παραγωγή βαθμολογήθηκε με 55,76. Οι βαθμολογίες είναι ο μέσος όρος του nDCG@10 σε 10 εργασίες ανάκτησης, στο πλαίσιο της ίδιας σουίτας MTEB, η οποία περιλαμβάνει 41 εργασίες. Η μετρική αξιολογεί τη συνάφεια μεταξύ των 10 κορυφαίων αποτελεσμάτων, αποδίδοντας μεγαλύτερη βαρύτητα σε όσα βρίσκονται υψηλότερα στην κατάταξη.

Και τα τρία μοντέλα αξιολογήθηκαν με όριο περιβάλλοντος 8.192 token. Η Salesforce χαρακτηρίζει ρητά τις μετρήσεις ως συγκρίσεις τοπικών σημείων ελέγχου και όχι ως επίσημες θέσεις στην κατάταξη του MTEB. Επομένως, τεκμηριώνουν βελτίωση έναντι του επιλεγμένου μοντέλου αναφοράς βάσει ελεγχόμενου πρωτοκόλλου, χωρίς να καθορίζουν θέση σε σχέση με το ευρύτερο σύνολο μοντέλων.

Μια ξεχωριστή αυτόνομη συνεδρία, διάρκειας περίπου εννέα ωρών, είχε ως στόχο την αποδοτικότητα της εξυπηρέτησης. Η Salesforce αναφέρει 36% υψηλότερη διαμεταγωγή και 17% χαμηλότερη καθυστέρηση, με σχεδόν μηδενική απώλεια ποιότητας, συνδέοντας το ερευνητικό αποτέλεσμα με το κόστος και την ταχύτητα απόκρισης της ανάκτησης σε μεγάλα σύνολα δεδομένων πελατών.

Τα αποτελέσματα της μηχανικής αναφέρουν επίσης έως και 1,84× ταχύτερες πράξεις μείωσης στο pandas για nullable τύπους δεδομένων, οι οποίοι αναπαριστούν ρητά τις ελλείπουσες τιμές. Καταγράφουν διάμεση αύξηση 4,1% στα ερωτήματα ανά δευτερόλεπτο του hnswlib σε τρεις δημιουργίες ευρετηρίου, καθώς και 17,5% υψηλότερη διαμεταγωγή μονού πυρήνα στο USearch με το GCC 11.4. Οι δύο τελευταίες βιβλιοθήκες εκτελούν αναζήτηση διανυσμάτων, μια κεντρική λειτουργία στην ανάκτηση για εφαρμογές ΤΝ.

Η ίδια τεχνική καταγραφή τεκμηριώνει 134.064 περιπτώσεις διαφορικού ελέγχου για την ενημέρωση κώδικα του pandas σχετικά με τους nullable τύπους δεδομένων, χωρίς καμία διαφορά στις τιμές, τις μάσκες, τους τύπους δεδομένων ή τις εξαιρέσεις. Για εισόδους που δεν ακολουθούν την ταχεία διαδρομή, η επεξεργασία επιστρέφει στην υπάρχουσα υλοποίηση του pandas, ενώ και οι τρεις βελτιστοποιήσεις του pandas έχουν υποβληθεί ως αιτήματα έλξης στο upstream έργο. Η ενημέρωση κώδικα του hnswlib επαναχρησιμοποιεί προσωρινή μνήμη ανά worker, διατηρώντας πανομοιότυπα σε επίπεδο byte αποτελέσματα αναζήτησης. Η ενημέρωση κώδικα του USearch αποθηκεύει προσωρινά τις νόρμες των αποθηκευμένων διανυσμάτων, προσθέτοντας τέσσερα byte ανά διάνυσμα και διατηρώντας την ανάκληση στην αναφερόμενη αξιολόγηση.

Όρια στην αυτονομία και την ανάπτυξη

Οι ερευνητές εξακολουθούν να ορίζουν τους στόχους, τους προϋπολογισμούς, τις αξιολογήσεις και τους περιορισμούς των δεδομένων. Τα μοντέλα που προορίζονται για χρήση σε προϊόντα βασίζονται αποκλειστικά σε σύνολα δεδομένων εκπαίδευσης που έχουν περάσει από δεοντολογικό και νομικό έλεγχο, ενώ ένα βελτιωμένο μοντέλο πρέπει επίσης να πληροί τις απαιτήσεις εμπιστοσύνης και ασφάλειας για χρήση στην παραγωγή. Η Salesforce δήλωσε ότι οι εργασίες για την παραγωγική διάθεση βρίσκονται σε εξέλιξη, επομένως τα ερευνητικά αποτελέσματα του SFR-Embedding v4 δεν σημαίνουν ότι έχει ολοκληρωθεί η διάθεσή του στους πελάτες.

Το SFR-AutoR&D συνδυάζει αυτόνομο πειραματισμό με περιορισμούς και απαιτήσεις τεκμηρίωσης που ορίζουν οι άνθρωποι. Η άμεση σημασία του έγκειται στη συμπίεση αυτού του ελεγχόμενου ερευνητικού κύκλου από εβδομάδες σε ημέρες· η επόμενη ουσιαστική δοκιμασία είναι αν οι βελτιώσεις της v4 θα περάσουν τον έλεγχο για παραγωγική χρήση και θα φτάσουν στα συστήματα ανάκτησης από τα οποία εξαρτώνται οι εταιρικοί πράκτορες της Salesforce.