SFR-AutoR&D của Salesforce tự động hóa nghiên cứu và đánh giá mô hình

Salesforce giới thiệu SFR-AutoR&D vào ngày 11 tháng 11 năm 2026, cho biết các tác nhân của hệ thống đã tạo ra SFR-Embedding v4 trong khoảng 80 giờ, thay vì mất vài tuần như thường thấy khi con người tiến hành thử nghiệm. Hệ thống được thiết kế để tự động thực hiện toàn bộ chu trình nghiên cứu, bằng cách thay đổi các cơ sở mã hiện có cũng như phát triển và thử nghiệm những phương pháp huấn luyện mới cho mô hình AI.

Công trình này không chỉ dừng lại ở một màn trình diễn nghiên cứu độc lập. Trước khi các nhà nghiên cứu thử nghiệm với mô hình nền tảng mã nguồn mở EmbeddingGemma 2 để tạo ra v4, SFR-AutoR&D đã cải thiện SFR-Embedding V3, mô hình mà Salesforce sử dụng để truy xuất dữ liệu trong Data Cloud. Các mô hình nhúng chuyển văn bản thành những biểu diễn dạng số, giúp hệ thống truy xuất hồ sơ, tài liệu hoặc lịch sử vụ việc. Trong kiến trúc của Salesforce, hoạt động truy xuất này cung cấp thông tin khách hàng làm căn cứ cho câu trả lời của Agentforce, nên chất lượng truy xuất ảnh hưởng đáng kể đến phản hồi tiếp theo của tác nhân.

Hai tác nhân, một chu trình nghiên cứu có kiểm soát

Dự án SFR-AutoR&D chia công việc thành bốn giai đoạn: tìm ra giả thuyết có thể kiểm chứng, xây dựng phương án thử nghiệm và so sánh với mô hình nền tảng, đánh giá độ chính xác hoặc chất lượng mô hình, rồi rút kinh nghiệm từ cả thử nghiệm thành công lẫn thất bại. Nếu một phương án không chứng minh được mức cải thiện đã xác minh, mô hình nền tảng sẽ được giữ nguyên.

AutoR&D-Engineer tiếp nhận kho mã, mục tiêu và các ràng buộc, sau đó tạo ra một bản vá thử nghiệm kèm bằng chứng từ kết quả đánh giá chuẩn. TrainForge bắt đầu với mô hình nền tảng, tác vụ, phương pháp đánh giá và ngân sách tính toán, rồi tạo ra điểm kiểm tra đã xác minh tốt nhất cùng hồ sơ đánh giá tương ứng.

Quy trình khám phá phương pháp của TrainForge tạo ra các chiến lược huấn luyện thay vì chỉ lựa chọn trong một danh sách công thức cố định. Codex viết phần triển khai từ một không gian làm việc trống, còn các bước kiểm tra xác minh rằng mã đang chạy khớp với ý tưởng được đề xuất. Những phương án tiềm năng sẽ tiến từ thử nghiệm LoRA nhanh — cập nhật một tập hợp nhỏ các tham số có thể huấn luyện trong khi vẫn giữ nguyên mô hình cơ sở — sang một lượt chạy ngắn với toàn bộ tham số, rồi đến huấn luyện đầy đủ. Các tập dữ liệu được giữ riêng và cố định chỉ dành cho việc đánh giá.

Cả hai tác nhân đều chạy trên AutoInfra, hạ tầng huấn luyện và suy luận dùng chung của Salesforce. Hệ thống phân công các bộ xử lý GPU cho những thử nghiệm chạy song song, đồng thời lưu liên tục các yêu cầu, tiến độ và kết quả để công việc có thể tiếp tục sau khi cổng kết nối bị gián đoạn. AutoInfra cũng tách biệt môi trường thuật toán, dịch vụ huấn luyện và môi trường hộp cát nhằm bảo vệ tính toàn vẹn của hệ thống và ngăn việc thao túng hàm thưởng.

“Phương pháp khoa học vẫn là kim chỉ nam, nhưng chu trình được thực hiện nhanh hơn”, Silvio Savarese, phó chủ tịch điều hành kiêm nhà khoa học trưởng của Salesforce, cho biết.

Cải thiện mô hình nhúng và kết quả trên cơ sở mã

Trong đánh giá công khai về mô hình nhúng, Salesforce cho biết điểm của điểm kiểm tra nghiên cứu là 57,21, so với 51,07 của EmbeddingGemma 2, tương ứng mức tăng được báo cáo là 6,13 điểm trên thang điểm 0–100. Điểm của điểm kiểm tra được hỗ trợ cho môi trường sản xuất là 55,76. Các điểm số là giá trị trung bình nDCG@10 trên 10 tác vụ truy xuất thuộc cùng bộ MTEB gồm 41 tác vụ; chỉ số này đánh giá mức độ liên quan trong 10 kết quả hàng đầu và dành trọng số cao hơn cho các kết quả xếp hạng cao hơn.

Cả ba mô hình đều được đánh giá với giới hạn ngữ cảnh 8.192 token. Salesforce nêu rõ rằng các phép đo này là kết quả so sánh giữa các điểm kiểm tra cục bộ, không phải thứ hạng chính thức trên bảng xếp hạng MTEB. Vì vậy, chúng ghi nhận mức cải thiện so với mô hình nền tảng được chọn theo một quy trình có kiểm soát, nhưng không xác lập vị trí của mô hình so với toàn bộ các mô hình khác.

Một phiên chạy tự động riêng biệt kéo dài khoảng chín giờ tập trung vào hiệu quả phục vụ. Salesforce báo cáo thông lượng tăng 36% và độ trễ giảm 17%, trong khi chất lượng gần như không suy giảm; kết quả này cho thấy nghiên cứu có thể tác động đến chi phí và khả năng phản hồi khi truy xuất trên các tập dữ liệu khách hàng quy mô lớn.

Kết quả kỹ thuật cũng ghi nhận tốc độ giảm dữ liệu pandas trên các kiểu dữ liệu cho phép giá trị rỗng nhanh hơn tới 1,84 lần; các kiểu dữ liệu này biểu thị rõ những giá trị bị thiếu. Kết quả còn cho thấy số truy vấn mỗi giây của hnswlib tăng trung vị 4,1% qua ba lần xây dựng chỉ mục, và thông lượng đơn lõi của USearch với GCC 11.4 tăng 17,5%. Hai thư viện sau thực hiện tìm kiếm vectơ, một thao tác cốt lõi trong truy xuất bằng AI.

Cùng hồ sơ kỹ thuật đó ghi nhận 134.064 trường hợp kiểm thử vi sai cho bản vá pandas xử lý kiểu dữ liệu cho phép giá trị rỗng, không có khác biệt nào về giá trị, mặt nạ, kiểu dữ liệu hoặc ngoại lệ. Các đầu vào không thuộc đường xử lý nhanh sẽ quay về cách triển khai hiện có của pandas, và cả ba tối ưu hóa pandas đã được gửi dưới dạng yêu cầu hợp nhất vào dự án gốc. Bản vá hnswlib tái sử dụng bộ nhớ tạm cho từng bộ xử lý mà vẫn bảo toàn kết quả tìm kiếm giống hệt từng byte. Bản vá USearch lưu vào bộ nhớ đệm các chuẩn vectơ đã lưu, tăng thêm bốn byte cho mỗi vectơ nhưng vẫn giữ nguyên độ thu hồi trong phép đánh giá được báo cáo.

Giới hạn về quyền tự chủ và triển khai

Các nhà nghiên cứu vẫn đặt ra mục tiêu, ngân sách, phương pháp đánh giá và ràng buộc dữ liệu. Mô hình dự định sử dụng trong sản phẩm chỉ được dùng các tập dữ liệu huấn luyện đã vượt qua quy trình đánh giá về đạo đức và pháp lý; mô hình được cải thiện cũng phải đáp ứng các yêu cầu về độ tin cậy và an toàn trong môi trường sản xuất. Salesforce cho biết công việc đưa vào sản xuất đang được tiến hành, vì vậy kết quả nghiên cứu của SFR-Embedding v4 chưa đồng nghĩa với việc sản phẩm đã được triển khai cho khách hàng.

SFR-AutoR&D kết hợp thử nghiệm tự động với các giới hạn do con người đặt ra và yêu cầu về bằng chứng. Ý nghĩa trước mắt của hệ thống là rút ngắn chu trình nghiên cứu có kiểm soát này từ vài tuần xuống còn vài ngày; phép thử quan trọng tiếp theo là liệu những cải tiến của v4 có đáp ứng yêu cầu đánh giá trước khi đưa vào sản xuất và có đến được các hệ thống truy xuất mà các tác nhân doanh nghiệp của Salesforce phụ thuộc vào hay không.