SFR-AutoR&D ของ Salesforce ทำให้การวิจัยและตรวจสอบความถูกต้องของโมเดลเป็นไปโดยอัตโนมัติ

Salesforce เปิดตัว SFR-AutoR&D เมื่อวันที่ 11 พฤศจิกายน 2026 โดยระบุว่าตัวแทน AI ของบริษัทสร้าง SFR-Embedding v4 ได้ในเวลาราว 80 ชั่วโมง แทนที่จะใช้เวลาหลายสัปดาห์อย่างที่การทดลองโดยมนุษย์มักต้องใช้ ระบบนี้ได้รับการออกแบบให้ดำเนินวงจรการวิจัยได้โดยอัตโนมัติ ทั้งด้วยการปรับเปลี่ยนฐานโค้ดที่มีอยู่ และการพัฒนาและทดสอบวิธีฝึกโมเดล AI แบบใหม่

งานนี้ขยายขอบเขตไปไกลกว่าการสาธิตงานวิจัยแบบแยกส่วน ก่อนที่นักวิจัยจะนำ SFR-AutoR&D ไปใช้กับโมเดลพื้นฐานโอเพนซอร์ส EmbeddingGemma 2 เพื่อสร้าง v4 ระบบดังกล่าวได้ปรับปรุง SFR-Embedding V3 ซึ่ง Salesforce ใช้ในการค้นคืนข้อมูลบน Data Cloud มาแล้ว โมเดลฝังตัวจะแปลงข้อความเป็นตัวแทนเชิงตัวเลข เพื่อให้ระบบค้นคืนระเบียน เอกสาร หรือประวัติเคสได้ ในสถาปัตยกรรมของ Salesforce การค้นคืนนี้จะนำข้อมูลลูกค้ามาใช้เป็นพื้นฐานรองรับคำตอบของ Agentforce ทำให้คุณภาพการค้นคืนส่งผลสำคัญต่อคำตอบขั้นถัดไปของตัวแทน AI

ตัวแทน AI สองตัว วงจรวิจัยที่มีการควบคุมหนึ่งวงจร

โครงการ SFR-AutoR&D แบ่งงานออกเป็นสี่ขั้นตอน ได้แก่ ค้นหาสมมติฐานที่ทดสอบได้ สร้างตัวเลือกและเปรียบเทียบกับค่าพื้นฐาน ประเมินความถูกต้องหรือคุณภาพของโมเดล และเรียนรู้จากทั้งการทดลองที่สำเร็จและล้มเหลว หากตัวเลือกใดไม่สามารถแสดงให้เห็นถึงผลลัพธ์ที่ดีขึ้นและผ่านการตรวจสอบได้ ค่าพื้นฐานจะยังคงเดิม

AutoR&D-Engineer รับคลังโค้ด เป้าหมาย และข้อจำกัด จากนั้นสร้างแพตช์ตัวเลือกพร้อมหลักฐานจากการทดสอบมาตรฐาน ส่วน TrainForge เริ่มต้นด้วยโมเดลพื้นฐาน งาน การประเมิน และงบประมาณด้านการประมวลผล แล้วสร้างเช็กพอยต์ที่ดีที่สุดซึ่งผ่านการตรวจสอบ พร้อมบันทึกผลการประเมิน

กระบวนการค้นหาวิธีการของ TrainForge สร้างกลยุทธ์การฝึก แทนที่จะเลือกจากรายการสูตรสำเร็จที่กำหนดไว้เท่านั้น Codex เขียนโค้ดตั้งแต่พื้นที่ทำงานเปล่า และมีการตรวจสอบเพื่อยืนยันว่าโค้ดที่ทำงานอยู่ตรงกับแนวคิดที่เสนอไว้ ตัวเลือกที่มีแนวโน้มดีจะผ่านจากการทดสอบ LoRA แบบรวดเร็ว ซึ่งปรับพารามิเตอร์ที่ฝึกได้จำนวนไม่มากโดยคงโมเดลพื้นฐานไว้ ไปสู่การฝึกแบบเต็มพารามิเตอร์ระยะสั้น แล้วจึงเข้าสู่การฝึกเต็มรูปแบบ ชุดข้อมูลที่กันไว้และไม่เปลี่ยนแปลงจะสงวนไว้สำหรับการประเมิน

ตัวแทน AI ทั้งสองทำงานบน AutoInfra ซึ่งเป็นโครงสร้างพื้นฐานด้านการฝึกและการอนุมานที่ Salesforce ใช้ร่วมกัน ระบบจะจัดสรรหน่วยประมวลผล GPU ให้กับการทดลองที่ทำงานพร้อมกัน และเก็บคำขอ ความคืบหน้า และผลลัพธ์ไว้ให้คงอยู่ เพื่อให้ทำงานต่อได้หลังจากการเชื่อมต่อเกตเวย์หยุดชะงัก นอกจากนี้ AutoInfra ยังแยกสภาพแวดล้อมของอัลกอริทึม บริการฝึก และแซนด์บ็อกซ์ออกจากกัน เพื่อปกป้องความสมบูรณ์ของระบบและป้องกันการเอาเปรียบระบบให้รางวัล

“วิธีการทางวิทยาศาสตร์ยังคงเป็นหลักกำกับ ส่วนวงจรการทำงานนั้นรวดเร็วขึ้น” Silvio Savarese รองประธานบริหารและหัวหน้านักวิทยาศาสตร์ของ Salesforce กล่าว

ผลการปรับปรุงโมเดลฝังตัวและผลลัพธ์จากฐานโค้ด

ในการประเมินโมเดลฝังตัวแบบ สาธารณะ Salesforce รายงานว่าเช็กพอยต์รุ่นวิจัยได้คะแนน 57.21 เทียบกับ 51.07 ของ EmbeddingGemma 2 คิดเป็นคะแนนที่เพิ่มขึ้น 6.13 จุดบนมาตรวัด 0–100 ส่วนเช็กพอยต์ที่รองรับการใช้งานจริงได้คะแนน 55.76 คะแนนเหล่านี้เป็นค่าเฉลี่ย nDCG@10 จากงานค้นคืนข้อมูล 10 งานในชุดทดสอบ MTEB เดียวกัน ซึ่งมีทั้งหมด 41 งาน ตัวชี้วัดนี้ประเมินความเกี่ยวข้องของผลลัพธ์ 10 อันดับแรก โดยให้น้ำหนักกับรายการที่อยู่ในอันดับสูงมากกว่า

โมเดลทั้งสามได้รับการประเมินโดยจำกัดบริบทไว้ที่ 8,192 โทเค็น Salesforce ระบุอย่างชัดเจนว่าค่าที่วัดได้เป็นการเปรียบเทียบเช็กพอยต์ในเครื่อง ไม่ใช่อันดับบนตารางจัดอันดับอย่างเป็นทางการของ MTEB ดังนั้น ผลลัพธ์เหล่านี้จึงแสดงให้เห็นถึงการปรับปรุงเมื่อเทียบกับโมเดลพื้นฐานที่เลือกไว้ภายใต้ระเบียบวิธีควบคุม แต่ไม่ได้ระบุตำแหน่งของโมเดลเมื่อเทียบกับผลงานในวงกว้าง

การทำงานอัตโนมัติอีกช่วงหนึ่งซึ่งใช้เวลาราวเก้าชั่วโมงมุ่งปรับปรุงประสิทธิภาพการให้บริการ Salesforce รายงานว่าปริมาณงานที่รองรับได้เพิ่มขึ้น 36% และเวลาแฝงลดลง 17% โดยแทบไม่สูญเสียคุณภาพ ผลลัพธ์นี้เชื่อมโยงงานวิจัยเข้ากับต้นทุนและความรวดเร็วในการค้นคืนข้อมูลจากชุดข้อมูลลูกค้าขนาดใหญ่

ผลลัพธ์ด้านวิศวกรรมยังระบุด้วยว่าการลดข้อมูลใน pandas สำหรับชนิดข้อมูลที่รองรับค่าว่าง ซึ่งใช้แทนค่าที่ขาดหายไปได้ ทำงานเร็วขึ้นสูงสุด 1.84× นอกจากนี้ ยังพบว่าค่ามัธยฐานของจำนวนคำค้นต่อวินาทีใน hnswlib เพิ่มขึ้น 4.1% จากการสร้างดัชนีสามครั้ง และปริมาณงานแบบแกนประมวลผลเดียวของ USearch เพิ่มขึ้น 17.5% เมื่อใช้ GCC 11.4 ไลบรารีสองตัวหลังใช้ค้นหาเวกเตอร์ ซึ่งเป็นการทำงานหลักในการค้นคืนข้อมูลด้วย AI

บันทึกด้านวิศวกรรมฉบับเดียวกันระบุว่ามีกรณีทดสอบเชิงเปรียบต่าง 134,064 กรณีสำหรับแพตช์ pandas ที่รองรับชนิดข้อมูลค่าว่าง โดยไม่พบความแตกต่างแม้แต่กรณีเดียวในด้านค่า มาสก์ ชนิดข้อมูล หรือข้อยกเว้น อินพุตที่ไม่เข้าเงื่อนไขการทำงานแบบรวดเร็วจะกลับไปใช้การทำงานเดิมของ pandas และมีการส่งการปรับปรุง pandas ทั้งสามรายการเป็นคำขอรวมโค้ดกลับไปยังโครงการต้นทางแล้ว แพตช์ hnswlib นำหน่วยความจำชั่วคราวกลับมาใช้ซ้ำในแต่ละหน่วยประมวลผล โดยยังคงให้ผลการค้นหาที่เหมือนกันทุกไบต์ ส่วนแพตช์ USearch แคชค่าบรรทัดฐานของเวกเตอร์ที่จัดเก็บไว้ โดยเพิ่มพื้นที่จัดเก็บเวกเตอร์ละ 4 ไบต์ และยังคงรักษาค่าการเรียกคืนข้อมูลตามผลการประเมินที่รายงาน

ข้อจำกัดของการทำงานอัตโนมัติและการนำไปใช้งาน

นักวิจัยยังคงเป็นผู้กำหนดเป้าหมาย งบประมาณ การประเมิน และข้อจำกัดด้านข้อมูล โมเดลที่ตั้งใจจะนำไปใช้กับผลิตภัณฑ์จะใช้ได้เฉพาะชุดข้อมูลฝึกที่ผ่านการตรวจสอบด้านจริยธรรมและกฎหมายแล้วเท่านั้น และโมเดลที่ได้รับการปรับปรุงยังต้องเป็นไปตามข้อกำหนดด้านความน่าเชื่อถือและความปลอดภัยสำหรับการใช้งานจริงด้วย Salesforce ระบุว่ากำลังดำเนินงานเพื่อเตรียมนำไปใช้จริง ดังนั้น ผลการวิจัยของ SFR-Embedding v4 จึงยังไม่ได้หมายความว่าได้นำระบบไปเปิดให้ลูกค้าใช้งานแล้ว

SFR-AutoR&D ผสานการทดลองแบบอัตโนมัติเข้ากับข้อจำกัดและข้อกำหนดด้านหลักฐานที่มนุษย์กำหนด สิ่งสำคัญในระยะใกล้คือการย่นวงจรการวิจัยภายใต้การควบคุมนี้จากหลายสัปดาห์ให้เหลือเพียงไม่กี่วัน ส่วนการทดสอบสำคัญขั้นถัดไปคือการพิจารณาว่าการปรับปรุงใน v4 ผ่านการตรวจสอบสำหรับการใช้งานจริงหรือไม่ และเข้าถึงระบบค้นคืนข้อมูลที่เอเจนต์ระดับองค์กรของ Salesforceต้องพึ่งพาได้หรือไม่