Salesforce का SFR-AutoR&D मॉडल अनुसंधान और सत्यापन को स्वचालित करता है

Salesforce ने 11 नवंबर, 2026 को SFR-AutoR&D पेश किया और बताया कि इसके एजेंटों ने लगभग 80 घंटों में SFR-Embedding v4 तैयार किया, जबकि मनुष्यों को प्रयोगों के ज़रिए ऐसा करने में अक्सर कई सप्ताह लगते हैं। इस प्रणाली को अनुसंधान का पूरा चक्र स्वायत्त रूप से चलाने के लिए बनाया गया है—मौजूदा कोडबेस में बदलाव करने के साथ-साथ AI मॉडल के लिए नई प्रशिक्षण विधियाँ विकसित और परखकर भी।

यह काम केवल एक स्वतंत्र अनुसंधान प्रदर्शन तक सीमित नहीं है। शोधकर्ताओं ने ओपन-सोर्स EmbeddingGemma 2 को आधार बनाकर v4 तैयार करने से पहले, SFR-AutoR&D SFR-Embedding V3 में सुधार कर चुका था। Salesforce, Data Cloud में जानकारी खोजने के लिए इसका इस्तेमाल करता है। एम्बेडिंग मॉडल पाठ को संख्यात्मक निरूपणों में बदलते हैं, ताकि सिस्टम रिकॉर्ड, दस्तावेज़ या मामलों का इतिहास खोज सकें। Salesforce की संरचना में, इस खोज से ग्राहक संबंधी जानकारी मिलती है, जिसके आधार पर Agentforce के जवाब तैयार होते हैं। इसलिए खोज की गुणवत्ता एजेंट के अगले जवाब के लिए महत्वपूर्ण है।

दो एजेंट, अनुसंधान का एक नियंत्रित चक्र

SFR-AutoR&D परियोजना काम को चार चरणों में बाँटती है: परीक्षण योग्य परिकल्पना खोजना, एक संभावित मॉडल और आधाररेखा से उसकी तुलना तैयार करना, उसकी शुद्धता या मॉडल की गुणवत्ता का मूल्यांकन करना, और सफल तथा असफल—दोनों तरह के प्रयोगों से सीखना। यदि कोई संभावित मॉडल सत्यापित सुधार प्रदर्शित नहीं कर पाता, तो आधाररेखा में कोई बदलाव नहीं किया जाता।

AutoR&D-Engineer को एक रिपॉज़िटरी, लक्ष्य और बाधाएँ दी जाती हैं। इसके बाद यह बेंचमार्क के साक्ष्य के साथ संभावित बदलाव तैयार करता है। TrainForge एक आधाररेखा मॉडल, कार्य, मूल्यांकन और कंप्यूट बजट से शुरुआत करता है और सबसे अच्छा सत्यापित चेकपॉइंट तथा उसका मूल्यांकन रिकॉर्ड तैयार करता है।

TrainForge की विधि-खोज प्रक्रिया किसी तयशुदा नुस्खों की सूची में से चुनने के बजाय प्रशिक्षण की रणनीतियाँ तैयार करती है। Codex खाली कार्यक्षेत्र से कार्यान्वयन लिखता है, और जाँचों से यह सत्यापित किया जाता है कि चल रहा कोड प्रस्तावित विचार के अनुरूप है। आशाजनक संभावित मॉडल पहले तेज़ LoRA परीक्षण से आगे बढ़ते हैं। इसमें आधार मॉडल को बरकरार रखते हुए प्रशिक्षित किए जा सकने वाले पैरामीटरों के एक छोटे समूह को अपडेट किया जाता है। इसके बाद वे कम अवधि के पूर्ण-पैरामीटर रन और फिर पूर्ण प्रशिक्षण तक पहुँचते हैं। मूल्यांकन के लिए प्रशिक्षण से अलग रखे गए डेटासेट सुरक्षित रखे जाते हैं।

दोनों एजेंट AutoInfra पर चलते हैं, जो Salesforce का साझा प्रशिक्षण और अनुमान अवसंरचना है। यह समानांतर प्रयोगों के लिए GPU वर्करों को काम सौंपता है और अनुरोधों, प्रगति तथा नतीजों को स्थायी रूप से सहेजता है, ताकि गेटवे में रुकावट आने के बाद काम फिर से शुरू किया जा सके। सिस्टम की अखंडता बनाए रखने और रिवॉर्ड हैकिंग से बचाने के लिए AutoInfra एल्गोरिदम, प्रशिक्षण सेवा और सैंडबॉक्स के परिवेशों को भी अलग-अलग रखता है।

Salesforce के कार्यकारी उपाध्यक्ष और मुख्य वैज्ञानिक Silvio Savarese ने कहा, “वैज्ञानिक पद्धति अब भी मार्गदर्शक है, लेकिन यह चक्र तेज़ी से चलता है।”

एम्बेडिंग में सुधार और कोडबेस के नतीजे

सार्वजनिक एम्बेडिंग मूल्यांकन में Salesforce के अनुसार, अनुसंधान चेकपॉइंट को 57.21 अंक मिले, जबकि EmbeddingGemma 2 को 51.07 अंक मिले—0–100 के पैमाने पर यह 6.13 अंकों की बताई गई बढ़त है। उत्पादन में इस्तेमाल के लिए समर्थित चेकपॉइंट को 55.76 अंक मिले। ये स्कोर उसी 41-कार्य वाले MTEB समूह के 10 सूचना-खोज कार्यों में nDCG@10 का औसत हैं। यह माप शीर्ष 10 नतीजों की प्रासंगिकता का आकलन करता है और ऊँची रैंक वाले नतीजों को अधिक वज़न देता है।

तीनों मॉडलों का मूल्यांकन 8,192-टोकन की संदर्भ सीमा के साथ किया गया। Salesforce स्पष्ट रूप से इन मापों को स्थानीय चेकपॉइंटों के बीच की तुलना बताता है, न कि आधिकारिक MTEB लीडरबोर्ड की रैंकिंग। इसलिए ये माप नियंत्रित प्रोटोकॉल के तहत चुनी गई आधाररेखा की तुलना में सुधार दर्ज करते हैं, लेकिन व्यापक क्षेत्र में मॉडल की स्थिति स्थापित नहीं करते।

लगभग नौ घंटे चले एक अलग स्वायत्त सत्र में सर्विंग की दक्षता बेहतर करने का लक्ष्य रखा गया। Salesforce के अनुसार, गुणवत्ता में लगभग कोई कमी आए बिना थ्रूपुट 36% बढ़ा और विलंबता 17% घटी। इससे अनुसंधान के नतीजे बड़े ग्राहक डेटासेट में खोज की लागत और उसकी प्रतिक्रियाशीलता से जुड़ते हैं।

इंजीनियरिंग के नतीजों में nullable डेटा प्रकारों पर pandas में अधिकतम 1.84× तेज़ रिडक्शन भी दर्ज हैं। ये डेटा प्रकार अनुपलब्ध मानों को स्पष्ट रूप से दर्शाते हैं। नतीजों में तीन इंडेक्स बिल्ड में hnswlib की क्वेरी प्रति सेकंड की संख्या में औसतन 4.1% की वृद्धि और GCC 11.4 के साथ USearch के सिंगल-कोर थ्रूपुट में 17.5% की बढ़ोतरी भी दर्ज है। ये दोनों लाइब्रेरी वेक्टर खोज करती हैं, जो AI-आधारित सूचना-खोज का एक प्रमुख काम है।

इसी इंजीनियरिंग रिकॉर्ड में nullable डेटा प्रकारों के लिए pandas पैच के 134,064 तुलनात्मक मामलों का ब्यौरा है। मानों, मास्क, डेटा प्रकारों या अपवादों में कोई अंतर नहीं मिला। इसके तेज़-पथ से बाहर के इनपुट pandas के मौजूदा कार्यान्वयन पर चले जाते हैं, और pandas के तीनों अनुकूलन अपस्ट्रीम पुल अनुरोधों के रूप में भेजे जा चुके हैं। hnswlib पैच हर वर्कर के लिए अस्थायी मेमरी का दोबारा इस्तेमाल करता है और खोज के नतीजों को बाइट-दर-बाइट समान रखता है। USearch पैच संग्रहित वेक्टरों के मानदंडों को कैश करता है। इससे हर वेक्टर के लिए चार बाइट जुड़ते हैं, जबकि बताए गए मूल्यांकन में रिकॉल बरकरार रहता है।

स्वायत्तता और परिनियोजन की सीमाएँ

लक्ष्य, बजट, मूल्यांकन और डेटा संबंधी बाधाएँ अब भी शोधकर्ता तय करते हैं। उत्पादों में इस्तेमाल के लिए बनाए गए मॉडल केवल उन्हीं प्रशिक्षण डेटासेट का उपयोग करते हैं जो नैतिक और कानूनी समीक्षा में स्वीकृत हुए हों। बेहतर किए गए मॉडल को उत्पादन संबंधी भरोसे और सुरक्षा की आवश्यकताएँ भी पूरी करनी होती हैं। Salesforce ने बताया कि उत्पादन के लिए काम जारी है, इसलिए SFR-Embedding v4 के अनुसंधान नतीजों का अर्थ यह नहीं है कि इसे ग्राहकों के लिए जारी करने की प्रक्रिया पूरी हो चुकी है।

SFR-AutoR&D स्वायत्त प्रयोगों को मनुष्यों द्वारा निर्धारित सीमाओं और साक्ष्य संबंधी आवश्यकताओं के साथ जोड़ता है। इसका तात्कालिक महत्व इस नियंत्रित शोध-चक्र को हफ्तों से घटाकर दिनों तक सीमित करने में है; अगली ठोस कसौटी यह है कि क्या v4 से हुए लाभ उत्पादन समीक्षा पर खरे उतरते हैं और उन पुनर्प्राप्ति प्रणालियों तक पहुँचते हैं जिन पर Salesforce के एंटरप्राइज़ एजेंट निर्भर करते हैं।