एआई मॉडल और प्लेटफ़ॉर्म
AWS ने Amazon SageMaker AI में AI डेटा तैयार करने के टूल जोड़े

मुख्य बिंदुसेजमेकर एआई अब जनरेशन, मूल्यांकन, रूपांतरण और लेबलिंग को एक प्रबंधित डेटासेट पथ में…
और देखें
- सेजमेकर एआई अब जनरेशन, मूल्यांकन, रूपांतरण और लेबलिंग को एक प्रबंधित डेटासेट पथ में समेकित करता है।
- ऑटो-लेबलिंग अनिश्चित पंक्तियों को मानव समीक्षकों तक पहुँचाने के लिए मॉडल सहमति को आत्मविश्वास स्कोर के रूप में उपयोग करती है।
- डेटा-उत्पादक जॉब्स आउटपुट को एक खाता हब में पंजीकृत करते हैं ताकि डेटासेट एआरएन द्वारा चरणों के बीच पार हो सकें।
AWS ने 17 नवंबर 2026 को Amazon SageMaker AI के लिए AI डेटा तैयार करने की नई क्षमताओं की घोषणा की। इनके तहत मॉडल डेवलपमेंट वर्कफ़्लो में कृत्रिम डेटा तैयार करना, गुणवत्ता का मूल्यांकन, रूपांतरण, स्वचालित लेबलिंग और मानव समीक्षा शामिल किए गए हैं। ये टूल US East (N. Virginia) और US West (Oregon) क्षेत्रों में आम तौर पर उपलब्ध हैं।
इस रिलीज़ में उन कामों को एक साथ लाया गया है, जो अक्सर अलग-अलग लेबलिंग टूल, डेटा तैयार करने वाली स्क्रिप्ट और सत्यापन जॉब में बँटे होते हैं। कोई टीम मौजूदा प्रक्रिया में एक क्षमता का इस्तेमाल कर सकती है या कई क्षमताओं को क्रम से जोड़ सकती है। डेटासेट के प्रशिक्षण या मूल्यांकन के लिए तैयार होने तक, उससे जुड़ी विशिष्टताओं और कोड की जाँच और उनमें बदलाव किया जा सकता है।
डेटा तैयार करना, साफ़ करना और प्रशिक्षण फ़ॉर्मैट
कृत्रिम डेटा तैयार करने की सुविधा किसी विशिष्टता के आधार पर प्रशिक्षण, मूल्यांकन और परीक्षण के रिकॉर्ड बनाती है। इसमें शुरुआती डेटा और दस्तावेज़ों के आधार पर रिकॉर्ड तैयार करने का विकल्प भी है। यह कोड-आधारित पाइपलाइन भी बनाती है, जिसकी उपयोगकर्ता जाँच कर सकते हैं, उसमें बदलाव कर सकते हैं, उसका दोबारा इस्तेमाल कर सकते हैं और उसे बड़े पैमाने पर चला सकते हैं। इससे डेटा तैयार करने की प्रक्रिया की भी जाँच संभव होती है।
गुणवत्ता मूल्यांकन में ग्राहक के कारोबारी नियमों, पहले से उपलब्ध मेट्रिक्स और जज के रूप में LLM वाले मेट्रिक्स का इस्तेमाल किया जा सकता है। बाद वाले मेट्रिक्स में भाषा मॉडल डेटा का आकलन करता है। यह डुप्लिकेट और लगभग समान रिकॉर्ड खोज सकता है तथा लेबल में गड़बड़ी या उत्तर के लीक होने का पता लगा सकता है। इसके बाद रूपांतरण के दौरान तैयार किए गए कोड, पहले से उपलब्ध डुप्लिकेट हटाने की सुविधा, रिकॉर्ड जोड़ने, बाँटने और फ़िल्टर करने के विकल्पों या उपयोगकर्ता के दिए Python कोड की मदद से रिकॉर्ड का स्वरूप बदला जा सकता है। Python कोड बड़े पैमाने पर चलाया जा सकता है।
AWS के उदाहरण में प्रशिक्षण की प्रक्रिया के तहत तैयार डेटा को पर्यवेक्षित फ़ाइन-ट्यूनिंग, डायरेक्ट प्रेफ़रेंस ऑप्टिमाइज़ेशन या रीइन्फ़ोर्समेंट लर्निंग के लिए फ़ॉर्मैट किया जाता है, उसकी गुणवत्ता जाँची जाती है और फिर SageMaker AI में मॉडल को अनुकूलित किया जाता है। इस क्रम में प्रशिक्षण के लिए कंप्यूट संसाधन इस्तेमाल करने से पहले डेटासेट का सत्यापन होता है, जिससे टीमों को प्रशिक्षण शुरू करने से पहले ख़राब रिकॉर्ड ठीक करने का मौका मिलता है।
विश्वास स्कोर से मानव समीक्षा को मदद
स्वचालित लेबलिंग की शुरुआत बिना लेबल वाले डेटासेट, कुछ लेबल वाले शुरुआती रिकॉर्ड या बिना किसी लेबल के भी की जा सकती है। पहले से उपलब्ध कार्यों में वर्गीकरण, नामित इकाई पहचान, निष्कर्षण-आधारित प्रश्नोत्तर, क्रमिक रेटिंग और सारांश बनाना शामिल हैं। अपनी ज़रूरत के मुताबिक कार्य भी तय किए जा सकते हैं। पूरे डेटासेट पर प्रक्रिया शुरू करने से पहले, लेबलिंग की एक संक्षिप्त विशिष्टता को उपयोगकर्ता के उदाहरणों के आधार पर सत्यापित किया जाता है।
जिन कार्यों में संभावित उत्तरों की सूची तय होती है, उनमें कई मॉडल जूरी की तरह हर पंक्ति को लेबल करते हैं। उनके बीच सहमति का स्तर उस पंक्ति का विश्वास स्कोर बनता है। चुनी गई सीमा से कम स्कोर वाली पंक्तियाँ SageMaker Studio की समीक्षा कतार में भेजी जाती हैं, जो ओपन-सोर्स Label Studio Community Edition पर आधारित है। विषय के बाहरी विशेषज्ञ समीक्षा ऐप में इन पंक्तियों को ठीक कर सकते हैं। उनके सुधार स्वचालित लेबलिंग में वापस शामिल किए जाते हैं, और टीमें सहमति के मेट्रिक्स तथा लेबलिंग रिपोर्ट तैयार कर सकती हैं।
प्रबंधित जॉब और डेटासेट का हस्तांतरण
डेवलपर इन चरणों को SageMaker Python SDK के ज़रिए चला सकते हैं या किसी कोडिंग एजेंट को AWS AI-ML skill देकर SageMaker Studio JupyterLab, Kiro या किसी स्थानीय IDE से उन्हें चुनकर चलवा सकते हैं। SageMaker AI के दस्तावेज़ के अनुसार, SDK का संस्करण 3.30.0 या उसके बाद का होना चाहिए और एक DataPreparer क्लास में generate(), evaluate() और transform() मेथड। generate() यह मेथड कृत्रिम डेटा तैयार करने और स्वचालित लेबलिंग, दोनों का काम करता है।
कृत्रिम डेटा तैयार करना, स्वचालित लेबलिंग, गुणवत्ता मूल्यांकन और रूपांतरण SageMaker के प्रबंधित जॉब के रूप में चलते हैं। डेटा तैयार करने वाले जॉब रिकॉर्ड को Amazon S3 में लिखते हैं और उन्हें अकाउंट हब में DataSet कंटेंट के रूप में दर्ज करते हैं। इन आउटपुट के लिए SDK का DataSet ऑब्जेक्ट Amazon Resource Name (ARN) रखता है, जिसे अगले चरण में दिया जा सकता है। रूपांतरण का आउटपुट उसी हब में प्रकाशित होता है जहाँ उसका इनपुट था—आमतौर पर उसी डेटासेट के नए संस्करण के रूप में। इसके बजाय, गुणवत्ता मूल्यांकन के नतीजे S3 में लिखे जाते हैं और उन्हें किसी अन्य डेटासेट के रूप में दर्ज नहीं किया जाता।
कोडिंग सहायक विशिष्टताओं का मसौदा तैयार करता है, परिवेश की जाँच करता है और जॉब चलाने या संसाधन बनाने से पहले मंज़ूरी माँगता है। यह जॉब के निष्पादन को नोटबुक या स्क्रिप्ट के रूप में भी सहेज सकता है, ताकि बनी हुई फ़ाइल का दोबारा इस्तेमाल और उसे फिर से चलाया जा सके।
इस वर्कफ़्लो में ग्राहक के नियंत्रण वाली AWS Identity and Access Management निष्पादन भूमिका का इस्तेमाल होता है। स्रोत डेटा, तैयार किए गए डेटासेट और लेबल ग्राहक के अपने S3 बकेट में, चुने गए AWS क्षेत्र में ही रहते हैं। इससे डेटा का संग्रहण और उस तक पहुँच, ग्राहक की चुनी हुई अनुमतियों और स्थान के दायरे में रहती है।
Cisco की कंपनी Splunk ने अपने Agent Observability उत्पाद के लिए मूल्यांकन मॉडल बनाते समय कृत्रिम डेटा तैयार करने की सुविधा का इस्तेमाल किया। Splunk Agent Observability के इंजीनियरिंग निदेशक Yash Sheth ने कहा कि इन टूल ने तेज़ी से ऐसे डेटासेट तैयार किए जो सांख्यिकीय रूप से प्रतिनिधि थे और उन पैटर्न को बनाए रखते थे जिन पर उनके मॉडल निर्भर करते हैं। उन्होंने यह भी कहा कि SageMaker के साथ एकीकरण से उनके डेटा वैज्ञानिकों और ग्राहकों को डेटा व्यवस्थित करने में कम मेहनत करनी पड़ी।
डेवलपरों के लिए कामकाज में मुख्य बदलाव यह है कि डेटा तैयार करना, उसकी जाँच करना और उसे सुधारना—ये सब एक ही प्रबंधित डेटासेट प्रक्रिया के ज़रिए मॉडल विकास में शामिल हो सकते हैं। AWS ने इस स्वचालन के साथ ऐसे आर्टिफ़ैक्ट दिए हैं जिनकी जाँच की जा सकती है, मंज़ूरी के अनुरोध जोड़े हैं और S3 रिकॉर्ड ग्राहक के पास ही रखे हैं। इससे डेटा तैयार करने की प्रक्रिया पर नियंत्रण ग्राहक के पास बना रहता है।












