रोबोट कैसे सीखते और असफल होते हैं, इसकी जाँच के लिए Ai2 ने ToyBlocks जारी किया

Ai2 ने 6 नवंबर, 2026 को ToyBlocks जारी किया। यह उसके FoundationWorlds ढाँचे का पहला परिवेश है, जिसमें रोबोट का खुला सिमुलेशन, तैयार किए गए प्रदर्शन, प्रशिक्षित किए गए दो मॉडल और मूल्यांकन के उपकरण शामिल हैं। यह ढाँचा रोबोट-शिक्षण के प्रयोगों को दोहराने योग्य और विफलताओं के कारणों का पता लगाना आसान बनाने के लिए तैयार किया गया है।

इस परिवेश में मेज़ पर एक सिमुलेटेड बाँह और लेबल वाले ब्लॉक रखे जाते हैं। धक्का देने, पलटने और एक-दूसरे पर रखने के साथ-साथ खोजने, छाँटने और व्यवस्थित करने के काम भी शामिल हैं: ब्लॉक पर बना ज़रूरी अक्षर या चित्र छिपा हो सकता है, इसलिए रोबोट को यह तय करने से पहले ब्लॉक घुमाना पड़ता है कि उसे कहाँ रखना है। अलग-अलग दृश्यों में ब्लॉक का आकार, मेज़ की ऊँचाई और अन्य गुण बदलकर जाँचा जाता है कि नीतियाँ बदलती ज्यामिति के अनुरूप काम कर पाती हैं या नहीं।

सीमित दायरे वाला यह परिवेश Ai2 को एक साथ चार गुण विकसित करने का अवसर देता है: विश्वसनीय भौतिकी और दृश्य, कार्यों और प्रदर्शनों को बड़े पैमाने पर तैयार करने की क्षमता, ऐसे काम जिनमें तर्क और निपुणता दोनों की ज़रूरत हो, और उन सभी कार्यों का समावेश जिन्हें यह परिवेश समर्थन दे सकता है।

स्वचालित प्रदर्शन और खुले मॉडल

Nvidia के Isaac Lab में सुदृढीकरण अधिगम और गति-योजना के ज़रिए छोटे कार्यों के लिए कौशल तैयार किए जाते हैं। कौशल तैयार करने में कैमरे से मिले अनुमानों के बजाय सिम्युलेटर की विशेषाधिकार-प्राप्त अवस्था का उपयोग किया जा सकता है, जिसमें ब्लॉकों की सटीक स्थिति और अभिविन्यास शामिल हैं। इससे ऐसे व्यवहारों का स्वचालन संभव होता है, जिन्हें अन्यथा वास्तविक रोबोट को दूर से संचालित करके सिखाना पड़ता। इसके बाद कार्य और गति की योजना बनाने वाला तंत्र कौशल चुनता है और उन्हें क्रम में रखकर लेबल किए गए प्रदर्शन तैयार करता है। Ai2 का कहना है कि एक GPU पर सैकड़ों योजनाएँ एक साथ, वास्तविक समय की गति से 24 गुना तक तेज़ी से चलाई जा सकती हैं।

शोधकर्ता तैयार किए गए प्रशिक्षण-मिश्रण में कुछ खास कौशलों को अधिक वज़न दे सकते हैं और उन कार्यों पर नीतियों का मूल्यांकन कर सकते हैं जिन्हें प्रशिक्षण में शामिल नहीं किया गया था। इससे डेटा तैयार करने वाला तंत्र केवल बड़े डेटासेट बनाने का स्रोत न रहकर प्रयोगों को नियंत्रित करने का साधन बन जाता है।

ToyBlocks रिपॉज़िटरी में लक्ष्यों को PDDL योजना-विनिर्देशों के रूप में लिखा जाता है। इससे मूल्यांकन प्रणाली हर कार्य के लिए अलग से मापदंड बनाए बिना, कार्य पूरा होने और बीच के चरणों में हुई प्रगति का आकलन कर सकती है। प्रदर्शन LeRobot प्रारूप में संग्रहीत किए जाते हैं। पदानुक्रमित नीति के किसी भी स्तर को एक ऐसे मानक-स्रोत से बदला जा सकता है जो सही योजना या कार्रवाई देता है। इससे गलत फैसलों और मोटर के गलत संचालन के बीच अंतर किया जा सकता है। विफल अवस्थाओं को नए प्रदर्शन और उनसे उबरने के तरीके तैयार करने के लिए डेटा-निर्माण प्रक्रिया में वापस भी भेजा जा सकता है।

Ai2 के अनुसार, शुरुआती रिलीज़ में दीर्घ-अवधि वाले 85,336 प्रदर्शन शामिल हैं। हर प्रदर्शन में, डेटासेट के उपसमुच्चय के आधार पर, कौशल के लगभग 6–12 प्रदर्शन हैं; ये मिलकर रोबोट के लगभग 1,600 घंटे के संचालन और 144 मिलियन फ़्रेम को समेटते हैं। सार्वजनिक डेटासेट में ODC-BY लाइसेंस के तहत Parquet प्रारूप वाला LeRobot डेटा है, जिसके आसान, मध्यम और कठिन उपसमुच्चय हैं। मुख्य कोड Apache-2.0 लाइसेंस के तहत जारी किया गया है; निर्दिष्ट उपमॉड्यूल और डाउनलोड की गई संपत्तियों पर उनके अपने लाइसेंस लागू होते हैं।

Ai2 के मॉडल कार्ड के अनुसार, जारी की गई नीति के दो स्तर हैं: Molmo2-4B-tb, लगभग 4.5 अरब पैरामीटर वाला मॉडल, सामने के कैमरे से मिली छवि और पाठ में दिए गए लक्ष्य के आधार पर एक छोटी योजना, अगली कार्रवाई और लक्ष्य-बिंदु तैयार करता है; ManiFlow-tb, जिसमें 322.5 मिलियन पैरामीटर हैं, सामने और ग्रिपर के कैमरों से मिली छवियों, रोबोट की अवस्था, कार्य की जानकारी और लक्ष्य-हीटमैप का उपयोग करके कार्रवाइयों के खंड तैयार करता है।

सामान्यीकरण और एजेंट के प्रयोग

स्थानिक प्रयोगों में Stack, Unstack, Flip और Rotate शामिल हैं। इनमें प्रशिक्षण-सीमा के भीतर अंतर्वेशन और उससे बाहर बहिर्वेशन के बीच अंतर किया जाता है। उदाहरण के लिए, प्रशिक्षण के दौरान ब्लॉकों को कार्यक्षेत्र के एक हिस्से में रखकर दूसरे हिस्से में जाँचना, या स्टैक की कुछ ऊँचाइयों को प्रशिक्षण से बाहर रखना। Ai2 के अनुसार, बड़े पैमाने पर पूर्व-प्रशिक्षण के बावजूद ManiFlow, π0.5 और MolmoAct 2 ने शुरुआत में सामान्यीकरण की कम क्षमता दिखाई। उसका निष्कर्ष है कि कार्रवाई-मॉडलों का सामान्यीकरण अब भी ऐसी समस्या है जिसका समाधान नहीं हुआ है।

एजेंट-आधारित परीक्षणों में एक अलग कमज़ोरी सामने आती है। Ai2 के अनुसार, Claude Opus 5.5 पर आधारित उसके तंत्र ने पाठ्य विवरणों के आधार पर ब्लॉक एक-दूसरे पर रखने के सभी 30 पारंपरिक कार्य हल किए। कैमरे से बार-बार मिली छवियों के आधार पर बंद-लूप में कार्रवाइयाँ चुनते हुए भी उसने सभी 30 कार्य हल किए। खोज और अक्षर बनाने वाले दृश्यों में आठ तक ब्लॉक थे; इनमें 50% मामलों में ज़रूरी अक्षर मौजूद नहीं था और यह पहचानना था कि कार्य असंभव है। एजेंट ने 63% मामलों में या तो कार्य पूरा किया या सही ढंग से पहचाना कि उसे पूरा करना संभव नहीं है; 13% मामलों में मिलते-जुलते अक्षरों को लेकर भ्रम हुआ और 15% मामलों में अक्षरों का अभिविन्यास गलत था।

तीसरे एजेंट-प्रयोग में तंत्र को कौशल के अप्रत्याशित व्यवहार की जाँच करने और नतीजों के आधार पर कौशल के नए विवरण लिखने की अनुमति दी गई। Ai2 के अनुसार, इन सीखे हुए विवरणों से सफलता की दर सामान्य विवरणों के साथ 24% से बढ़कर 63% हो गई। यह मानव विशेषज्ञ द्वारा लिखे गए विवरणों से हासिल 36% सफलता दर से भी अधिक थी।

वास्तविक रोबोट पर परीक्षण और उनकी सीमाएँ

वास्तविक रोबोट पर मूल्यांकन के लिए, पूरी तरह ToyBlocks के सिमुलेशन डेटा पर प्रशिक्षित मॉडलों को बिना किसी वास्तविक दुनिया के प्रशिक्षण उदाहरण के, Robotiq ग्रिपर वाली Franka FR3 बाँह पर चलाया गया। दृश्य की 30 व्यवस्थाओं में प्रशिक्षण के दौरान देखे गए 4–10 ब्लॉक थे। किसी प्रकरण को तभी सफल माना गया जब संबंधित ब्लॉक टकराव के बिना अपने लक्षित स्थान और अभिविन्यास तक पहुँच गए; असुरक्षित गति के कारण ऑपरेटर का हस्तक्षेप विफलता माना गया।

सिमुलेशन और वास्तविक दुनिया के बीच का अंतर घटाने के लिए Ai2 ने वास्तविक प्रक्षेप-पथों के आधार पर सिमुलेटेड जोड़-घर्षण और आर्मेचर को समायोजित किया। डेटा तैयार करते समय वस्तुओं का आकार, घर्षण और मेज़ की ऊँचाई, साथ ही रोशनी, पृष्ठभूमि, सामग्री और कैमरे के पैरामीटर भी बेतरतीब ढंग से बदले गए।

Ai2 के अनुसार, ManiFlow की एकल-कौशल सफलता दर सिमुलेशन में 80.0% और भुतिक बाँह पर 81.1% है। पदानुक्रमित Molmo 2–ManiFlow प्रणाली सिमुलेशन के 55.5% प्रकरणों (200 में से 111) और भौतिक परिवेश के 50.0% प्रकरणों (30 में से 15) में सफल रही।

Ai2 इन नतीजों के साथ दो सीमाएँ बताता है। भौतिक पदानुक्रम के मूल्यांकन में सिमुलेशन का सबसे आसान विन्यास इस्तेमाल किया गया था, जिसमें ब्लॉक के अक्षर दिखाई दे रहे थे और सीधे खड़े थे। अलग-अलग कार्यों में सांख्यिकीय भरोसेमंदता स्थापित करने के लिए और परीक्षणों की आवश्यकता है। ManiFlow का कार्ड समान 128 सिम्युलेटेड प्रकरणों के चार दौरों में 54% से 59% तक की सफलता दर भी दर्ज करता है, क्योंकि सिमुलेशन और बैच में अनुमान लगाने की प्रक्रिया बिट-स्तर पर नियतात्मक नहीं हैं।

Ai2 की योजना अधिक बड़े डेटासेट, अधिक कौशलों और व्यापक बेंचमार्किंग के साथ दूसरा संस्करण जारी करने की है। इसमें सुदृढीकरण-शिक्षण का पूरी तरह एकीकृत प्रशिक्षण भी शामिल होगा, जो मौजूदा पैकेज में नहीं है। दीर्घकालिक दिशा-निर्देशों में दोनों बाँहों से वस्तुओं को सँभालना, बल और स्पर्श संवेदन वाले कुशल हाथ, और अव्यवस्थित ढंग से बिखरे ब्लॉकों के ढेर के साथ अंतःक्रिया शामिल हैं।

इसलिए ToyBlocks का तात्कालिक योगदान प्रयोगों पर नियंत्रण देना है: शोधकर्ता प्रशिक्षण में इस्तेमाल किए गए मिश्रणों को बदल सकते हैं, योजना बनाने और उसे क्रियान्वित करने की प्रक्रियाओं को अलग रख सकते हैं, और विफलताओं को वापस डेटा तैयार करने की प्रक्रिया में शामिल कर सकते हैं। शुरुआती नतीजे इसकी सीमाएँ भी स्पष्ट करते हैं: सिमुलेशन में कमजोर सामान्यीकरण और भौतिक परिवेश का सीमित मूल्यांकन इस बात को लेकर सावधानी बरतने का संकेत देते हैं कि ब्लॉकों की दुनिया से आगे रोबोट के सीखने के बारे में स्थानांतरण की ये शुरुआती दरें क्या साबित करती हैं।