सीएमयू शोधकर्ता एआई रोबोट बनाते हैं जो पेंट करता है

कार्नेगी मेलन विश्वविद्यालय के रोबोटिक्स संस्थान के शोधकर्ताओं ने एक उपकरण विकसित किया है जिसे फ्रिडा कहा जाता है, जो एक रोबोटिक आर्म है जिसमें एक पेंटब्रश जुड़ा हुआ है। यह उपकरण मानवों के साथ कला परियोजनाओं पर काम करने के लिए कृत्रिम बुद्धिमत्ता (एआई) का लाभ उठाता है।

टीम मई में 2023 आईईईई अंतर्राष्ट्रीय रोबोटिक्स और स्वचालन सम्मेलन में शोध के शीर्षक “फ्रिडा: एक सहयोगी रोबोट पेंटर के साथ एक अलगीय, रियल2सिम2रियल योजना वातावरण” प्रस्तुत करने के लिए तैयार है।

पीटर शाल्डेनब्रांड रोबोटिक्स संस्थान में एक पीएचडी छात्र हैं और स्कूल ऑफ कंप्यूटर साइंस में। वह फ्रिडा के साथ काम करता है और एआई और रचनात्मकता का अन्वेषण करता है।

“मुझे लगता है कि एक मेंढ़क बैलेरिना की एक पेंटिंग है जो वास्तव में अच्छी तरह से निकली है,” उन्होंने कहा। “यह वास्तव में मजाकिया और मजेदार है, और मुझे लगता है कि फ्रिडा ने मेरे इनपुट पर आधारित क्या उत्पन्न किया है वह देखने में बहुत मजेदार था।”

फ्रिडा का अर्थ है फ्रेमवर्क और रोबोटिक्स इनिशिएटिव फॉर डेवलपिंग आर्ट्स। यह फ्रिडा काहलो के नाम पर रखा गया है।

शोध शाल्डरब्रांड, जीन ओह और जिम मैक्काम के साथ रोबोटिक्स संस्थान के संकाय सदस्यों के नेतृत्व में किया गया था, और इसने सीएमयू के छात्रों और शोधकर्ताओं को आकर्षित किया है।

सहयोगी उपकरण नहीं कलाकार

उपयोगकर्ता फ्रिडा को एक पाठ विवरण दर्ज करके, अन्य कला कार्यों को प्रेरित करने के लिए जमा करके, या एक फोटो अपलोड करके और इसे इसका प्रतिनिधित्व करने के लिए पेंट करने के लिए कहकर मार्गदर्शन कर सकते हैं। टीम ऑडियो जैसे अन्य इनपुट का भी परीक्षण कर रही है।

“फ्रिडा एक रोबोटिक पेंटिंग सिस्टम है, लेकिन फ्रिडा एक कलाकार नहीं है,” शाल्डरब्रांड जारी रखा। “फ्रिडा विचारों को संप्रेषित करने के लिए उत्पन्न नहीं कर रहा है। फ्रिडा एक प्रणाली है जिसके साथ एक कलाकार सहयोग कर सकता है। कलाकार फ्रिडा के लिए उच्च-स्तरीय लक्ष्य निर्दिष्ट कर सकता है और फिर फ्रिडा उन्हें निष्पादित कर सकता है।”

एक छवि को पेंट करने के लिए, रोबोट ओपनएआई के चैटजीपीटी और डीएलएल-ई 2 जैसे एआई मॉडल का उपयोग करता है, जो एक प्रेरक के जवाब में पाठ या एक छवि उत्पन्न करते हैं। फ्रिडा यह अनुकरण करता है कि यह एक छवि को ब्रश स्ट्रोक के साथ कैसे पेंट करेगा और मशीन लर्निंग का उपयोग करके अपनी प्रगति का मूल्यांकन करता है क्योंकि यह काम करता है।

फ्रिडा के उत्पाद विस्मयकारी और प्रभाववादी हैं। ब्रश स्ट्रोक बोल्ड हैं और अक्सर रोबोटिक प्रयासों में मांगी जाने वाली सटीकता की कमी है।

“फ्रिडा मानव और रोबोटिक रचनात्मकता के बीच के अंतर का अन्वेषण करने वाला एक परियोजना है,” मैकेन ने जोड़ा। “फ्रिडा उन एआई मॉडल्स का उपयोग कर रही है जो छवियों को कैप्शन देने और दृश्य सामग्री को समझने जैसी चीजों के लिए विकसित किए गए हैं और इसे इस कलात्मक उत्पादक समस्या पर लागू कर रही है।”

फ्रिडा अपनी कला बनाने की प्रक्रिया में कई बार एआई और मशीन लर्निंग का उपयोग करता है। पहले, यह एक घंटे या अधिक समय तक अपने पेंटब्रश का उपयोग करना सीखता है। फिर, यह दृश्य-भाषा मॉडल का उपयोग करता है जो इंटरनेट से स्क्रैप की गई छवियों और पाठ के जोड़े वाले बड़े डेटासेट पर प्रशिक्षित किया गया है, जैसे कि ओपनएआई का कंट्रास्टिव लैंग्वेज-इमेज प्री-ट्रेनिंग (सीएलआईपी), इनपुट को समझने के लिए।

एक भौतिक छवि का उत्पादन करने में सबसे महत्वपूर्ण तकनीकी चुनौतियों में से एक सिम्युलेशन-टू-रियल गैप को कम करना है, जो यह है कि फ्रिडा सिम्युलेशन में क्या बनाता है और क्या वास्तव में कैनवास पर पेंट करता है। फ्रिडा एक विचार का उपयोग करता है जिसे रियल2सिम2रियल कहा जाता है, जहां रोबोट के वास्तविक ब्रश स्ट्रोक का उपयोग सिम्युलेटर को प्रशिक्षित करने के लिए किया जाता है ताकि यह रोबोट और पेंटिंग सामग्री की भौतिक क्षमताओं को प्रतिबिंबित और अनुकरण कर सके।

फ्रिडा की टीम अब बड़े दृष्टि-भाषा मॉडल में सीमाओं को संबोधित करने का लक्ष्य रखती है जो वे उपयोग करते हैं। उन्होंने मॉडल को समाचार लेखों की हेडलाइंस देकर उन्हें दुनिया में क्या हो रहा है, इसकी समझ प्रदान की और विविध संस्कृतियों की छवियों और पाठ पर प्रशिक्षित किया जो एक अमेरिकी या पश्चिमी पूर्वाग्रह से बचने के लिए अधिक प्रतिनिधित्व करते हैं।