हुनयुआन वीडियो लोरा मॉडल को कैसे प्रशिक्षित और उपयोग करें

यह लेख आपको बताएगा कि विंडोज-आधारित सॉफ़्टवेयर को कैसे स्थापित और उपयोग किया जाए जो प्रशिक्षित कर सकता है हुनयुआन वीडियो लोरा मॉडल, उपयोगकर्ता को हुनयुआन वीडियो फाउंडेशन मॉडल में कस्टम व्यक्तित्व उत्पन्न करने की अनुमति देता है:

चलाने के लिए क्लिक करें। civit.ai समुदाय से हाल ही में सेलिब्रिटी हुनयुआन LoRAs के विस्फोट के उदाहरण।

फिलहाल स्थानीय स्तर पर हुनयुआन लोरा मॉडल तैयार करने के दो सबसे लोकप्रिय तरीके हैं:

) 1 डिफ्यूजन-पाइप-यूआई डॉकर-आधारित फ्रेमवर्क, जो पर निर्भर करता है लिनक्स के लिए विंडोज सबसिस्टम (WSL) कुछ प्रक्रियाओं को संभालने के लिए।

2) मुसुबी ट्यूनर, लोकप्रिय में एक नया जोड़ कोह्या एस.एस. प्रसार प्रशिक्षण वास्तुकला। मुसुबी ट्यूनर को डॉकर की आवश्यकता नहीं है और यह WSL या अन्य लिनक्स-आधारित प्रॉक्सी पर निर्भर नहीं है - लेकिन इसे विंडोज पर चलाना मुश्किल हो सकता है।

इसलिए यह रन-थ्रू मुसुबी ट्यूनर पर ध्यान केंद्रित करेगा, और हुनयुआन लोरा प्रशिक्षण और निर्माण के लिए पूरी तरह से स्थानीय समाधान प्रदान करने पर ध्यान केंद्रित करेगा, बिना एपीआई-संचालित वेबसाइटों या रनपॉड जैसी वाणिज्यिक जीपीयू-किराए की प्रक्रियाओं के उपयोग के।

चलाने के लिए क्लिक करें। इस लेख के लिए मुसुबी ट्यूनर पर लोरा प्रशिक्षण के नमूने। इस लेख को चित्रित करने के उद्देश्य से, चित्रित व्यक्ति द्वारा दी गई सभी अनुमतियाँ।

आवश्यकताएँ

इंस्टॉलेशन के लिए कम से कम 10+/30+ सीरीज NVIDIA कार्ड के साथ विंडोज 40 पीसी की आवश्यकता होगी जिसमें कम से कम 12GB VRAM हो (हालांकि 16GB की सिफारिश की जाती है)। इस लेख के लिए उपयोग की गई इंस्टॉलेशन का परीक्षण 64GB वाली मशीन पर किया गया था प्रणाली रैम और 3090 जीबी वीआरएएम के साथ एक NVIDIA 24 ग्राफिक्स कार्ड। इसे विंडोज 10 प्रोफेशनल की एक नई स्थापना का उपयोग करके एक समर्पित टेस्ट-बेड सिस्टम पर परीक्षण किया गया था, 600+ जीबी अतिरिक्त डिस्क स्थान वाले विभाजन पर।

चेतावनी

मुसुबी ट्यूनर और इसकी पूर्व-आवश्यकताओं को स्थापित करने के लिए डेवलपर-केंद्रित सॉफ़्टवेयर और पैकेज को सीधे पीसी के मुख्य विंडोज इंस्टॉलेशन पर इंस्टॉल करना भी आवश्यक है। ComfyUI की स्थापना को ध्यान में रखते हुए, अंतिम चरणों के लिए, इस परियोजना को लगभग 400-500 गीगाबाइट डिस्क स्थान की आवश्यकता होगी। हालाँकि मैंने नए-स्थापित टेस्ट बेड विंडोज 10 वातावरण में कई बार बिना किसी घटना के प्रक्रिया का परीक्षण किया है, न तो मैं और न ही unite.ai इन निर्देशों का पालन करने से सिस्टम को होने वाले किसी भी नुकसान के लिए उत्तरदायी हैं। मैं आपको इस तरह की स्थापना प्रक्रिया का प्रयास करने से पहले किसी भी महत्वपूर्ण डेटा का बैकअप लेने की सलाह देता हूं।

विचार

क्या यह विधि अभी भी वैध है?

जनरेटिव एआई परिदृश्य बहुत तेजी से आगे बढ़ रहा है, और हम इस वर्ष हुनयुआन वीडियो लोरा फ्रेमवर्क के बेहतर और अधिक सुव्यवस्थित तरीकों की उम्मीद कर सकते हैं।

…या फिर इस हफ़्ते भी! जब मैं यह लेख लिख रहा था, कोह्या/मुसुबी के डेवलपर ने मुसुबी-ट्यूनर-जीयूआई, मुसुबी ट्यूनर के लिए एक परिष्कृत ग्रैडियो जीयूआई:

जाहिर है कि इस सुविधा में मेरे द्वारा उपयोग की जाने वाली BAT फ़ाइलों की तुलना में उपयोगकर्ता-अनुकूल GUI बेहतर है - एक बार जब musubi-tuner-gui काम करने लगे। जैसा कि मैं लिख रहा हूँ, यह केवल पाँच दिन पहले ही ऑनलाइन हुआ है, और मुझे इसका सफलतापूर्वक उपयोग करने वाले किसी भी व्यक्ति का कोई विवरण नहीं मिल रहा है।

रिपोजिटरी में पोस्ट के अनुसार, नए GUI को यथाशीघ्र सीधे मुसुबी ट्यूनर परियोजना में शामिल किया जाना है, जिससे एक स्टैंडअलोन GitHub रिपोजिटरी के रूप में इसका वर्तमान अस्तित्व समाप्त हो जाएगा।

वर्तमान इंस्टॉलेशन निर्देशों के आधार पर, नया GUI सीधे मौजूदा मुसुबी वर्चुअल वातावरण में क्लोन हो जाता है; और, कई प्रयासों के बावजूद, मैं इसे मौजूदा मुसुबी इंस्टॉलेशन के साथ संबद्ध नहीं कर सकता। इसका मतलब यह है कि जब यह चलेगा, तो यह पाएगा कि इसमें कोई इंजन नहीं है!

एक बार जब GUI को मुसुबी ट्यूनर में एकीकृत कर दिया जाएगा, तो इस तरह की समस्याएँ निश्चित रूप से हल हो जाएँगी। हालाँकि लेखक उन्होंने माना कि नई परियोजना 'वास्तव में कठिन' है, वह इसके विकास और मुसुबी ट्यूनर में सीधे एकीकरण के प्रति आशावादी हैं।

इन मुद्दों को देखते हुए (इंस्टॉलेशन के समय डिफ़ॉल्ट पथों से संबंधित, और यूवी पायथन पैकेज, जो नई रिलीज़ में कुछ प्रक्रियाओं को जटिल बनाता है), हमें शायद एक सहज हुनयुआन वीडियो लोरा प्रशिक्षण अनुभव के लिए थोड़ा इंतजार करना होगा। जैसा कि कहा गया है, यह बहुत आशाजनक लग रहा है!

लेकिन अगर आप इंतजार नहीं कर सकते, और थोड़ा प्रयास करने को तैयार हैं, तो आप अभी स्थानीय स्तर पर हुनयुआन वीडियो लोरा प्रशिक्षण शुरू कर सकते हैं।

आएँ शुरू करें।

क्यों स्थापित करें? कुछ भी नंगे धातु पर?

(यदि आप उन्नत उपयोगकर्ता नहीं हैं तो इस पैराग्राफ को छोड़ दें)
उन्नत उपयोगकर्ता आश्चर्यचकित होंगे कि मैंने वर्चुअल वातावरण के बजाय बेयर मेटल विंडोज 10 इंस्टॉलेशन पर इतना सारा सॉफ़्टवेयर इंस्टॉल करने का विकल्प क्यों चुना है। इसका कारण यह है कि लिनक्स-आधारित का आवश्यक विंडोज पोर्ट ट्राइटन पैकेज वर्चुअल वातावरण में काम करना कहीं ज़्यादा मुश्किल है। ट्यूटोरियल में बताए गए सभी अन्य बेयर-मेटल इंस्टॉलेशन वर्चुअल वातावरण में इंस्टॉल नहीं किए जा सकते, क्योंकि उन्हें स्थानीय हार्डवेयर के साथ सीधे इंटरफ़ेस करना होगा।

पूर्वापेक्षित पैकेज और प्रोग्राम स्थापित करना

जिन प्रोग्रामों और पैकेजों को शुरू में इंस्टॉल किया जाना चाहिए, उनके लिए इंस्टॉलेशन का क्रम मायने रखता है। चलिए शुरू करते हैं।

1: Microsoft Redistributable डाउनलोड करें

Microsoft Redistributable पैकेज को यहां से डाउनलोड और इंस्टॉल करें https://aka.ms/vs/17/release/vc_redist.x64.exe.

यह एक सरल एवं तीव्र स्थापना है।

2: विज़ुअल स्टूडियो 2022 इंस्टॉल करें

Microsoft Visual Studio 2022 सामुदायिक संस्करण यहाँ से डाउनलोड करें https://visualstudio.microsoft.com/downloads/?cid=learn-onpage-download-install-visual-studio-page-cta

डाउनलोड किया गया इंस्टॉलर प्रारंभ करें:

हमें हर उपलब्ध पैकेज की ज़रूरत नहीं है, क्योंकि यह एक भारी और लंबा इंस्टॉलेशन होगा। वर्कलोड जो पेज खुलेगा, उस पर टिक करें C++ के साथ डेस्कटॉप विकास (नीचे चित्र देखें)

अब क्लिक करें अलग - अलग घटक इंटरफ़ेस के ऊपर बाईं ओर टैब पर क्लिक करें और खोज बॉक्स में 'विंडोज एसडीके' ढूंढें।

डिफ़ॉल्ट रूप से, केवल विंडोज 11 एसडीके टिक किया गया है। यदि आप विंडोज 10 पर हैं (इस इंस्टॉलेशन प्रक्रिया का परीक्षण मैंने विंडोज 11 पर नहीं किया है), तो ऊपर दी गई छवि में दर्शाए गए नवीनतम विंडोज 10 संस्करण पर टिक करें।

'C++ CMake' खोजें और जाँचें कि विंडोज़ के लिए C++ CMake उपकरण की जाँच कर ली गयी है।

इस स्थापना में कम से कम 13 जीबी स्थान लगेगा।

एक बार Visual Studio इंस्टॉल हो जाने के बाद, यह आपके कंप्यूटर पर चलने का प्रयास करेगा। इसे पूरी तरह से खुलने दें। जब Visual Studio का फ़ुल-स्क्रीन इंटरफ़ेस अंततः दिखाई दे, तो प्रोग्राम को बंद कर दें।

3: विज़ुअल स्टूडियो 2019 इंस्टॉल करें

मुसुबी के लिए कुछ आगामी पैकेजों में माइक्रोसॉफ्ट विजुअल स्टूडियो के पुराने संस्करण की अपेक्षा की जा रही है, जबकि अन्य को अधिक नवीनतम संस्करण की आवश्यकता है।

इसलिए माइक्रोसॉफ्ट () से विजुअल स्टूडियो 19 का निःशुल्क सामुदायिक संस्करण भी डाउनलोड करेंhttps://visualstudio.microsoft.com/vs/older-downloads/ - खाता आवश्यक) या टेकस्पॉट (https://www.techspot.com/downloads/7241-visual-studio-2019.html).

इसे Visual Studio 2022 के समान विकल्पों के साथ स्थापित करें (ऊपर दी गई प्रक्रिया देखें, सिवाय इसके कि विंडोज एसडीके (विजुअल स्टूडियो 2019 इंस्टॉलर में पहले से ही टिक किया हुआ है)।

आप देखेंगे कि Visual Studio 2019 इंस्टॉलर को इंस्टॉल करते समय ही नए संस्करण के बारे में पता चल जाता है:

जब स्थापना पूर्ण हो जाए, और आपने स्थापित Visual Studio 2019 अनुप्रयोग को खोल और बंद कर दिया हो, तो Windows कमांड प्रॉम्प्ट खोलें (टाइप करें सीएमडी खोज प्रारंभ करें) और टाइप करें और दर्ज करें:

where cl

परिणाम दो स्थापित Visual Studio संस्करणों के ज्ञात स्थान होने चाहिए।

यदि आपको इसके बजाय INFO: Could not find files for the given pattern(s), देखें पथ की जाँच करें इस आलेख के नीचे दिए गए अनुभाग को पढ़ें, और उन निर्देशों का उपयोग करके Windows परिवेश में प्रासंगिक Visual Studio पथ जोड़ें।

इसके अनुसार किए गए किसी भी परिवर्तन को सहेजें पथ जांचें नीचे अनुभाग पर जाएँ, और फिर where cl कमांड को पुनः आज़माएँ।

4: CUDA 11 + 12 टूलकिट स्थापित करें

मुसुबी में स्थापित विभिन्न पैकेजों को अलग-अलग संस्करणों की आवश्यकता होती है NVIDIA CUDA, जो NVIDIA ग्राफिक्स कार्ड पर प्रशिक्षण को गति और अनुकूलन प्रदान करता है।

हमने Visual Studio संस्करण स्थापित करने का कारण प्रथम NVIDIA CUDA इंस्टॉलर किसी भी मौजूदा विजुअल स्टूडियो इंस्टॉलेशन को खोजता है और उसके साथ एकीकृत करता है।

11+ श्रृंखला CUDA स्थापना पैकेज यहां से डाउनलोड करें:

https://developer.nvidia.com/cuda-11-8-0-download-archive?target_os=Windows&target_arch=x86_64&target_version=11&target_type=exe_local (डाउनलोड 'exe (स्थानीय') )

12+ श्रृंखला CUDA टूलकिट इंस्टॉलेशन पैकेज यहां से डाउनलोड करें:

https://developer.nvidia.com/cuda-downloads?target_os=Windows&target_arch=x86_64

दोनों इंस्टॉलर के लिए इंस्टॉलेशन प्रक्रिया एक जैसी है। Windows एनवायरनमेंट वैरिएबल में इंस्टॉलेशन पथों के अस्तित्व या गैर-अस्तित्व के बारे में किसी भी चेतावनी को अनदेखा करें - हम बाद में मैन्युअल रूप से इस पर ध्यान देंगे।

NVIDIA CUDA टूलकिट V11+ स्थापित करें

11+ श्रृंखला CUDA टूलकिट के लिए इंस्टॉलर प्रारंभ करें।

At स्थापना विकल्प, चुनें कस्टम एडवांस्ड) और आगे बढ़ें।

NVIDIA GeForce Experience विकल्प को अनचेक करें और क्लिक करें अगला.

छोड़ना स्थापना स्थान का चयन करें डिफ़ॉल्ट पर (यह महत्वपूर्ण है):

क्लिक करें अगला और स्थापना को समाप्त होने दें।

इंस्टॉलर द्वारा दी गई किसी भी चेतावनी या नोट को अनदेखा करें एनसाइट विजुअल स्टूडियो एकीकरण, जो हमारे उपयोग के मामले के लिए आवश्यक नहीं है।

NVIDIA CUDA टूलकिट V12+ स्थापित करें

आपके द्वारा डाउनलोड किए गए अलग 12+ NVIDIA टूलकिट इंस्टॉलर के लिए पूरी प्रक्रिया को दोहराएं:

इस संस्करण की स्थापना प्रक्रिया ऊपर सूचीबद्ध प्रक्रिया (11+ संस्करण) के समान ही है, सिवाय पर्यावरण पथों के बारे में एक चेतावनी के, जिसे आप अनदेखा कर सकते हैं:

जब 12+ CUDA संस्करण की स्थापना पूरी हो जाए, तो विंडोज़ में कमांड प्रॉम्प्ट खोलें और टाइप करें और एंटर करें:

nvcc --version

इससे स्थापित ड्राइवर संस्करण के बारे में जानकारी की पुष्टि हो जाएगी:

यह जाँचने के लिए कि आपका कार्ड पहचाना गया है, टाइप करें और प्रविष्ट करें:

nvidia-smi

5: GIT स्थापित करें

GIT आपके स्थानीय मशीन पर मुसुबी रिपॉजिटरी की स्थापना को संभालेगा। GIT इंस्टॉलर को यहां से डाउनलोड करें:

https://git-scm.com/downloads/win ('विंडोज के लिए 64-बिट Git सेटअप')

इंस्टॉलर चलाएँ:

इसके लिए डिफ़ॉल्ट सेटिंग का उपयोग करें घटकों का चयन करें:

डिफ़ॉल्ट संपादक को यहीं पर छोड़ दें शक्ति:

शाखा नामों के बारे में निर्णय GIT को लेने दें:

इसके लिए अनुशंसित सेटिंग्स का उपयोग करें पथ वातावरण:

SSH के लिए अनुशंसित सेटिंग्स का उपयोग करें:

इसके लिए अनुशंसित सेटिंग्स का उपयोग करें HTTPS ट्रांसपोर्ट बैकएंड:

लाइन-एंडिंग रूपांतरणों के लिए अनुशंसित सेटिंग्स का उपयोग करें:

टर्मिनल एमुलेटर के रूप में विंडोज डिफ़ॉल्ट कंसोल चुनें:

डिफ़ॉल्ट सेटिंग्स का उपयोग करें (फ़ास्ट-फ़ॉरवर्ड या मर्ज करें) Git पुल के लिए:

क्रेडेंशियल हेल्पर के लिए Git-Credential Manager (डिफ़ॉल्ट सेटिंग) का उपयोग करें:

In अतिरिक्त विकल्प कॉन्फ़िगर करना, छोड़ना फ़ाइल सिस्टम कैशिंग सक्षम करें टिक किया गया, और प्रतीकात्मक लिंक सक्षम करें अनटिक (जब तक कि आप एक उन्नत उपयोगकर्ता नहीं हैं जो केंद्रीकृत मॉडल रिपोजिटरी के लिए हार्ड लिंक का उपयोग कर रहे हैं)।

स्थापना समाप्त करें और CMD विंडो खोलकर तथा निम्न टाइप करके जाँच लें कि Git ठीक से स्थापित है:

git --version

GitHub लॉगिन

बाद में, जब आप GitHub रिपॉजिटरी को क्लोन करने का प्रयास करते हैं, तो आपको अपने GitHub क्रेडेंशियल के लिए चुनौती दी जा सकती है। इसका अनुमान लगाने के लिए, अपने Windows सिस्टम पर इंस्टॉल किए गए किसी भी ब्राउज़र पर अपने GitHub खाते में लॉग इन करें (यदि आवश्यक हो तो एक बनाएं)। इस तरह, 0Auth प्रमाणीकरण विधि (एक पॉप-अप विंडो) को यथासंभव कम समय लेना चाहिए।

उस प्रारंभिक चुनौती के बाद, आपको स्वचालित रूप से प्रमाणित रहना चाहिए।

6: CMake इंस्टॉल करें

मुसुबी इंस्टॉलेशन प्रक्रिया के कुछ हिस्सों के लिए CMake 3.21 या उससे नया संस्करण आवश्यक है। CMake एक क्रॉस-प्लेटफ़ॉर्म डेवलपमेंट आर्किटेक्चर है जो विविध कंपाइलरों को ऑर्केस्ट्रेट करने और सोर्स कोड से सॉफ़्टवेयर संकलित करने में सक्षम है।

इसे यहां से डाउनलोड करें:

https://cmake.org/download/  ('विंडोज x64 इंस्टॉलर')

इंस्टॉलर लॉन्च करें:

सुनिश्चित करना PATH पर्यावरण चर में Cmake जोड़ें की जाँच कर ली गयी है।

दबाएँ अगला.

विंडोज कमांड प्रॉम्प्ट में यह कमांड टाइप करें और प्रविष्ट करें:

cmake --version

यदि CMake सफलतापूर्वक स्थापित हो जाए, तो यह कुछ इस तरह प्रदर्शित होगा:

cmake version 3.31.4
CMake suite maintained and supported by Kitware (kitware.com/cmake).

7: पायथन 3.10 स्थापित करें

इस परियोजना में पायथन इंटरप्रेटर मुख्य है। 3.10 संस्करण (मुसुबी पैकेजों की विभिन्न मांगों के बीच सबसे अच्छा समझौता) यहाँ से डाउनलोड करें:

https://www.python.org/downloads/release/python-3100/ ('विंडोज इंस्टॉलर (64-बिट)')

डाउनलोड इंस्टॉलर चलाएं, और डिफ़ॉल्ट सेटिंग्स पर छोड़ दें:

स्थापना प्रक्रिया के अंत में, क्लिक करें पथ लंबाई सीमा अक्षम करें (UAC व्यवस्थापक पुष्टि की आवश्यकता है):

विंडोज कमांड प्रॉम्प्ट में टाइप करें और दर्ज करें:

python --version

इसका परिणाम यह होना चाहिए Python 3.10.0

पथ जांचें

मुसुबी फ्रेमवर्क की क्लोनिंग और स्थापना, साथ ही स्थापना के बाद इसके सामान्य संचालन के लिए यह आवश्यक है कि इसके घटकों को विंडोज़ में कई महत्वपूर्ण बाह्य घटकों, विशेष रूप से CUDA, का पथ पता हो।

इसलिए हमें पथ वातावरण को खोलने और यह जांचने की आवश्यकता है कि सभी अपेक्षित चीजें वहां मौजूद हैं।

विंडोज एनवायरनमेंट के नियंत्रण तक पहुंचने का एक त्वरित तरीका टाइप करना है सिस्टम परिवेश चर संपादित करें विंडोज़ सर्च बार में.

इस पर क्लिक करने से खुल जाएगा सिस्टम गुण नियंत्रण पैनल। निचले दाएँ भाग में सिस्टम गुण, क्लिक करें पर्यावरण चर बटन, और एक विंडो जिसे पर्यावरण चर खुल जाता है। सिस्टम चर इस विंडो के निचले आधे हिस्से में पैनल पर, नीचे स्क्रॉल करें पथ और उस पर डबल क्लिक करें। इससे एक विंडो खुलती है जिसका नाम है पर्यावरण चर संपादित करेंइस विंडो की चौड़ाई को और अधिक खींचें ताकि आप चरों का पूरा पथ देख सकें:

यहां महत्वपूर्ण प्रविष्टियां हैं:

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.6\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.6\libnvvp
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\bin
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8\libnvvp
C:\Program Files (x86)\Microsoft Visual Studio\2019\Community\VC\Tools\MSVC\14.29.30133\bin\Hostx64\x64
C:\Program Files\Microsoft Visual Studio\2022\Community\VC\Tools\MSVC\14.42.34433\bin\Hostx64\x64
C:\Program Files\Git\cmd
C:\Program Files\CMake\bin

अधिकांश मामलों में, सही पथ चर पहले से ही मौजूद होने चाहिए।

क्लिक करके कोई भी गुम पथ जोड़ें नया के बाईं ओर पर्यावरण चर संपादित करें विंडो खोलें और सही पथ पर चिपकाएँ:

ऊपर सूचीबद्ध पथों से केवल कॉपी और पेस्ट न करें; जांच लें कि प्रत्येक समतुल्य पथ आपके अपने विंडोज इंस्टॉलेशन में मौजूद है।

यदि पथ में मामूली भिन्नताएं हैं (विशेष रूप से Visual Studio इंस्टॉलेशन के साथ), तो सही लक्ष्य फ़ोल्डर्स (जैसे, x64 in होस्ट64 अपने खुद के इंस्टॉलेशन में। फिर पेस्ट करें उन में पथ पर्यावरण चर संपादित करें खिड़की.

इसके बाद कंप्यूटर को पुनः प्रारंभ करें।

मुसुबी स्थापित करना

पीआईपी अपग्रेड करें

PIP इंस्टॉलर के नवीनतम संस्करण का उपयोग करके कुछ इंस्टॉलेशन चरणों को सुचारू किया जा सकता है। व्यवस्थापक विशेषाधिकारों वाले Windows कमांड प्रॉम्प्ट में (देखें ऊंचाई, नीचे), टाइप करें और दर्ज करें:

pip install --upgrade pip

ऊंचाई

कुछ कमांड के लिए उन्नत विशेषाधिकारों की आवश्यकता हो सकती है (यानी, व्यवस्थापक के रूप में चलाने के लिए)। यदि आपको निम्न चरणों में अनुमतियों के बारे में त्रुटि संदेश प्राप्त होते हैं, तो कमांड प्रॉम्प्ट विंडो को बंद करें और इसे व्यवस्थापक मोड में टाइप करके पुनः खोलें सीएमडी विंडोज सर्च बॉक्स में, राइट-क्लिक करें कमान के तत्काल और चयन व्यवस्थापक के रूप में चलाएँ:

अगले चरणों के लिए, हम Windows कमांड प्रॉम्प्ट के बजाय Windows Powershell का उपयोग करने जा रहे हैं। आप इसे दर्ज करके पा सकते हैं Powershell विंडोज सर्च बॉक्स में, और (आवश्यकतानुसार) उस पर राइट क्लिक करें व्यवस्थापक के रूप में चलाएँ:

टॉर्च स्थापित करें

पॉवरशेल में, टाइप करें और दर्ज करें:

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

कई पैकेजों को इंस्टॉल करते समय धैर्य रखें।

पूरा हो जाने पर, आप निम्न टाइप करके और प्रविष्ट करके GPU-सक्षम PyTorch इंस्टॉलेशन को सत्यापित कर सकते हैं:

python -c "import torch; print(torch.cuda.is_available())"

इसका परिणाम यह होना चाहिए:

C:\WINDOWS\system32>python -c "import torch;
print(torch.cuda.is_available())"
True

विंडोज के लिए ट्राइटन स्थापित करें

इसके बाद, की स्थापना विंडोज के लिए ट्राइटन घटक। उन्नत पावरशेल में, (एक पंक्ति में) दर्ज करें:

pip install https://github.com/woct0rdho/triton-windows/releases/download/v3.1.0-windows.post8/triton-3.1.0-cp310-cp310-win_amd64.whl

(इंस्टॉलर triton-3.1.0-cp310-cp310-win_amd64.whl इंटेल और एएमडी दोनों सीपीयू के लिए काम करता है जब तक आर्किटेक्चर 64-बिट है और पर्यावरण पायथन संस्करण से मेल खाता है)

चलाने के बाद, इसका परिणाम यह होना चाहिए:

Successfully installed triton-3.1.0

हम यह जाँच सकते हैं कि ट्राइटन काम कर रहा है या नहीं, इसके लिए हमें इसे पायथन में आयात करना होगा। यह कमांड दर्ज करें:

python -c "import triton; print('Triton is working')"

इसका आउटपुट यह होना चाहिए:

Triton is working

यह जाँचने के लिए कि ट्राइटन GPU-सक्षम है, दर्ज करें:

python -c "import torch; print(torch.cuda.is_available())"

इसका परिणाम यह होना चाहिए True:

मुसुबी के लिए आभासी वातावरण बनाएं

अब से, हम कोई भी अन्य सॉफ्टवेयर किसी अन्य सॉफ्टवेयर में इंस्टॉल करेंगे। पायथन आभासी वातावरण (या वेनवी) इसका मतलब यह है कि निम्नलिखित सभी सॉफ्टवेयर को अनइंस्टॉल करने के लिए आपको बस वेनव के इंस्टॉलेशन फ़ोल्डर को ट्रैश में खींचना होगा।

आइए वह इंस्टॉलेशन फ़ोल्डर बनाएं: नामक एक फ़ोल्डर बनाएं मुसुबी अपने डेस्कटॉप पर। निम्न उदाहरण मानते हैं कि यह फ़ोल्डर मौजूद है: C:\Users\[Your Profile Name]\Desktop\Musubi\.

पॉवरशेल में, निम्न दर्ज करके उस फ़ोल्डर पर जाएँ:

cd C:\Users\[Your Profile Name]\Desktop\Musubi

हम चाहते हैं कि वर्चुअल वातावरण को हमारे द्वारा पहले से इंस्टॉल किए गए (विशेष रूप से ट्राइटन) तक पहुंच प्राप्त हो, इसलिए हम इसका उपयोग करेंगे --system-site-packages झंडा. यह दर्ज करें:

python -m venv --system-site-packages musubi

वातावरण के बनने तक प्रतीक्षा करें, और फिर निम्न प्रविष्ट करके इसे सक्रिय करें:

.\musubi\Scripts\activate

इस बिंदु से, आप यह बता सकते हैं कि आप सक्रिय वर्चुअल वातावरण में हैं, इस तथ्य से कि (musubi) आपके सभी संकेतों के आरंभ में प्रकट होता है।

रिपॉजिटरी को क्लोन करें

नव निर्मित पर नेविगेट करें Musubi फ़ोल्डर (जो अंदर है मुसुबी अपने डेस्कटॉप पर फ़ोल्डर):

cd musubi

अब जब हम सही स्थान पर हैं, तो निम्नलिखित कमांड दर्ज करें:

git clone https://github.com/kohya-ss/musubi-tuner.git

क्लोनिंग पूरी होने तक प्रतीक्षा करें (इसमें अधिक समय नहीं लगेगा)।

स्थापना आवश्यकताएँ

स्थापना फ़ोल्डर पर जाएँ:

cd musubi-tuner

दर्ज करें:

pip install -r requirements.txt

कई इंस्टॉलेशन समाप्त होने तक प्रतीक्षा करें (इसमें अधिक समय लगेगा)।

हुनयुआन वीडियो वेनव तक पहुंच को स्वचालित करना

भविष्य के सत्रों के लिए नए वेनव को आसानी से सक्रिय करने और उस तक पहुंचने के लिए, निम्नलिखित को नोटपैड में पेस्ट करें और इसे नाम के साथ सहेजें सक्रिय करें.बैट, इसे सहेजना सभी फ़ाइलें विकल्प (नीचे चित्र देखें)

@echo off

call C:\Users\[Your Profile Name]\Desktop\Musubi\musubi\Scripts\activate

cd C:\Users\[Your Profile Name]\Desktop\Musubi\musubi\musubi-tuner

cmd

(बदलने के [Your Profile Name]आपके विंडोज उपयोगकर्ता प्रोफ़ाइल के वास्तविक नाम के साथ)

इससे कोई फर्क नहीं पड़ता कि आप इस फ़ाइल को किस स्थान पर सेव करते हैं।

अब से आप डबल क्लिक कर सकते हैं सक्रिय करें.बैट और तुरंत काम शुरू करें.

मुसुबी ट्यूनर का उपयोग करना

मॉडल डाउनलोड करना

हुनयुआन वीडियो लोरा प्रशिक्षण प्रक्रिया में कम से कम सात मॉडलों को डाउनलोड करने की आवश्यकता होती है ताकि हुनयुआन वीडियो लोरा को प्री-कैशिंग और प्रशिक्षण देने के लिए सभी संभावित अनुकूलन विकल्पों का समर्थन किया जा सके। इन मॉडलों का कुल वजन 60GB से अधिक है।

इन्हें डाउनलोड करने के वर्तमान निर्देश यहां पाए जा सकते हैं https://github.com/kohya-ss/musubi-tuner?tab=readme-ov-file#model-download

हालाँकि, लेखन के समय डाउनलोड निर्देश ये हैं:

clip_l.safetensors
llava_llama3_fp16.safetensors और
llava_llama3_fp8_scaled.safetensors
पर डाउनलोड किया जा सकता है:
https://huggingface.co/Comfy-Org/HunyuanVideo_repackaged/tree/main/split_files/text_encoders

mp_rank_00_model_states.pt
mp_rank_00_model_states_fp8.pt और
mp_rank_00_model_states_fp8_map.pt
पर डाउनलोड किया जा सकता है:
https://huggingface.co/tencent/HunyuanVideo/tree/main/hunyuan-video-t2v-720p/transformers

pytorch_model.pt
पर डाउनलोड किया जा सकता है:
https://huggingface.co/tencent/HunyuanVideo/tree/main/hunyuan-video-t2v-720p/vae

यद्यपि आप इन्हें अपनी पसंद की किसी भी निर्देशिका में रख सकते हैं, लेकिन बाद की स्क्रिप्टिंग के साथ संगतता के लिए, आइए इन्हें यहां रखें:

C:\Users\[Your Profile Name]\Desktop\Musubi\musubi\musubi-tuner\models\

यह इस बिंदु से पहले की निर्देशिका व्यवस्था के अनुरूप है। इसके बाद कोई भी आदेश या निर्देश यह मान लेगा कि यह वह जगह है जहाँ मॉडल स्थित हैं; और [आपका प्रोफ़ाइल नाम] को अपने वास्तविक विंडोज प्रोफ़ाइल फ़ोल्डर नाम से बदलना न भूलें।

डेटासेट तैयार करना

इस मुद्दे पर समुदाय के विवाद को नज़रअंदाज़ करते हुए, यह कहना उचित है कि आपको अपने हुनयुआन लोरा के लिए प्रशिक्षण डेटासेट के लिए 10-100 फ़ोटो की आवश्यकता होगी। 15 छवियों के साथ भी बहुत अच्छे परिणाम प्राप्त किए जा सकते हैं, जब तक कि छवियाँ अच्छी तरह से संतुलित और अच्छी गुणवत्ता की हों।

हुनयुआन लोरा को चित्रों या बहुत छोटे और कम-रिज़ॉल्यूशन वाले वीडियो क्लिप, या यहां तक ​​कि दोनों के मिश्रण पर प्रशिक्षित किया जा सकता है - हालांकि प्रशिक्षण डेटा के रूप में वीडियो क्लिप का उपयोग करना चुनौतीपूर्ण है, यहां तक ​​कि 24 जीबी कार्ड के लिए भी।

हालाँकि, वीडियो क्लिप केवल तभी उपयोगी होते हैं जब आपका चरित्र इतने असामान्य तरीके से चलता है कि हुनयुआन वीडियो फाउंडेशन मॉडल को इसके बारे में पता भी नहीं चल सकता है, या अनुमान लगाने में सक्षम हो.

उदाहरणों में रोजर रैबिट, एक ज़ेनोमोर्फ, द मास्क, स्पाइडर-मैन, या अन्य व्यक्तित्व शामिल होंगे जो अद्वितीय विशिष्ट आंदोलन.

चूंकि हुनयुआन वीडियो पहले से ही जानता है कि आम आदमी और औरतें कैसे चलते हैं, इसलिए हुनयुआन वीडियो लोरा के मानव-प्रकार के चरित्र को प्राप्त करने के लिए वीडियो क्लिप की आवश्यकता नहीं है। इसलिए हम स्थिर छवियों का उपयोग करेंगे।

छवि तैयारी

बाल्टी सूची

TLDR संस्करण:

आपके डेटासेट के लिए या तो एक ही आकार की छवियों का उपयोग करना सबसे अच्छा है, या दो अलग-अलग आकारों के बीच 50/50 विभाजन का उपयोग करें, अर्थात, 10 छवियां जो 512x768px हैं और 10 जो 768x512px हैं।

यदि आप ऐसा नहीं भी करते हैं तो भी प्रशिक्षण अच्छा हो सकता है - हुनयुआन वीडियो लोरा आश्चर्यजनक रूप से क्षमाशील हो सकते हैं।

लम्बा संस्करण

स्थिर प्रसार जैसे स्थैतिक जनरेटिव प्रणालियों के लिए कोह्या-एसएस लोरा के साथ, बकेटिंग इसका उपयोग कार्यभार को अलग-अलग आकार की छवियों में वितरित करने के लिए किया जाता है, जिससे प्रशिक्षण के समय आउट-ऑफ-मेमोरी त्रुटियों के बिना बड़ी छवियों का उपयोग करने की अनुमति मिलती है (यानी, बकेटिंग छवियों को छोटे-छोटे टुकड़ों में काट देती है, जिन्हें GPU संभाल सकता है, जबकि पूरी छवि की अर्थपूर्ण अखंडता को बनाए रखता है)।

आपके प्रशिक्षण डेटासेट में शामिल प्रत्येक छवि आकार (यानी, 512x768px) के लिए, उस आकार के लिए एक बकेट या 'उप-कार्य' बनाया जाएगा। इसलिए यदि आपके पास छवियों का निम्नलिखित वितरण है, तो इस तरह से बकेट ध्यान असंतुलित हो जाता है, और जोखिम है कि कुछ फ़ोटो को दूसरों की तुलना में प्रशिक्षण में अधिक ध्यान दिया जाएगा:

2x 512x768px छवियाँ
7x 768x512px छवियाँ
1x 1000x600px छवि
3x 400x800px छवियाँ

हम देख सकते हैं कि बकेट अटेंशन इन छवियों के बीच असमान रूप से विभाजित है:

इसलिए या तो एक प्रारूप आकार पर ही टिके रहें, या विभिन्न आकारों के वितरण को अपेक्षाकृत समान रखने का प्रयास करें।

किसी भी स्थिति में, बहुत बड़ी छवियों से बचें, क्योंकि इससे प्रशिक्षण धीमा हो सकता है, तथा इससे कोई विशेष लाभ नहीं होगा।

सरलता के लिए, मैंने अपने डेटासेट में सभी फ़ोटो के लिए 512x768px का उपयोग किया है।

Disclaimer: डेटासेट में प्रयुक्त मॉडल (व्यक्ति) ने मुझे इस उद्देश्य के लिए इन चित्रों का उपयोग करने की पूर्ण अनुमति दी, तथा इस आलेख में प्रदर्शित उसकी समानता को दर्शाने वाले सभी AI-आधारित आउटपुट को स्वीकृति दी।

मेरे डेटासेट में 40 इमेज हैं, PNG फॉर्मेट में (हालाँकि JPG भी ठीक है)। मेरी इमेज यहाँ स्टोर की गई हैं C:\Users\Martin\Desktop\DATASETS_HUNYUAN\examplewoman

आपको एक बनाना चाहिए कैश प्रशिक्षण छवि फ़ोल्डर के अंदर फ़ोल्डर:

अब आइए एक विशेष फ़ाइल बनाएं जो प्रशिक्षण को कॉन्फ़िगर करेगी।

TOML फ़ाइलें

हुनयुआन वीडियो लोरा की प्रशिक्षण और प्री-कैशिंग प्रक्रिया एक फ्लैट टेक्स्ट फ़ाइल से फ़ाइल पथ प्राप्त करती है .टॉमएल विस्तार।

मेरे परीक्षण के लिए, TOML C:\Users\Martin\Desktop\DATASETS_HUNYUAN\training.toml पर स्थित है

मेरे प्रशिक्षण TOML की सामग्री इस प्रकार है:

[general]

resolution = [512, 768]

caption_extension = ".txt"

batch_size = 1

enable_bucket = true

bucket_no_upscale = false

[[datasets]]

image_directory = "C:\\Users\\Martin\\Desktop\\DATASETS_HUNYUAN\\examplewoman"

cache_directory = "C:\\Users\\Martin\\Desktop\\DATASETS_HUNYUAN\\examplewoman\\cache"

num_repeats = 1

(छवि और कैश निर्देशिकाओं के लिए डबल बैक-स्लैश हमेशा आवश्यक नहीं होते हैं, लेकिन वे उन मामलों में त्रुटियों से बचने में मदद कर सकते हैं जहां पथ में कोई स्थान है। मैंने .toml फ़ाइलों के साथ मॉडल प्रशिक्षित किए हैं जो सिंगल-फॉरवर्ड और सिंगल-बैकवर्ड स्लैश का उपयोग करते हैं)

हम देख सकते हैं resolution सेक्शन में दो रेज़ोल्यूशन पर विचार किया जाएगा – 512px और 768px। आप इसे 512 पर भी छोड़ सकते हैं, और फिर भी अच्छे परिणाम प्राप्त कर सकते हैं।

कैप्शन

हुनयुआन वीडियो एक टेक्स्ट+विज़न फ़ाउंडेशन मॉडल, इसलिए हमें इन छवियों के लिए वर्णनात्मक कैप्शन की आवश्यकता है, जिस पर प्रशिक्षण के दौरान विचार किया जाएगा। कैप्शन के बिना प्रशिक्षण प्रक्रिया विफल हो जाएगी।

वहाँ रहे हैं एक भीड़ इस कार्य के लिए हम कई ओपन सोर्स कैप्शनिंग सिस्टम का उपयोग कर सकते हैं, लेकिन आइए इसे सरल रखें और उपयोग करें टैगुई सिस्टम। हालांकि यह GitHub पर संग्रहीत है, और हालांकि यह पहली बार चलाने पर कुछ बहुत भारी गहन शिक्षण मॉडल डाउनलोड करता है, यह एक सरल विंडोज निष्पादन योग्य के रूप में आता है जो पायथन पुस्तकालयों और एक सीधा जीयूआई लोड करता है।

टैगगुई शुरू करने के बाद, उपयोग करें फ़ाइल > निर्देशिका लोड करें अपने छवि डेटासेट पर नेविगेट करने के लिए, और वैकल्पिक रूप से एक टोकन पहचानकर्ता डालें (इस मामले में, उदाहरणमहिला) जिसे सभी कैप्शन में जोड़ा जाएगा:

(बंद करना सुनिश्चित करें 4-बिट में लोड करें जब टैग्गुई पहली बार खुलेगा - यदि इसे चालू छोड़ दिया जाए तो कैप्शनिंग के दौरान त्रुटियाँ आएंगी)

बाएँ हाथ के पूर्वावलोकन कॉलम में एक छवि चुनें और सभी छवियों को चुनने के लिए CTRL+A दबाएँ। फिर दाएँ तरफ़ ऑटो-कैप्शनिंग प्रारंभ करें बटन दबाएँ:

आप टैगगुई को दाएं हाथ के कॉलम में छोटे CLI में मॉडल डाउनलोड करते देखेंगे, लेकिन केवल तभी जब आपने पहली बार कैप्शनर चलाया हो। अन्यथा आपको कैप्शन का पूर्वावलोकन दिखाई देगा।

अब, प्रत्येक फोटो के साथ एक .txt कैप्शन है जिसमें उसकी छवि सामग्री का विवरण है:

आप क्लिक कर सकते हैं उन्नत विकल्प टैगगुई में कैप्शन की लंबाई और शैली बढ़ाने के लिए कुछ सुझाव दिए गए हैं, लेकिन यह इस समीक्षा के दायरे से बाहर है।

टैगगुई छोड़ो और आगे बढ़ो...

अव्यक्त प्री-कैशिंग

प्रशिक्षण के समय अत्यधिक GPU लोड से बचने के लिए, दो प्रकार की प्री-कैश्ड फाइलें बनाना आवश्यक है - एक, स्वयं छवियों से प्राप्त अव्यक्त छवि को दर्शाने के लिए, और दूसरी, कैप्शन सामग्री से संबंधित पाठ एन्कोडिंग का मूल्यांकन करने के लिए।

सभी तीन प्रक्रियाओं (2x कैश + प्रशिक्षण) को सरल बनाने के लिए, आप इंटरैक्टिव .BAT फ़ाइलों का उपयोग कर सकते हैं जो आपसे प्रश्न पूछेंगी और जब आप आवश्यक जानकारी देंगे तो प्रक्रियाएं शुरू कर देंगी।

अव्यक्त प्री-कैशिंग के लिए, निम्नलिखित पाठ को नोटपैड में कॉपी करें और इसे .BAT फ़ाइल के रूप में सहेजें (अर्थात, इसका नाम कुछ इस प्रकार रखें) अव्यक्त-precache.bat), जैसा कि पहले भी कहा गया है, यह सुनिश्चित करते हुए कि ड्रॉप डाउन मेनू में फ़ाइल प्रकार इस रूप में सहेजें संवाद है सभी फ़ाइलें (नीचे चित्र देखें):

@echo off

REM Activate the virtual environment

call C:\Users\[Your Profile Name]\Desktop\Musubi\musubi\Scripts\activate.bat

REM Get user input

set /p IMAGE_PATH=Enter the path to the image directory:

set /p CACHE_PATH=Enter the path to the cache directory:

set /p TOML_PATH=Enter the path to the TOML file:

echo You entered:

echo Image path: %IMAGE_PATH%

echo Cache path: %CACHE_PATH%

echo TOML file path: %TOML_PATH%

set /p CONFIRM=Do you want to proceed with latent pre-caching (y/n)?

if /i "%CONFIRM%"=="y" (

REM Run the latent pre-caching script

python C:\Users\[Your Profile Name]\Desktop\Musubi\musubi\musubi-tuner\cache_latents.py --dataset_config %TOML_PATH% --vae C:\Users\[Your Profile Name]\Desktop\Musubi\musubi\musubi-tuner\models\pytorch_model.pt --vae_chunk_size 32 --vae_tiling

) else (

echo Operation canceled.

)

REM Keep the window open

pause

(सुनिश्चित करें कि आप प्रतिस्थापित करें [आपका प्रोफ़ाइल नाम] अपने वास्तविक विंडोज प्रोफाइल फ़ोल्डर नाम के साथ)

अब आप स्वचालित गुप्त कैशिंग के लिए .BAT फ़ाइल चला सकते हैं:

जब BAT फ़ाइल से विभिन्न प्रश्न पूछे जाएं, तो अपने डेटासेट, कैश फ़ोल्डर्स और TOML फ़ाइल का पथ पेस्ट करें या टाइप करें।

टेक्स्ट प्री-कैशिंग

हम एक दूसरी BAT फ़ाइल बनाएंगे, इस बार पाठ प्री-कैशिंग के लिए।

@echo off

REM Activate the virtual environment

call C:\Users\[Your Profile Name]\Desktop\Musubi\musubi\Scripts\activate.bat

REM Get user input

set /p IMAGE_PATH=Enter the path to the image directory:

set /p CACHE_PATH=Enter the path to the cache directory:

set /p TOML_PATH=Enter the path to the TOML file:

echo You entered:

echo Image path: %IMAGE_PATH%

echo Cache path: %CACHE_PATH%

echo TOML file path: %TOML_PATH%

set /p CONFIRM=Do you want to proceed with text encoder output pre-caching (y/n)?

if /i "%CONFIRM%"=="y" (

REM Use the python executable from the virtual environment

python C:\Users\[Your Profile Name]\Desktop\Musubi\musubi\musubi-tuner\cache_text_encoder_outputs.py --dataset_config %TOML_PATH% --text_encoder1 C:\Users\[Your Profile Name]\Desktop\Musubi\musubi\musubi-tuner\models\llava_llama3_fp16.safetensors --text_encoder2 C:\Users\[Your Profile Name]\Desktop\Musubi\musubi\musubi-tuner\models\clip_l.safetensors --batch_size 16

) else (

echo Operation canceled.

)

REM Keep the window open

pause

अपना विंडोज प्रोफाइल नाम बदलें और इसे इस रूप में सेव करें टेक्स्ट-कैश.बैट (या कोई अन्य नाम जो आप चाहें), किसी भी सुविधाजनक स्थान पर, पिछली BAT फ़ाइल के लिए निर्धारित प्रक्रिया के अनुसार।

इस नई BAT फ़ाइल को चलाएँ, निर्देशों का पालन करें, और आवश्यक टेक्स्ट-एन्कोडेड फ़ाइलें दिखाई देंगी कैश फ़ोल्डर:

हुनयुआन वीडियो लोरा का प्रशिक्षण

वास्तविक LoRA को प्रशिक्षित करने में इन दो प्रारंभिक प्रक्रियाओं की तुलना में काफी अधिक समय लगेगा।

हालांकि ऐसे कई चर हैं जिनके बारे में हम चिंतित हो सकते हैं (जैसे बैच आकार, पुनरावृत्ति, युग, और पूर्ण या परिमाणित मॉडल का उपयोग करना है या नहीं, आदि), हम इन विचारों को किसी अन्य दिन के लिए बचा कर रखेंगे, और LoRA निर्माण की पेचीदगियों पर गहराई से नजर डालेंगे।

अभी के लिए, आइए विकल्पों को थोड़ा कम करें और LoRA को 'मीडियन' सेटिंग्स पर प्रशिक्षित करें।

हम तीसरी BAT फ़ाइल बनाएंगे, इस बार प्रशिक्षण आरंभ करने के लिए। इसे नोटपैड में पेस्ट करें और इसे पहले की तरह BAT फ़ाइल के रूप में सेव करें। प्रशिक्षण.बैट (या कोई भी नाम जो आप चाहें):

@echo off

REM Activate the virtual environment

call C:\Users\[Your Profile Name]\Desktop\Musubi\musubi\Scripts\activate.bat

REM Get user input

set /p DATASET_CONFIG=Enter the path to the dataset configuration file:

set /p EPOCHS=Enter the number of epochs to train:

set /p OUTPUT_NAME=Enter the output model name (e.g., example0001):

set /p LEARNING_RATE=Choose learning rate (1 for 1e-3, 2 for 5e-3, default 1e-3):

if "%LEARNING_RATE%"=="1" set LR=1e-3

if "%LEARNING_RATE%"=="2" set LR=5e-3

if "%LEARNING_RATE%"=="" set LR=1e-3

set /p SAVE_STEPS=How often (in steps) to save preview images:

set /p SAMPLE_PROMPTS=What is the location of the text-prompt file for training previews?

echo You entered:

echo Dataset configuration file: %DATASET_CONFIG%

echo Number of epochs: %EPOCHS%

echo Output name: %OUTPUT_NAME%

echo Learning rate: %LR%

echo Save preview images every %SAVE_STEPS% steps.

echo Text-prompt file: %SAMPLE_PROMPTS%

REM Prepare the command

set CMD=accelerate launch --num_cpu_threads_per_process 1 --mixed_precision bf16 ^

C:\Users\[Your Profile Name]\Desktop\Musubi\musubi\musubi-tuner\hv_train_network.py ^

--dit C:\Users\[Your Profile Name]\Desktop\Musubi\musubi\musubi-tuner\models\mp_rank_00_model_states.pt ^

--dataset_config %DATASET_CONFIG% ^

--sdpa ^

--mixed_precision bf16 ^

--fp8_base ^

--optimizer_type adamw8bit ^

--learning_rate %LR% ^

--gradient_checkpointing ^

--max_data_loader_n_workers 2 ^

--persistent_data_loader_workers ^

--network_module=networks.lora ^

--network_dim=32 ^

--timestep_sampling sigmoid ^

--discrete_flow_shift 1.0 ^

--max_train_epochs %EPOCHS% ^

--save_every_n_epochs=1 ^

--seed 42 ^

--output_dir "C:\Users\[Your Profile Name]\Desktop\Musubi\Output Models" ^

--output_name %OUTPUT_NAME% ^

--vae C:/Users/[Your Profile Name]/Desktop/Musubi/musubi/musubi-tuner/models/pytorch_model.pt ^

--vae_chunk_size 32 ^

--vae_spatial_tile_sample_min_size 128 ^

--text_encoder1 C:/Users/[Your Profile Name]/Desktop/Musubi/musubi/musubi-tuner/models/llava_llama3_fp16.safetensors ^

--text_encoder2 C:/Users/[Your Profile Name]/Desktop/Musubi/musubi/musubi-tuner/models/clip_l.safetensors ^

--sample_prompts %SAMPLE_PROMPTS% ^

--sample_every_n_steps %SAVE_STEPS% ^

--sample_at_first

echo The following command will be executed:

echo %CMD%

set /p CONFIRM=Do you want to proceed with training (y/n)?

if /i "%CONFIRM%"=="y" (

%CMD%

) else (

echo Operation canceled.

)

REM Keep the window open

cmd /k

हमेशा की तरह, सभी इंस्टेंस को बदलना सुनिश्चित करेंf [आपका प्रोफ़ाइल नाम] अपने सही विंडोज प्रोफाइल नाम के साथ।

सुनिश्चित करें कि निर्देशिका C:\Users\[Your Profile Name]\Desktop\Musubi\Output Models\ मौजूद है, और यदि नहीं तो उसे उस स्थान पर बनाएं।

प्रशिक्षण पूर्वावलोकन

मुसुबी ट्रेनर के लिए हाल ही में एक बहुत ही बुनियादी प्रशिक्षण पूर्वावलोकन सुविधा सक्षम की गई है, जो आपको प्रशिक्षण मॉडल को रोकने और आपके द्वारा सहेजे गए संकेतों के आधार पर छवियां बनाने की अनुमति देती है। इन्हें स्वचालित रूप से बनाए गए फ़ोल्डर में सहेजा जाता है जिसे कहा जाता है नमूना, उसी निर्देशिका में जहां प्रशिक्षित मॉडल सहेजे जाते हैं।

इसे सक्षम करने के लिए, आपको अंतिम एक प्रॉम्प्ट को टेक्स्ट फ़ाइल में सहेजना होगा। हमारे द्वारा बनाया गया प्रशिक्षण BAT आपसे इस फ़ाइल का स्थान इनपुट करने के लिए कहेगा; इसलिए आप प्रॉम्प्ट फ़ाइल को अपनी पसंद का कोई भी नाम दे सकते हैं, और इसे कहीं भी सहेज सकते हैं।

यहां एक फ़ाइल के लिए कुछ प्रॉम्प्ट उदाहरण दिए गए हैं जो प्रशिक्षण रूटीन द्वारा अनुरोध किए जाने पर तीन अलग-अलग छवियों को आउटपुट करेगा:

जैसा कि आप ऊपर दिए गए उदाहरण में देख सकते हैं, आप प्रॉम्प्ट के अंत में फ़्लैग लगा सकते हैं जो छवियों को प्रभावित करेगा:

–w है चौडाई (यदि सेट नहीं किया गया है तो डिफ़ॉल्ट 256px है, के अनुसार डॉक्स)
-उसका ऊंचाई (यदि सेट नहीं किया गया है तो डिफ़ॉल्ट 256px है)
–f है फ़्रेम की संख्यायदि 1 पर सेट किया जाता है, तो एक छवि बनाई जाती है; एक से अधिक पर, एक वीडियो बनाया जाता है।
-d बीज है। यदि सेट नहीं किया गया है, तो यह यादृच्छिक है; लेकिन आपको इसे एक प्रॉम्प्ट विकसित होते देखने के लिए सेट करना चाहिए।
–s निर्माण में चरणों की संख्या है, जो डिफ़ॉल्ट रूप से 20 होती है।

देख आधिकारिक दस्तावेज अतिरिक्त झंडों के लिए.

यद्यपि प्रशिक्षण पूर्वावलोकन से कुछ समस्याएं शीघ्रता से सामने आ सकती हैं, जिनके कारण आपको प्रशिक्षण रद्द करना पड़ सकता है और डेटा या सेटअप पर पुनर्विचार करना पड़ सकता है, जिससे समय की बचत होती है, लेकिन याद रखें कि प्रत्येक अतिरिक्त संकेत से प्रशिक्षण थोड़ा और धीमा हो जाता है।

इसके अलावा, प्रशिक्षण पूर्वावलोकन छवि की चौड़ाई और ऊंचाई जितनी बड़ी होगी (जैसा कि ऊपर सूचीबद्ध झंडों में निर्धारित किया गया है), उतना ही अधिक यह प्रशिक्षण को धीमा कर देगा।

अपनी प्रशिक्षण BAT फ़ाइल लॉन्च करें.

प्रश्न #1 'डेटासेट कॉन्फ़िगरेशन के लिए पथ दर्ज करें। अपनी TOML फ़ाइल के लिए सही पथ पेस्ट करें या टाइप करें।

प्रश्न #2 'प्रशिक्षण के लिए युगों की संख्या दर्ज करें'। यह एक परीक्षण-और-त्रुटि चर है, क्योंकि यह छवियों की मात्रा और गुणवत्ता, साथ ही कैप्शन और अन्य कारकों से प्रभावित होता है। सामान्य तौर पर, इसे बहुत कम से बहुत अधिक सेट करना सबसे अच्छा है, क्योंकि यदि आपको लगता है कि मॉडल पर्याप्त रूप से उन्नत हो गया है, तो आप प्रशिक्षण विंडो में Ctrl+C के साथ प्रशिक्षण को हमेशा रोक सकते हैं। इसे पहले उदाहरण में 100 पर सेट करें, और देखें कि यह कैसे चलता है।

प्रश्न #3 'आउटपुट मॉडल का नाम दर्ज करें'। अपने मॉडल का नाम दें! नाम को यथोचित रूप से छोटा और सरल रखना सबसे अच्छा हो सकता है।

प्रश्न #4 'सीखने की दर चुनें', जो डिफ़ॉल्ट रूप से 1e-3 (विकल्प 1) पर सेट होता है। आगे के अनुभव के लिए यह एक अच्छी शुरुआत है।

प्रश्न #5 'कितनी बार (चरणों में) पूर्वावलोकन छवियों को सहेजना है। यदि आप इसे बहुत कम सेट करते हैं, तो आप पूर्वावलोकन छवि सहेजने के बीच बहुत कम प्रगति देखेंगे, और यह प्रशिक्षण को धीमा कर देगा।

प्रश्न #6 'प्रशिक्षण पूर्वावलोकन के लिए टेक्स्ट-प्रॉम्प्ट फ़ाइल का स्थान क्या है?' अपने प्रॉम्प्ट टेक्स्ट फ़ाइल का पथ पेस्ट करें या टाइप करें।

इसके बाद BAT आपको हुनयुआन मॉडल को भेजे जाने वाले आदेश दिखाता है, और आपसे पूछता है कि क्या आप आगे बढ़ना चाहते हैं, y/n।

आगे बढ़ें और प्रशिक्षण शुरू करें:

इस दौरान, यदि आप विंडोज टास्क मैनेजर के परफॉरमेंस टैब के GPU अनुभाग की जांच करेंगे, तो आप देखेंगे कि यह प्रक्रिया लगभग 16GB VRAM ले रही है।

यह कोई मनमाना आंकड़ा नहीं हो सकता है, क्योंकि यह कुछ NVIDIA ग्राफिक्स कार्डों पर उपलब्ध VRAM की मात्रा है, और अपस्ट्रीम कोड को ऐसे कार्ड रखने वालों के लाभ के लिए 16GB में कार्य पूरा करने के लिए अनुकूलित किया गया हो सकता है।

जैसा कि कहा गया है, प्रशिक्षण कमांड को अधिक अत्यधिक संकेत भेजकर इस प्रयोग को बढ़ाना बहुत आसान है।

प्रशिक्षण के दौरान, आप CMD विंडो के निचले-दाहिने भाग में देखेंगे कि प्रशिक्षण शुरू होने के बाद से कितना समय बीत चुका है, और कुल प्रशिक्षण समय का अनुमान (जो कि निर्धारित फ्लैग, प्रशिक्षण छवियों की संख्या, प्रशिक्षण पूर्वावलोकन छवियों की संख्या, और कई अन्य कारकों के आधार पर काफी भिन्न होगा)।

औसत प्रशिक्षण समय औसतन 3-4 घंटे का होता है, जो उपलब्ध हार्डवेयर, छवियों की संख्या, फ्लैग सेटिंग्स और अन्य कारकों पर निर्भर करता है।

हुनयुआन वीडियो में अपने प्रशिक्षित LoRA मॉडल का उपयोग करना

चेकपॉइंट चुनना

जब प्रशिक्षण समाप्त हो जाएगा, तो आपके पास प्रशिक्षण के प्रत्येक युग के लिए एक मॉडल चेकपॉइंट होगा।

इस बचत आवृत्ति को उपयोगकर्ता द्वारा इच्छानुसार संशोधित करके, अधिक या कम बार सहेजने के लिए बदला जा सकता है। --save_every_n_epochs [N] प्रशिक्षण BAT फ़ाइल में संख्या। यदि आपने BAT के साथ प्रशिक्षण सेट करते समय प्रति चरण बचत के लिए कम आंकड़ा जोड़ा है, तो सहेजी गई चेकपॉइंट फ़ाइलों की संख्या अधिक होगी।

कौन सा चेकपॉइंट चुनें?

जैसा कि पहले बताया गया है, सबसे पहले प्रशिक्षित मॉडल सबसे लचीले होंगे, जबकि बाद के चेकपॉइंट सबसे अधिक विवरण प्रदान कर सकते हैं। इन कारकों का परीक्षण करने का एकमात्र तरीका कुछ LoRA को चलाना और कुछ वीडियो बनाना है। इस तरह आप जान सकते हैं कि कौन से चेकपॉइंट सबसे अधिक उत्पादक हैं, और लचीलेपन और निष्ठा के बीच सबसे अच्छा संतुलन दर्शाते हैं।

आरामदायकयूआई

इस समय हुनयुआन वीडियो लोरा का उपयोग करने के लिए सबसे लोकप्रिय (हालांकि एकमात्र नहीं) वातावरण है आरामदायकयूआई, एक नोड-आधारित संपादक जिसमें विस्तृत ग्रैडियो इंटरफ़ेस है जो आपके वेब ब्राउज़र में चलता है।

स्थापना निर्देश सरल हैं और आधिकारिक GitHub रिपोजिटरी पर उपलब्ध (अतिरिक्त मॉडल डाउनलोड करने होंगे)

ComfyUI के लिए मॉडल परिवर्तित करना

आपके प्रशिक्षित मॉडल एक (डिफ्यूज़र) प्रारूप में सहेजे जाते हैं जो ComfyUI के अधिकांश कार्यान्वयनों के साथ संगत नहीं है। मुसुबी एक मॉडल को ComfyUI-संगत प्रारूप में परिवर्तित करने में सक्षम है। आइए इसे लागू करने के लिए एक BAT फ़ाइल सेट करें।

इस BAT को चलाने से पहले, बनाएं C:\Users\[Your Profile Name]\Desktop\Musubi\CONVERTED\ फ़ोल्डर जिसे स्क्रिप्ट अपेक्षित कर रही है.

@echo off

REM Activate the virtual environment

call C:\Users\[Your Profile Name]\Desktop\Musubi\musubi\Scripts\activate.bat

:START

REM Get user input

set /p INPUT_PATH=Enter the path to the input Musubi safetensors file (or type "exit" to quit):

REM Exit if the user types "exit"

if /i "%INPUT_PATH%"=="exit" goto END

REM Extract the file name from the input path and append 'converted' to it

for %%F in ("%INPUT_PATH%") do set FILENAME=%%~nF

set OUTPUT_PATH=C:\Users\[Your Profile Name]\Desktop\Musubi\Output Models\CONVERTED\%FILENAME%_converted.safetensors

set TARGET=other

echo You entered:

echo Input file: %INPUT_PATH%

echo Output file: %OUTPUT_PATH%

echo Target format: %TARGET%

set /p CONFIRM=Do you want to proceed with the conversion (y/n)?

if /i "%CONFIRM%"=="y" (

REM Run the conversion script with correctly quoted paths

python C:\Users\[Your Profile Name]\Desktop\Musubi\musubi\musubi-tuner\convert_lora.py --input "%INPUT_PATH%" --output "%OUTPUT_PATH%" --target %TARGET%

echo Conversion complete.

) else (

echo Operation canceled.

)

REM Return to start for another file

goto START

:END

REM Keep the window open

echo Exiting the script.

pause

पिछली BAT फ़ाइलों की तरह, स्क्रिप्ट को नोटपैड से 'सभी फ़ाइलें' के रूप में सहेजें, इसे नाम दें कन्वर्ट.बैट (या जो भी आपको पसंद हो).

एक बार सहेजे जाने के बाद, नई BAT फ़ाइल पर डबल-क्लिक करें, जो परिवर्तित करने के लिए फ़ाइल का स्थान पूछेगा।

उस प्रशिक्षित फ़ाइल का पथ पेस्ट करें या टाइप करें जिसे आप कनवर्ट करना चाहते हैं, क्लिक करें y, और एंटर दबाएं।

परिवर्तित LoRA को सहेजने के बाद परिवर्तित फ़ोल्डर में, स्क्रिप्ट पूछेगी कि क्या आप किसी दूसरी फ़ाइल को कनवर्ट करना चाहेंगे। यदि आप ComfyUI में कई चेकपॉइंट का परीक्षण करना चाहते हैं, तो मॉडल के चयन को कनवर्ट करें।

जब आप पर्याप्त चेकपॉइंट परिवर्तित कर लें, तो BAT कमांड विंडो बंद कर दें।

अब आप अपने परिवर्तित मॉडलों को अपने ComfyUI इंस्टॉलेशन में models\loras फ़ोल्डर में कॉपी कर सकते हैं।

आमतौर पर सही स्थान कुछ इस प्रकार होता है:

C:\Users\[Your Profile Name]\Desktop\ComfyUI\models\loras\

ComfyUI में Hunyuan वीडियो LoRAs बनाना

हालाँकि कॉम्फीयूआई के नोड-आधारित वर्कफ़्लो शुरू में जटिल लगते हैं, लेकिन अन्य अधिक विशेषज्ञ उपयोगकर्ताओं की सेटिंग को कॉम्फीयूआई विंडो में सीधे एक छवि (दूसरे उपयोगकर्ता के कॉम्फीयूआई के साथ बनाई गई) को खींचकर लोड किया जा सकता है। वर्कफ़्लो को JSON फ़ाइलों के रूप में भी निर्यात किया जा सकता है, जिन्हें मैन्युअल रूप से आयात किया जा सकता है, या कॉम्फीयूआई विंडो में खींचा जा सकता है।

कुछ आयातित वर्कफ़्लोज़ में निर्भरताएँ होंगी जो शायद आपकी स्थापना में मौजूद न हों। इसलिए इंस्टॉल करें ComfyUI-मैनेजर, जो गायब मॉड्यूल को स्वचालित रूप से ला सकता है।

इस ट्यूटोरियल में मॉडल से वीडियो बनाने के लिए उपयोग किए जाने वाले वर्कफ़्लो में से एक को लोड करने के लिए, डाउनलोड करें यह JSON फ़ाइल और इसे अपने ComfyUI विंडो में खींचें (हालांकि विभिन्न Reddit और Discord समुदायों में बेहतर वर्कफ़्लो उदाहरण उपलब्ध हैं जिन्होंने Hunyuan वीडियो को अपनाया है, और मेरा स्वयं का उदाहरण इनमें से एक से अनुकूलित है)।

यह ComfyUI के उपयोग पर विस्तृत ट्यूटोरियल के लिए उपयुक्त स्थान नहीं है, लेकिन कुछ महत्वपूर्ण मापदंडों का उल्लेख करना उचित है, जो आपके आउटपुट को प्रभावित करेंगे, यदि आप JSON लेआउट को डाउनलोड और उपयोग करते हैं, जिसका लिंक मैंने ऊपर दिया है।

1) चौड़ाई और ऊंचाई

आपकी छवि जितनी बड़ी होगी, उसे बनाने में उतना ही अधिक समय लगेगा, तथा आउट-ऑफ-मेमोरी (OOM) त्रुटि का जोखिम भी उतना ही अधिक होगा।

2) लंबाई

यह फ़्रेम की संख्या के लिए संख्यात्मक मान है। यह कितने सेकंड जोड़ता है यह फ़्रेम दर (इस लेआउट में 30fps पर सेट) पर निर्भर करता है। आप सेकंड>फ़्रेम को fps के आधार पर परिवर्तित कर सकते हैं ओमनीकैलकुलेटर पर.

3) बैच का आकार

आप बैच साइज़ जितना ज़्यादा सेट करेंगे, परिणाम उतनी ही जल्दी आ सकते हैं, लेकिन VRAM का बोझ उतना ही ज़्यादा होगा। इसे बहुत ज़्यादा सेट करने पर आपको OOM मिल सकता है।

4) उत्पादन के बाद नियंत्रण

यह यादृच्छिक बीज को नियंत्रित करता है। इस उप-नोड के लिए विकल्प हैं तय, वेतन वृद्धि, घटती और randomize.यदि आप इसे यहीं छोड़ देते हैं तय और टेक्स्ट प्रॉम्प्ट को न बदलें, आपको हर बार एक ही छवि मिलेगी। यदि आप टेक्स्ट प्रॉम्प्ट में संशोधन करते हैं, तो छवि सीमित सीमा तक बदल जाएगी। वेतन वृद्धि और घटती सेटिंग्स आपको आस-पास के बीज मानों का पता लगाने की अनुमति देती हैं, जबकि randomize आपको संकेत की एक पूरी तरह से नई व्याख्या देता है।

5) लोरा नाम

उत्पन्न करने का प्रयास करने से पहले, आपको यहां अपना स्वयं का स्थापित मॉडल चुनना होगा।

6) टोकन

यदि आपने अपने मॉडल को टोकन के साथ अवधारणा को ट्रिगर करने के लिए प्रशिक्षित किया है, (जैसे 'उदाहरण-व्यक्ति'), उस ट्रिगर शब्द को अपने प्रॉम्प्ट में डालें।

7) कदम

यह दर्शाता है कि सिस्टम प्रसार प्रक्रिया में कितने चरण लागू करेगा। उच्चतर चरण बेहतर विवरण प्राप्त कर सकते हैं, लेकिन इस दृष्टिकोण की प्रभावशीलता की एक सीमा है, और उस सीमा को खोजना मुश्किल हो सकता है। चरणों की सामान्य सीमा लगभग 20-30 है।

8) टाइल का आकार

यह परिभाषित करता है कि निर्माण के दौरान एक समय में कितनी जानकारी संभाली जाती है। यह डिफ़ॉल्ट रूप से 256 पर सेट है। इसे बढ़ाने से निर्माण की गति बढ़ सकती है, लेकिन इसे बहुत अधिक बढ़ाने से विशेष रूप से निराशाजनक OOM अनुभव हो सकता है, क्योंकि यह एक लंबी प्रक्रिया के अंत में आता है।

9) टेम्पोरल ओवरलैप

हुनयुआन वीडियो पीढ़ी के लोगों को 'घोस्टिंग' या अविश्वसनीय आंदोलन की ओर ले जा सकता है यदि इसे बहुत कम सेट किया जाता है। सामान्य तौर पर, वर्तमान ज्ञान यह है कि बेहतर आंदोलन उत्पन्न करने के लिए इसे फ़्रेम की संख्या से अधिक मूल्य पर सेट किया जाना चाहिए।

निष्कर्ष

हालाँकि ComfyUI के उपयोग के बारे में और अधिक जानकारी इस लेख के दायरे से बाहर है, लेकिन Reddit और Discords पर सामुदायिक अनुभव सीखने की प्रक्रिया को आसान बना सकता है, और इसके लिए कई तरीके हैं। ऑनलाइन गाइड जो मूल बातें बताते हैं।

 

पहली बार प्रकाशित गुरुवार, 23 जनवरी 2025