अपनी विशाल क्षमता और व्यावसायीकरण के अवसरों के कारण, विशेष रूप से गेमिंग, प्रसारण और वीडियो स्ट्रीमिंग में, मेटावर्स वर्तमान में सबसे तेजी से बढ़ती प्रौद्योगिकियों में से एक है। आधुनिक मेटावर्स एप्लिकेशन अपने यथार्थवाद को बढ़ाने के लिए कंप्यूटर विज़न और डिफ्यूजन मॉडल सहित एआई फ्रेमवर्क का उपयोग करते हैं। मेटावर्स अनुप्रयोगों के लिए एक महत्वपूर्ण चुनौती विभिन्न प्रसार पाइपलाइनों को एकीकृत करना है जो कम विलंबता और उच्च थ्रूपुट प्रदान करती हैं, जिससे मनुष्यों और इन अनुप्रयोगों के बीच प्रभावी बातचीत सुनिश्चित होती है।

आज के प्रसार-आधारित एआई ढांचे पाठ्य या छवि संकेतों से छवियां बनाने में उत्कृष्ट हैं, लेकिन वास्तविक समय की बातचीत में कम हैं। यह सीमा उन कार्यों में विशेष रूप से स्पष्ट है जिनके लिए निरंतर इनपुट और उच्च थ्रूपुट की आवश्यकता होती है, जैसे वीडियो गेम ग्राफिक्स, मेटावर्स एप्लिकेशन, प्रसारण और लाइव वीडियो स्ट्रीमिंग।

इस लेख में, हम स्ट्रीमडिफ्यूजन पर चर्चा करेंगे, जो इंटरैक्टिव और यथार्थवादी छवियां उत्पन्न करने के लिए विकसित एक वास्तविक समय प्रसार पाइपलाइन है, जो निरंतर इनपुट से जुड़े कार्यों में प्रसार-आधारित ढांचे की वर्तमान सीमाओं को संबोधित करती है। स्ट्रीमडिफ़्यूज़न एक अभिनव दृष्टिकोण है जो मूल छवि के अनुक्रमिक शोर को बैच डीनोइज़िंग में बदल देता है, जिसका लक्ष्य उच्च थ्रूपुट और द्रव धाराओं को सक्षम करना है। यह दृष्टिकोण मौजूदा द्वारा उपयोग की जाने वाली पारंपरिक प्रतीक्षा-और-बातचीत पद्धति से दूर जाता है प्रसार-आधारित रूपरेखाएँ. आगामी अनुभागों में, हम स्ट्रीमडिफ्यूजन ढांचे के बारे में विस्तार से जानेंगे, वर्तमान अत्याधुनिक ढांचे के मुकाबले इसके कामकाज, वास्तुकला और तुलनात्मक परिणामों की खोज करेंगे। आएँ शुरू करें।

स्ट्रीमडिफ्यूजन: रीयल-टाइम इंटरएक्टिव जेनरेशन का एक परिचय

मेटावर्स प्रदर्शन गहन अनुप्रयोग हैं क्योंकि वे अपने उपयोगकर्ताओं को अपने ट्रेडमार्क इंटरैक्टिव इंटरफेस और अनुभव प्रदान करने के लिए वास्तविक समय में टेक्स्ट, एनिमेशन, वीडियो और छवियों सहित बड़ी मात्रा में डेटा संसाधित करते हैं। आधुनिक मेटावर्स एप्लिकेशन निर्बाध उपयोगकर्ता अनुभव सुनिश्चित करने के लिए कम विलंबता और उच्च थ्रूपुट प्राप्त करने के लिए कंप्यूटर विज़न, इमेज प्रोसेसिंग और प्रसार मॉडल सहित एआई-आधारित ढांचे पर भरोसा करते हैं। वर्तमान में, अधिकांश मेटावर्स एप्लिकेशन उच्च थ्रूपुट सुनिश्चित करने और वास्तविक समय में एप्लिकेशन की इंटरैक्टिव क्षमताओं को बढ़ाने के लिए डीनोइज़िंग पुनरावृत्तियों की घटना को कम करने पर भरोसा करते हैं। ये ढाँचे एक सामान्य रणनीति का विकल्प चुनते हैं जिसमें या तो तंत्रिका ओडीई (साधारण विभेदक समीकरण) के साथ प्रसार प्रक्रिया को फिर से तैयार करना या बहु-चरण प्रसार मॉडल को कुछ चरणों या यहां तक ​​कि एक चरण में कम करना शामिल है। हालाँकि यह दृष्टिकोण संतोषजनक परिणाम देता है, लेकिन इसमें सीमित लचीलेपन और उच्च कम्प्यूटेशनल लागत सहित कुछ सीमाएँ हैं। 

दूसरी ओर, स्ट्रीमडिफ्यूजन एक पाइपलाइन स्तर का समाधान है जो ऑर्थोगोनल दिशा से शुरू होता है और उच्च थ्रूपुट सुनिश्चित करते हुए वास्तविक समय में इंटरैक्टिव छवियां उत्पन्न करने के लिए ढांचे की क्षमताओं को बढ़ाता है। स्ट्रीमडिफ़्यूज़न एक सरल रणनीति का उपयोग करता है जिसमें मूल इनपुट को डीनोइज़ करने के बजाय, फ़्रेमवर्क डीनोइज़िंग चरण को बैच करता है। रणनीति अतुल्यकालिक प्रसंस्करण से प्रेरणा लेती है क्योंकि ढांचे को दूसरे चरण पर जाने से पहले पहले डीनोइज़िंग चरण के पूरा होने तक इंतजार नहीं करना पड़ता है, जैसा कि निम्नलिखित छवि में दिखाया गया है। यू-नेट प्रोसेसिंग फ़्रीक्वेंसी और इनपुट फ़्रीक्वेंसी के मुद्दे को समकालिक रूप से निपटाने के लिए, स्ट्रीमडिफ़्यूज़न फ्रेमवर्क इनपुट और आउटपुट को कैश करने के लिए एक कतार रणनीति लागू करता है। 

यद्यपि स्ट्रीमडिफ्यूजन पाइपलाइन अतुल्यकालिक प्रसंस्करण से प्रेरणा लेती है, यह अपने तरीके से अद्वितीय है क्योंकि यह जीपीयू समानता को कार्यान्वित करती है जो ढांचे को बैच शोर अव्यक्त सुविधा को दर्शाने के लिए एकल यूनेट घटक का उपयोग करने की अनुमति देती है। इसके अलावा, मौजूदा प्रसार-आधारित पाइपलाइनें क्लासिफायर-मुक्त मार्गदर्शन को शामिल करके उत्पन्न छवियों में दिए गए संकेतों पर जोर दें, जिसके परिणामस्वरूप वर्तमान पाइपलाइन अनावश्यक और अत्यधिक कम्प्यूटेशनल ओवरहेड्स से घिर जाती हैं। यह सुनिश्चित करने के लिए कि स्ट्रीमडिफ्यूजन पाइपलाइन को समान समस्याओं का सामना नहीं करना पड़ता है, यह एक अभिनव आरसीएफजी या अवशिष्ट क्लासिफायर-मुक्त मार्गदर्शन दृष्टिकोण लागू करता है जो नकारात्मक स्थितियों का अनुमान लगाने के लिए आभासी अवशिष्ट शोर का उपयोग करता है, इस प्रकार ढांचे को प्रारंभिक में नकारात्मक शोर स्थितियों की गणना करने की अनुमति देता है। प्रक्रिया के चरण ही. इसके अतिरिक्त, स्ट्रीमडिफ्यूजन पाइपलाइन एक स्टोकेस्टिक समानता फ़िल्टरिंग रणनीति को लागू करके पारंपरिक प्रसार-पाइपलाइन की कम्प्यूटेशनल आवश्यकताओं को भी कम करती है जो यह निर्धारित करती है कि पाइपलाइन को निरंतर इनपुट के बीच समानता की गणना करके इनपुट छवियों को संसाधित करना चाहिए या नहीं। 

स्ट्रीमडिफ्यूजन फ्रेमवर्क की सीख पर बनाया गया है प्रसार मॉडल, और त्वरण प्रसार मॉडल. 

डिफ्यूज़न मॉडल अपनी असाधारण छवि निर्माण क्षमताओं और उनके द्वारा प्रदान किए जाने वाले नियंत्रण की मात्रा के लिए जाने जाते हैं। अपनी क्षमताओं के कारण, प्रसार मॉडल ने छवि संपादन, पाठ से छवि निर्माण और वीडियो निर्माण में अपना अनुप्रयोग पाया है। इसके अलावा, सुसंगत मॉडलों के विकास ने मॉडल द्वारा उत्पन्न छवियों की गुणवत्ता से समझौता किए बिना नमूना प्रसंस्करण दक्षता को बढ़ाने की क्षमता का प्रदर्शन किया है, जिसने नमूनाकरण चरणों की संख्या को कम करके प्रसार मॉडल की प्रयोज्यता और दक्षता का विस्तार करने के लिए नए दरवाजे खोले हैं। हालांकि बेहद सक्षम, प्रसार मॉडल में एक बड़ी सीमा होती है: धीमी छवि निर्माण। इस सीमा से निपटने के लिए, डेवलपर्स ने त्वरित प्रसार मॉडल, प्रसार-आधारित ढांचे पेश किए जिन्हें अतिरिक्त प्रशिक्षण चरणों की आवश्यकता नहीं होती है या आउटपुट गति बढ़ाने के लिए भविष्यवक्ता-सुधारक रणनीतियों और अनुकूली चरण-आकार सॉल्वरों को लागू करने की आवश्यकता नहीं होती है। 

स्ट्रीमडिफ्यूजन और पारंपरिक प्रसार-आधारित ढांचे के बीच विशिष्ट कारक यह है कि जहां उत्तरार्द्ध मुख्य रूप से व्यक्तिगत मॉडल की कम विलंबता पर ध्यान केंद्रित करता है, वहीं पूर्व कुशल इंटरैक्टिव प्रसार को सक्षम करने वाले उच्च थ्रूपुट प्राप्त करने के लिए डिज़ाइन किए गए पाइपलाइन-स्तरीय दृष्टिकोण का परिचय देता है। 

स्ट्रीमडिफ्यूजन: कार्य और वास्तुकला

स्ट्रीमडिफ्यूजन पाइपलाइन एक वास्तविक समय प्रसार पाइपलाइन है जिसे इंटरैक्टिव और यथार्थवादी छवियां उत्पन्न करने के लिए विकसित किया गया है, और यह 6 प्रमुख घटकों को नियोजित करता है: आरसीएफजी या अवशिष्ट क्लासिफायर फ्री मार्गदर्शन, स्ट्रीम बैच रणनीति, स्टोचैस्टिक समानता फ़िल्टर, एक इनपुट-आउटपुट कतार, मॉडल त्वरण उपकरण। ऑटोएनकोडर और एक पूर्व-गणना प्रक्रिया के साथ। आइये इन घटकों के बारे में विस्तार से बात करते हैं। 

स्ट्रीम बैच रणनीति

परंपरागत रूप से, एक में निरूपित करने वाले चरण प्रसार मॉडल क्रमिक रूप से निष्पादित किए जाते हैं, जिसके परिणामस्वरूप यू-नेट प्रसंस्करण समय से लेकर प्रसंस्करण चरणों की संख्या में उल्लेखनीय वृद्धि होती है। हालाँकि, उच्च-निष्ठा छवियों को उत्पन्न करने के लिए प्रसंस्करण चरणों की संख्या बढ़ाना आवश्यक है, और स्ट्रीमडिफ्यूजन फ्रेमवर्क इंटरैक्टिव डिफ्यूजन फ्रेमवर्क में उच्च-विलंबता रिज़ॉल्यूशन को दूर करने के लिए स्ट्रीम बैच रणनीति पेश करता है। 

स्ट्रीम बैच रणनीति में, अनुक्रमिक डीनोइज़िंग संचालन को प्रत्येक बैच के साथ बैच प्रक्रियाओं में पुनर्गठित किया जाता है, जो कि पूर्व निर्धारित संख्या में डीनोइज़िंग चरणों के अनुरूप होता है, और इन डीनोइज़िंग चरणों की संख्या प्रत्येक बैच के आकार से निर्धारित होती है। दृष्टिकोण के लिए धन्यवाद, बैच में प्रत्येक तत्व डीनोइज़िंग अनुक्रम में एकल पासथ्रू यूनेट का उपयोग करके एक कदम आगे बढ़ सकता है। स्ट्रीम बैच रणनीति को पुनरावृत्त रूप से कार्यान्वित करके, टाइमस्टेप "टी" पर एन्कोड की गई इनपुट छवियों को टाइमस्टेप "टी+एन" पर छवि परिणामों में उनकी संबंधित छवि में परिवर्तित किया जा सकता है, इस प्रकार डीनोइज़िंग प्रक्रिया को सुव्यवस्थित किया जा सकता है। 

अवशिष्ट वर्गीकरणकर्ता निःशुल्क मार्गदर्शन

सीएफजी या क्लासिफायर फ्री गाइडेंस एक एआई एल्गोरिदम है जो मूल कंडीशनिंग के प्रभाव को बढ़ाने के लिए मूल कंडीशनिंग शब्द और नकारात्मक कंडीशनिंग या बिना कंडीशनिंग शब्द के बीच कई वेक्टर गणना करता है। एल्गोरिदम प्रॉम्प्ट के प्रभाव को मजबूत करता है, भले ही नकारात्मक कंडीशनिंग अवशिष्ट शोर की गणना करने के लिए, संदर्भ समय पर यूनेट के माध्यम से एम्बेडिंग को पारित करने के बाद नकारात्मक कंडीशनिंग एम्बेडिंग के साथ व्यक्तिगत इनपुट अव्यक्त चर को जोड़ना आवश्यक है। 

क्लासिफायर फ्री गाइडेंस एल्गोरिदम द्वारा उत्पन्न इस समस्या से निपटने के लिए, स्ट्रीमडिफ्यूजन फ्रेमवर्क नकारात्मक कंडीशनिंग एम्बेडिंग के लिए अतिरिक्त यूनेट हस्तक्षेप के लिए कम्प्यूटेशनल लागत को कम करने के उद्देश्य से अवशिष्ट क्लासिफायर फ्री गाइडेंस एल्गोरिदम पेश करता है। सबसे पहले, एन्कोडेड अव्यक्त इनपुट को शोर शेड्यूलर द्वारा निर्धारित मूल्यों का उपयोग करके शोर वितरण में स्थानांतरित किया जाता है। एक बार अव्यक्त स्थिरता मॉडल लागू हो जाने के बाद, एल्गोरिदम डेटा वितरण की भविष्यवाणी कर सकता है, और अगले चरण के शोर वितरण को उत्पन्न करने के लिए सीएफजी अवशिष्ट शोर का उपयोग कर सकता है। 

इनपुट आउटपुट कतार

हाई-स्पीड इमेज जेनरेशन फ्रेमवर्क के साथ प्रमुख मुद्दा यूनेट और वीएई घटकों सहित उनके तंत्रिका नेटवर्क मॉड्यूल हैं। दक्षता और समग्र आउटपुट गति को अधिकतम करने के लिए, छवि निर्माण ढांचे छवियों को संसाधित करने से पहले और बाद की प्रक्रियाओं को आगे बढ़ाते हैं, जिन्हें पाइपलाइन के बाहर तंत्रिका नेटवर्क मॉड्यूल द्वारा अतिरिक्त हैंडलिंग की आवश्यकता नहीं होती है, जिसके बाद उन्हें समानांतर में संसाधित किया जाता है। इसके अलावा, इनपुट छवि को संभालने के संदर्भ में, टेंसर प्रारूप के रूपांतरण, इनपुट छवियों का आकार बदलने और सामान्यीकरण सहित विशिष्ट संचालन पाइपलाइन द्वारा सावधानीपूर्वक निष्पादित किए जाते हैं। 

मॉडल थ्रूपुट और मानव इनपुट के बीच प्रसंस्करण आवृत्तियों में असमानता से निपटने के लिए, पाइपलाइन एक इनपुट-आउटपुट कतार प्रणाली को एकीकृत करती है जो कुशल समानांतरीकरण को सक्षम बनाती है जैसा कि निम्नलिखित छवि में दिखाया गया है। 

संसाधित इनपुट टेंसर को पहले डिफ्यूजन मॉडल के लिए व्यवस्थित रूप से कतारबद्ध किया जाता है, और प्रत्येक फ्रेम के दौरान, मॉडल इनपुट कतार से सबसे हालिया टेंसर को पुनः प्राप्त करता है, और टेंसर को वीएई एनकोडर को अग्रेषित करता है, इस प्रकार छवि निर्माण प्रक्रिया शुरू करता है। उसी समय, VAE डिकोडर से टेंसर आउटपुट को आउटपुट कतार में फीड किया जाता है। अंत में, संसाधित छवि डेटा रेंडरिंग क्लाइंट को प्रेषित किया जाता है। 

स्टोकेस्टिक समानता फ़िल्टर

ऐसे परिदृश्यों में जहां छवियां या तो अपरिवर्तित रहती हैं या स्थिर वातावरण के बिना या सक्रिय उपयोगकर्ता इंटरैक्शन के बिना न्यूनतम परिवर्तन दिखाती हैं, एक-दूसरे से मिलती-जुलती इनपुट छवियां बार-बार यूनेट और वीएई घटकों में फीड की जाती हैं। बार-बार फीडिंग से लगभग समान छवियां उत्पन्न होती हैं और जीपीयू संसाधनों की अतिरिक्त खपत होती है। इसके अलावा, निरंतर इनपुट वाले परिदृश्यों में, असंशोधित इनपुट छवियां कभी-कभी सामने आ सकती हैं। इस समस्या को दूर करने और संसाधनों के अनावश्यक उपयोग को रोकने के लिए, स्ट्रीमडिफ्यूजन पाइपलाइन अपनी पाइपलाइन में एक स्टोकेस्टिक समानता फ़िल्टर घटक को नियोजित करती है। स्टोकेस्टिक समानता फ़िल्टर पहले संदर्भ छवि और इनपुट छवि के बीच कोसाइन समानता की गणना करता है, और बाद की यूनेट और वीएई प्रक्रियाओं को छोड़ने की संभावना की गणना करने के लिए कोसाइन समानता स्कोर का उपयोग करता है। 

संभाव्यता स्कोर के आधार पर, पाइपलाइन यह तय करती है कि वीएई एन्कोडिंग, वीएई डिकोडिंग और यू-नेट जैसी बाद की प्रक्रियाओं को छोड़ दिया जाना चाहिए या नहीं। यदि इन प्रक्रियाओं को छोड़ा नहीं जाता है, तो पाइपलाइन उस समय इनपुट छवि को सहेजती है, और साथ ही भविष्य में उपयोग की जाने वाली संदर्भ छवि को अपडेट करती है। यह संभाव्यता-आधारित स्किपिंग तंत्र स्ट्रीमडिफ्यूजन पाइपलाइन को कम अंतर-फ़्रेम समानता के साथ गतिशील परिदृश्यों में पूरी तरह से संचालित करने की अनुमति देता है, जबकि स्थिर परिदृश्यों में, पाइपलाइन उच्च अंतर-फ़्रेम समानता के साथ संचालित होती है। यह दृष्टिकोण कम्प्यूटेशनल संसाधनों को संरक्षित करने में मदद करता है और इनपुट छवियों की समानता के आधार पर इष्टतम GPU उपयोग भी सुनिश्चित करता है। 

पूर्व गणना

यूनेट आर्किटेक्चर को कंडीशनिंग एम्बेडिंग के साथ-साथ इनपुट अव्यक्त चर दोनों की आवश्यकता होती है। परंपरागत रूप से, कंडीशनिंग एम्बेडिंग त्वरित एम्बेडिंग से प्राप्त होती है जो फ़्रेम में स्थिर रहती है। शीघ्र एम्बेडिंग से व्युत्पत्ति को अनुकूलित करने के लिए, स्ट्रीमडिफ़्यूज़न पाइपलाइन इन शीघ्र एम्बेडिंग की पूर्व-गणना करती है और उन्हें कैश में संग्रहीत करती है, जिसे फिर स्ट्रीमिंग या इंटरैक्टिव मोड में कहा जाता है। यूनेट ढांचे के भीतर, की-वैल्यू जोड़ी की गणना प्रत्येक फ्रेम के पूर्व-गणना किए गए प्रॉम्प्ट एम्बेडिंग के आधार पर की जाती है, और यू-नेट में थोड़े से संशोधन के साथ, इन की-वैल्यू जोड़ियों का पुन: उपयोग किया जा सकता है। 

मॉडल एक्सेलेरेशन और टिनी ऑटोएनकोडर

स्ट्रीमडिफ़्यूज़न पाइपलाइन, गहन शिक्षण इंटरफेस के लिए एनवीडिया के एक अनुकूलन टूलकिट, TensorRT को नियोजित करती है, ताकि अनुमान की गति को तेज करने के लिए VAE और UNet इंजन का निर्माण किया जा सके। इसे प्राप्त करने के लिए, TensorRT घटक तंत्रिका नेटवर्क पर कई अनुकूलन करता है जो दक्षता को बढ़ावा देने और गहन शिक्षण ढांचे और अनुप्रयोगों के लिए थ्रूपुट को बढ़ाने के लिए डिज़ाइन किए गए हैं। 

गति को अनुकूलित करने के लिए, स्ट्रीमडिफ्यूजन तेज प्रसंस्करण समय प्राप्त करने के प्रयास में एक विशिष्ट इनपुट आकार के लिए इष्टतम मेमोरी आवंटन और कम्प्यूटेशनल ग्राफ़ सुनिश्चित करने के लिए निश्चित इनपुट आयामों और स्थिर बैच आकारों का उपयोग करने के लिए ढांचे को कॉन्फ़िगर करता है। 

उपरोक्त चित्र अनुमान पाइपलाइन का एक सिंहावलोकन प्रदान करता है। कोर प्रसार पाइपलाइन में यूनेट और वीएई घटक होते हैं। पाइपलाइन में गति बढ़ाने के लिए एक डीनोइज़िंग बैच, सैंपल नॉइज़ कैश, प्री-कंप्यूटेड प्रॉम्प्ट एम्बेडिंग कैश और शेड्यूलर वैल्यू कैश और वास्तविक समय में छवियां उत्पन्न करने के लिए पाइपलाइन की क्षमता शामिल है। स्टोकेस्टिक समानता फ़िल्टर या एसएसएफ को जीपीयू उपयोग को अनुकूलित करने के लिए तैनात किया गया है, और प्रसार मॉडल के पास को गतिशील रूप से गेट करने के लिए भी तैनात किया गया है। 

स्ट्रीमडिफ़्यूज़न: प्रयोग और परिणाम

इसकी क्षमताओं का मूल्यांकन करने के लिए, स्ट्रीमडिफ्यूजन पाइपलाइन को एलसीएम और एसडी-टर्बो फ्रेमवर्क पर लागू किया गया है। NVIDIA द्वारा TensorRT का उपयोग मॉडल त्वरक के रूप में किया जाता है, और हल्की दक्षता VAE को सक्षम करने के लिए, पाइपलाइन TAESD घटक को नियोजित करती है। आइए अब देखें कि वर्तमान अत्याधुनिक ढांचे की तुलना में स्ट्रीमडिफ्यूजन पाइपलाइन कैसा प्रदर्शन करती है। 

मात्रात्मक मूल्यांकन

निम्नलिखित आंकड़ा मूल अनुक्रमिक यूनेट और पाइपलाइन में डीनोइजिंग बैच घटकों के बीच दक्षता तुलना को दर्शाता है, और जैसा कि देखा जा सकता है, डीनोइजिंग बैच दृष्टिकोण को लागू करने से पारंपरिक यूनेट की तुलना में प्रसंस्करण समय को लगभग 50% तक कम करने में मदद मिलती है। अनुक्रमिक निरूपण चरणों पर लूप। 

इसके अलावा, विभिन्न डीनोइज़िंग चरणों पर औसत अनुमान समय में भी अत्याधुनिक पाइपलाइनों की वर्तमान स्थिति की तुलना में विभिन्न स्पीडअप कारकों के साथ पर्याप्त वृद्धि देखी गई है, और परिणाम निम्नलिखित छवि में प्रदर्शित किए गए हैं। 

आगे बढ़ते हुए, पारंपरिक सीएफजी घटक सहित पाइपलाइनों की तुलना में आरसीएफजी घटक के साथ स्ट्रीमडिफ्यूजन पाइपलाइन कम अनुमान समय प्रदर्शित करती है। 

इसके अलावा, सीएफजी घटक का उपयोग करने की तुलना में आरसीएफजी घटक का उपयोग करने का प्रभाव निम्नलिखित छवियों में स्पष्ट है।

जैसा कि देखा जा सकता है, सीएफजी का उपयोग छवि निर्माण में टेक्स्ट प्रॉम्प्ट के प्रभाव को तीव्र करता है, और सीएफजी घटक का उपयोग किए बिना पाइपलाइन द्वारा उत्पन्न छवियों की तुलना में छवि इनपुट प्रॉम्प्ट से बहुत अधिक मिलती जुलती है। आरसीएफजी घटक के उपयोग से परिणाम और बेहतर हो जाते हैं क्योंकि मूल सीएफजी घटक की तुलना में उत्पन्न छवियों पर संकेतों का प्रभाव काफी महत्वपूर्ण होता है। 

निष्कर्ष

इस लेख में, हमने स्ट्रीमडिफ्यूजन के बारे में बात की है, जो इंटरैक्टिव और यथार्थवादी छवियों को उत्पन्न करने के लिए विकसित एक वास्तविक समय प्रसार पाइपलाइन है, और निरंतर इनपुट से जुड़े कार्यों पर प्रसार-आधारित ढांचे द्वारा उत्पन्न वर्तमान सीमाओं से निपटता है। स्ट्रीमडिफ़्यूज़न एक सरल और नवीन दृष्टिकोण है जिसका उद्देश्य मूल छवि के अनुक्रमिक शोर को बैच डीनोइज़िंग में बदलना है। स्ट्रीमडिफ्यूजन का लक्ष्य वर्तमान प्रसार-आधारित ढांचे द्वारा चुने गए पारंपरिक प्रतीक्षा और इंटरैक्ट दृष्टिकोण को समाप्त करके उच्च थ्रूपुट और तरल धाराओं को सक्षम करना है। संभावित दक्षता लाभ व्यावसायिक अनुप्रयोगों के लिए स्ट्रीमडिफ्यूजन पाइपलाइन की क्षमता को उजागर करता है जो जेनरेटर एआई के लिए उच्च प्रदर्शन कंप्यूटिंग और सम्मोहक समाधान पेश करता है।