एआई मॉडल और प्लेटफ़ॉर्म
स्टेबिलिटी एआई ने टेक्स्ट-टू-इमेज मॉडल डीपफ्लॉइड आईएफ जारी किया
Unite.AI को Google पर अपने पसंदीदा स्रोतों में जोड़ें
स्टेबिलिटी एआई और इसकी मल्टीमॉडल एआई रिसर्च लैब, डीपफ्लॉइड, ने टेक्स्ट-टू-इमेज कैस्केडेड पिक्सेल डिफ्यूजन मॉडल, डीपफ्लॉइड आईएफ के शोध रिलीज की घोषणा की है। मॉडल को शुरू में एक गैर-व्यावसायिक, अनुसंधान-अनुमति लाइसेंस के तहत जारी किया गया है, लेकिन भविष्य में एक ओपन-सोर्स रिलीज की योजना है।
डीपफ्लॉइड आईएफ में कई उल्लेखनीय विशेषताएं हैं, जिनमें शामिल हैं:
- गहरा टेक्स्ट प्रॉम्प्ट समझ: मॉडल टी5-एक्सएक्सएल-1.1 का उपयोग टेक्स्ट एनकोडर के रूप में करता है, जिसमें कई टेक्स्ट-इमेज क्रॉस-ध्यान層 होते हैं, जो प्रॉम्प्ट और छवियों के बीच बेहतर संरेखण सुनिश्चित करते हैं।
- सुसंगत और स्पष्ट टेक्स्ट के साथ उत्पन्न छवियां: डीपफ्लॉइड आईएफ विभिन्न गुणों और स्थानिक संबंधों वाले वस्तुओं वाली छवियां उत्पन्न कर सकता है।
- उच्च स्तर का फोटोरियलिज्म: मॉडल ने सीओसीओ डेटासेट पर एक प्रभावशाली शून्य-शॉट एफआईडी स्कोर 6.66 प्राप्त किया है।
- अस्पेक्ट अनुपात परिवर्तन: मॉडल गैर-मानक आस्पेक्ट अनुपात वाली छवियां उत्पन्न कर सकता है, जिनमें ऊर्ध्वाधर, क्षैतिज और मानक वर्ग आस्पेक्ट अनुपात शामिल हैं।
- शून्य-शॉट इमेज-टू-इमेज अनुवाद: मॉडल एक छवि की शैली, पैटर्न और विवरण को संशोधित कर सकता है जबकि इसका मूल रूप बनाए रखता है।
नीचे डीपफ्लॉइड आईएफ द्वारा बनाए गए कुछ उदाहरण अवधारणाएं हैं:
डीपफ्लॉइड आईएफ का मॉड्यूलर, कैस्केडेड, पिक्सेल डिफ्यूजन डिज़ाइन कई तंत्रिका मॉड्यूल से बना है जो सहानुभूतिपूर्ण रूप से परस्पर क्रिया करते हैं। मॉडल पिक्सेल स्थान में काम करता है, विभिन्न संकल्पों पर अलग-अलग प्रशिक्षित मॉडल का उपयोग करके उच्च-रिज़ॉल्यूशन डेटा को कैस्केडिंग तरीके से संसाधित करता है। इसमें एक बेस मॉडल शामिल है जो कम-रिज़ॉल्यूशन नमूने उत्पन्न करता है और लगातार सुपर-रिज़ॉल्यूशन मॉडल जो उच्च-रिज़ॉल्यूशन छवियां उत्पन्न करते हैं।
मॉडल को एक कस्टम उच्च-गुणवत्ता वाले लायोन-ए डेटासेट पर प्रशिक्षित किया गया था, जिसमें 1 बिलियन (छवि, टेक्स्ट) जोड़े शामिल थे, जो लायोन-5बी डेटासेट के अंग्रेजी भाग का एक उपसेट था। डीपफ्लॉइड के कस्टम फिल्टर का उपयोग जलचिह्नित, एनएसएफडब्ल्यू और अन्य अनुपयुक्त सामग्री को हटाने के लिए किया गया था।
डीपफ्लॉइड आईएफ की प्रक्रिया
शुरू में, डीपफ्लॉइड आईएफ को एक अनुसंधान लाइसेंस के तहत जारी किया गया है। शोधकर्ता विभिन्न डोमेन जैसे कि कला, डिज़ाइन, कथा सुनाने, वर्चुअल रियलिटी और पहुंच में नए अनुप्रयोगों के विकास को प्रोत्साहित करना चाहते हैं। संभावित अनुसंधान को प्रेरित करने के लिए, उन्होंने कई तकनीकी, अकादमिक और नैतिक अनुसंधान प्रश्नों का प्रस्ताव दिया है।
तकनीकी अनुसंधान प्रश्नों में शामिल हैं:
- आईएफ मॉडल को प्रदर्शन, स्केलेबिलिटी और दक्षता में सुधार करने के लिए अनुकूलित करना।
- नमूनाकरण, मार्गदर्शन या मॉडल को ठीक करने के द्वारा आउटपुट गुणवत्ता में सुधार करना।
- स्टेबल डिफ्यूजन आउटपुट को संशोधित करने के लिए उपयोग की जाने वाली तकनीकों को डीपफ्लॉइड आईएफ में लागू करना।
अकादमिक अनुसंधान प्रश्नों में शामिल हैं:
- स्थानांतरण सीखने के लिए पूर्व-प्रशिक्षण की भूमिका का अन्वेषण करना।
- छवि उत्पादन पर मॉडल के नियंत्रण में सुधार करना।
- मॉडल की क्षमताओं का विस्तार करना टेक्स्ट-टू-इमेज सिंथेसिस से परे कई मॉडलिटी को एकीकृत करके।
- उत्पन्न छवियों की विशेषताओं की व्याख्या करने के लिए मॉडल की व्याख्या करने योग्यता का मूल्यांकन करना।
नैतिक अनुसंधान प्रश्नों में शामिल हैं:
- डीपफ्लॉइड आईएफ में पूर्वाग्रहों की पहचान और उन्हें कम करना।
- मॉडल के सोशल मीडिया और सामग्री उत्पादन पर प्रभाव का मूल्यांकन करना।
- मॉडल का उपयोग करके एक प्रभावी नकली छवि डिटेक्टर विकसित करना।
मॉडल के वजन तक पहुंचने के लिए, उपयोगकर्ताओं को डीपफ्लॉइड के हगिंग फेस स्पेस पर लाइसेंस स्वीकार करना होगा। अधिक जानकारी के लिए, आप मॉडल की वेबसाइट, गिटहब रिपॉजिटरी, ग्रेडियो डेमो, या डीपफ्लॉइड के लिंकट्री के माध्यम से सार्वजनिक चर्चा में शामिल हो सकते हैं।
