AI टूल्स 101
पूर्ण शुरुआती के लिए हगिंग फेस एलएलएम टूल्स का गाइड

हगिंग फेस एक एआई रिसर्च लैब और हब है जिसने विद्वानों, शोधकर्ताओं और उत्साही लोगों का एक समुदाय बनाया है। एक छोटे से समय में, हगिंग फेस ने एआई स्पेस में एक महत्वपूर्ण उपस्थिति प्राप्त की है। टेक दिग्गज जिनमें गूगल, अमेज़ॅन और न्वीडिया शामिल हैं, ने एआई स्टार्टअप हगिंग फेस में महत्वपूर्ण निवेश किया है, जिससे इसका मूल्य $4.5 बिलियन हो गया है।
इस गाइड में, हम ट्रांसफॉर्मर, एलएलएम और हगिंग फेस लाइब्रेरी की भूमिका को पेश करेंगे जो एक ओपन-सोर्स एआई समुदाय को बढ़ावा देने में महत्वपूर्ण भूमिका निभाती है। हम हगिंग फेस की आवश्यक विशेषताओं, जिनमें पाइपलाइन, डेटासेट, मॉडल और अधिक शामिल हैं, के साथ-साथ हैंड्स-ऑन पाइथन उदाहरणों के साथ चलेंगे।
एनएलपी में ट्रांसफॉर्मर
2017 में, कॉर्नेल यूनिवर्सिटी ने एक प्रभावशाली पेपर प्रकाशित किया जिसने ट्रांसफॉर्मर की शुरुआत की। ये एनएलपी में उपयोग किए जाने वाले गहरे शिक्षण मॉडल हैं। इस खोज ने बड़े भाषा मॉडल जैसे चैटजीपीटी के विकास को बढ़ावा दिया।
बड़े भाषा मॉडल या एलएलएम एआई सिस्टम हैं जो मानव जैसे पाठ को समझने और बनाने के लिए ट्रांसफॉर्मर का उपयोग करते हैं। हालांकि, इन मॉडलों का निर्माण महंगा है, अक्सर लाखों डॉलर की आवश्यकता होती है, जो उनकी पहुंच को बड़ी कंपनियों तक सीमित करता है।
हगिंग फेस, जो 2016 में शुरू किया गया था, एनएलपी मॉडल को सभी के लिए सुलभ बनाने का लक्ष्य रखता है। एक व्यावसायिक कंपनी होने के बावजूद, यह खुले स्रोत संसाधनों की एक श्रृंखला प्रदान करता है जो लोगों और संगठनों को ट्रांसफॉर्मर मॉडल बनाने और उपयोग करने में मदद करता है। मशीन लर्निंग कंप्यूटर को पैटर्न को पहचानने के द्वारा कार्य करने के लिए सिखाने के बारे में है, जबकि गहरा शिक्षण, मशीन लर्निंग का एक उपसेट, एक नेटवर्क बनाता है जो स्वतंत्र रूप से सीखता है। ट्रांसफॉर्मर गहरे शिक्षण आर्किटेक्चर का एक प्रकार है जो इनपुट डेटा का प्रभावी और लचीला उपयोग करता है, जिससे यह बड़े भाषा मॉडल बनाने के लिए एक लोकप्रिय विकल्प बन जाता है क्योंकि इसमें कम प्रशिक्षण समय की आवश्यकता होती है।
हगिंग फेस कैसे एनएलपी और एलएलएम परियोजनाओं को सुविधाजनक बनाता है
हगिंग फेस ने एलएलएम के साथ काम करना आसान बना दिया है:
- चुनने के लिए प्री-ट्रेंड मॉडल की एक श्रृंखला प्रदान करता है।
- इन मॉडलों को अपनी विशिष्ट आवश्यकताओं के लिए फाइन-ट्यून करने के लिए टूल और उदाहरण प्रदान करता है।
- विभिन्न वातावरणों के लिए आसान डिप्लॉयमेंट विकल्प प्रदान करता है।
हगिंग फेस के माध्यम से उपलब्ध एक उत्कृष्ट संसाधन ओपन एलएलएम लीडरबोर्ड है। एक व्यापक मंच के रूप में कार्य करते हुए, यह बड़े भाषा मॉडल (एलएलएम) और चैटबॉट की एक श्रृंखला की दक्षता की निगरानी, रैंकिंग और माप करता है, ओपन-सोर्स डोमेन में प्रगति का एक विवेकपूर्ण विश्लेषण प्रदान करता है।
एलएलएम बेंचमार्क मॉडल को चार मेट्रिक्स के माध्यम से मापता है:
- एआई2 रीजनिंग चैलेंज (25-शॉट) – प्राथमिक विज्ञान पाठ्यक्रम के आसपास के प्रश्नों की एक श्रृंखला।
- हेलास्वैग (10-शॉट) – एक सामान्य ज्ञान अनुमान परीक्षण जो मानवों के लिए सरल है, लेकिन आगे की ओर बढ़ने वाले मॉडल के लिए एक महत्वपूर्ण चुनौती है।
- एमएमएलयू (5-शॉट) – एक बहुस्तरीय मूल्यांकन जो 57 विविध डोमेन में एक पाठ मॉडल की क्षमता को छूता है, जिसमें बुनियादी गणित, कानून और कंप्यूटर विज्ञान शामिल हैं।
- सच्चा क्यूए (0-शॉट) – एक उपकरण जो मॉडल की प्रवृत्ति का निर्धारण करने के लिए ऑनलाइन गलत सूचना को प्रतिबिंबित करने के लिए।
बेंचमार्क, जिन्हें “25-शॉट”, “10-शॉट”, “5-शॉट” और “0-शॉट” जैसे शब्दों का उपयोग करके वर्णित किया जाता है, मूल्यांकन प्रक्रिया के दौरान मॉडल को दिए गए प्रॉम्प्ट उदाहरणों की संख्या को इंगित करते हैं ताकि विभिन्न डोमेन में इसके प्रदर्शन और तर्क क्षमता का मूल्यांकन किया जा सके। “कुछ-शॉट” परिदृश्यों में, मॉडल को अपने उत्तरों को मार्गदर्शन करने में मदद के लिए एक छोटी संख्या में उदाहरण प्रदान किए जाते हैं, जबकि “0-शॉट” सेटिंग में, मॉडल को कोई उदाहरण नहीं मिलते हैं और उन्हें अपने पूर्व-मौजूदा ज्ञान पर भरोसा करना होता है ताकि वे उचित तरीके से प्रतिक्रिया दे सकें।
हगिंग फेस के घटक
पाइपलाइन
‘पाइपलाइन’ हगिंग फेस के ट्रांसफॉर्मर लाइब्रेरी का एक हिस्सा है – एक सुविधा जो हगिंग फेस रिपॉजिटरी में उपलब्ध प्री-ट्रेंड मॉडल का आसान उपयोग में मदद करती है। यह विभिन्न कार्यों के लिए एक直सूचक एपीआई प्रदान करता है, जिसमें भावना विश्लेषण, प्रश्न उत्तर, मास्क्ड भाषा मॉडलिंग, नामित इकाई पहचान और सारांश शामिल हैं।
पाइपलाइन हगिंग फेस के तीन केंद्रीय घटकों को एकीकृत करती है:
- टोकनाइज़र: मॉडल को समझने योग्य प्रारूप में अपने पाठ को परिवर्तित करके इसे तैयार करता है।
- मॉडल: पाइपलाइन का दिल जहां वास्तविक भविष्यवाणियां पूर्व-प्रसंस्कृत इनपुट के आधार पर की जाती हैं।
- पोस्ट-प्रोसेसर: मॉडल की कच्ची भविष्यवाणियों को मानव-पठनीय रूप में परिवर्तित करता है।
इन पाइपलाइन न केवल व्यापक कोडिंग को कम करती हैं, बल्कि विभिन्न एनएलपी कार्यों को पूरा करने के लिए एक उपयोगकर्ता-मित्र इंटरफ़ेस भी प्रदान करती हैं।
हगिंग फेस लाइब्रेरी का उपयोग करके ट्रांसफॉर्मर अनुप्रयोग
हगिंग फेस लाइब्रेरी की एक प्रमुख विशेषता ट्रांसफॉर्मर लाइब्रेरी है, जो एनएलपी कार्यों को सरल बनाती है और मॉडल को आवश्यक पूर्व और पोस्ट-प्रोसेसिंग चरणों से जोड़ती है, जिससे विश्लेषण प्रक्रिया को सुव्यवस्थित किया जा सकता है। लाइब्रेरी को स्थापित और आयात करने के लिए, निम्नलिखित कमांड का उपयोग करें:
pip install -q transformers from transformers import pipeline
इसे करने के बाद, आप एनएलपी कार्यों को निष्पादित करना शुरू कर सकते हैं, जिसमें भावना विश्लेषण शामिल है, जो पाठ को सकारात्मक या नकारात्मक भावनाओं में वर्गीकृत करता है। लाइब्रेरी का शक्तिशाली पाइपलाइन() फंक्शन अन्य पाइपलाइन और ऑडियो, दृष्टि, और मल्टीमॉडल डोमेन में कार्य-विशिष्ट अनुप्रयोगों को सुविधाजनक बनाता है।
व्यावहारिक अनुप्रयोग
पाठ वर्गीकरण
पाठ वर्गीकरण हगिंग फेस के पाइपलाइन() फंक्शन के साथ एक तीव्र हो जाता है। यह देखने के लिए कि आप एक पाठ वर्गीकरण पाइपलाइन कैसे आरंभ कर सकते हैं:
classifier = pipeline("text-classification")
एक हाथों-हाथ अनुभव के लिए, एक स्ट्रिंग या स्ट्रिंग की सूची को अपनी पाइपलाइन में फीड करें ताकि भविष्यवाणियां प्राप्त हो सकें, जिन्हें पाइथन के पांडास लाइब्रेरी का उपयोग करके सुंदर रूप से देखा जा सकता है। नीचे एक पाइथन स्निपेट है जो इसका प्रदर्शन करता है:
sentences = ["मैं एआई की अद्भुत दुनिया में आपका स्वागत करता हूं।",
"उम्मीद है, यह आपको निराश नहीं करेगा।"]
# प्रत्येक वाक्य के लिए वर्गीकरण परिणाम प्राप्त करें
results = classifier(sentences)
# प्रत्येक परिणाम के माध्यम से लूप करें और लेबल और स्कोर प्रिंट करें
for i, result in enumerate(results):
print(f"परिणाम {i + 1}:")
print(f" लेबल: {result['label']}")
print(f" स्कोर: {round(result['score'], 3)}\n")
आउटपुट
परिणाम 1: लेबल: POSITIVE स्कोर: 1.0 परिणाम 2: लेबल: POSITIVE स्कोर: 0.996
नामित इकाई पहचान (एनईआर)
एनईआर पाठ से वास्तविक दुनिया की वस्तुओं को निकालने में महत्वपूर्ण भूमिका निभाता है जिन्हें ‘नामित इकाई’ कहा जाता है। एनईआर पाइपलाइन का उपयोग करके इन इकाइयों की पहचान करने के लिए:
ner_tagger = pipeline("ner", aggregation_strategy="simple")
text = "इलोन मस्क स्पेसएक्स के सीईओ हैं।"
outputs = ner_tagger(text)
print(outputs)
आउटपुट
इलोन मस्क: PER, स्पेसएक्स: ORG
प्रश्न उत्तर
प्रश्न उत्तर में एक विशिष्ट प्रश्न का उत्तर देने के लिए एक दिए गए संदर्भ से सटीक उत्तर निकालना शामिल है। एक प्रश्न-उत्तर पाइपलाइन को आरंभ करने और अपना प्रश्न और संदर्भ इनपुट करने के लिए:
reader = pipeline("question-answering")
text = "हगिंग फेस एक कंपनी है जो एनएलपी के लिए टूल बनाती है। यह न्यूयॉर्क में स्थित है और 2016 में स्थापित किया गया था।"
question = "हगिंग फेस कहां स्थित है?"
outputs = reader(question=question, context=text)
print(outputs)
आउटपुट
{ 'score': 0.998, 'start': 51, 'end': 60, 'answer': 'न्यूयॉर्क'} हगिंग फेस का पाइपलाइन फंक्शन विभिन्न कार्यों के लिए प्री-बिल्ट पाइपलाइन प्रदान करता है, जिनमें पाठ वर्गीकरण, एनईआर और प्रश्न उत्तर शामिल हैं। नीचे कुछ उपलब्ध कार्यों का विवरण दिया गया है:
तालिका: हगिंग फेस पाइपलाइन कार्य
| कार्य | विवरण | पाइपलाइन पहचानकर्ता |
| पाठ जेनरेशन | एक दिए गए प्रॉम्प्ट के आधार पर पाठ उत्पन्न करें। | pipeline(task=”text-generation”) |
| सारांश | एक लंबे पाठ या दस्तावेज़ को सारांशित करें। | pipeline(task=”summarization”) |
| इमेज क्लासिफिकेशन | एक इनपुट इमेज को लेबल करें। | pipeline(task=”image-classification”) |
| ऑडियो क्लासिफिकेशन | ऑडियो डेटा को वर्गीकृत करें। | pipeline(task=”audio-classification”) |
| विजुअल प्रश्न उत्तर | एक प्रश्न और एक छवि का उपयोग करके एक प्रश्न का उत्तर दें। | pipeline(task=”vqa”) |
विस्तृत विवरण और अधिक कार्यों के लिए, हगिंग फेस की पाइपलाइन दस्तावेज़ीकरण देखें।
हगिंग फेस रस्ट पर क्यों ध्यान केंद्रित कर रहा है
हगिंग फेस (एचएफ) इकोसिस्टम ने अपने लाइब्रेरी जैसे सेफसेंसर और टोकनाइज़र में रस्ट का उपयोग करना शुरू कर दिया है।
हगिंग फेस ने हाल ही में एक नया मशीन लर्निंग फ्रेमवर्क जारी किया है जिसे कैंडल कहा जाता है। पारंपरिक फ्रेमवर्क के विपरीत जो पाइथन का उपयोग करते हैं, कैंडल रस्ट में बनाया गया है। रस्ट का उपयोग करने के पीछे का उद्देश्य प्रदर्शन में सुधार करना और उपयोगकर्ता अनुभव को सरल बनाना है, साथ ही जीपीयू ऑपरेशनों का समर्थन करना है।
कैंडल का मुख्य उद्देश्य सर्वरलेस इन्फरेंस को सुविधाजनक बनाना है, जिससे हल्के बाइनरी को तैनात करना संभव हो जाता है और प्रोडक्शन वर्कलोड से पाइथन को हटा दिया जाता है, जो कभी-कभी अपने ओवरहेड्स के कारण प्रक्रियाओं को धीमा कर सकता है। यह फ्रेमवर्क पूर्ण मशीन लर्निंग फ्रेमवर्क जैसे पाइरटॉर्च के साथ आने वाली समस्याओं का समाधान प्रदान करता है जो बड़े और धीमे हो सकते हैं जब क्लस्टर पर इंस्टेंस बनाते समय।
आइए देखें कि रस्ट क्यों पाइथन की तुलना में अधिक पसंद किया जा रहा है:
- गति और प्रदर्शन – रस्ट अपनी अद्भुत गति के लिए जाना जाता है, पाइथन को पार करते हुए, जो मशीन लर्निंग फ्रेमवर्क में पारंपरिक रूप से उपयोग किया जाता है। पाइथन का प्रदर्शन कभी-कभी अपने ग्लोबल इंटरप्रेटर लॉक (जीआईएल) के कारण धीमा हो सकता है, लेकिन रस्ट को यह समस्या नहीं है, जो तेजी से कार्य निष्पादन और परिणामस्वरूप बेहतर प्रदर्शन का वादा करता है।
- सुरक्षा – रस्ट गार्बेज कलेक्टर के बिना मेमोरी सुरक्षा गारंटी प्रदान करता है, जो समानांतर प्रणालियों में एक महत्वपूर्ण पहलू है जहां सुरक्षा आवश्यक है। यह सेफटेंसर जैसे क्षेत्रों में एक महत्वपूर्ण भूमिका निभाता है जहां डेटा संरचनाओं को सुरक्षित रूप से संभालना प्राथमिकता है।
सेफटेंसर
सेफटेंसर रस्ट की गति और सुरक्षा विशेषताओं का लाभ उठाते हैं। सेफटेंसर टेंसर के हेरफेर से संबंधित है, एक जटिल गणितीय इकाई, और रस्ट के साथ, यह सुनिश्चित किया जाता है कि ऑपरेशन न केवल तेज हैं, बल्कि सुरक्षित भी हैं, स्मृति के दुरुपयोग से उत्पन्न होने वाली सामान्य बग और सुरक्षा समस्याओं से बचते हैं।
टोकनाइज़र
टोकनाइज़र वाक्य या वाक्यांशों को छोटी इकाइयों में तोड़ने के लिए जिम्मेदार होते हैं, जैसे कि शब्द या शब्द। रस्ट इस प्रक्रिया में निष्पादन समय को तेज करता है, यह सुनिश्चित करता है कि टोकनाइजेशन प्रक्रिया न केवल सटीक है, बल्कि तेज भी है, जिससे प्राकृतिक भाषा प्रसंस्करण कार्यों की दक्षता में वृद्धि होती है।
हगिंग फेस के टोकनाइज़र के मूल में उपशब्द टोकनाइजेशन की अवधारणा है, जो शब्द और अक्षर स्तर के टोकनाइजेशन के बीच एक संतुलित संतुलन बनाने का प्रयास करता है ताकि जानकारी को बनाए रखा जा सके और शब्दावली का आकार अनुकूलित किया जा सके।
उपशब्द टोकनाइजेशन में एक प्रशिक्षण चरण शामिल होता है जिसमें चरित्र और शब्द स्तर के टोकनाइजेशन के बीच सबसे प्रभावी संतुलन की पहचान करने के लिए व्यापक पाठ निगमों में भाषा पैटर्न का एक व्यापक विश्लेषण किया जाता है। उत्पन्न टोकनाइज़र नए शब्दों को संभालने में कुशल होता है bằng उन्हें ज्ञात उपशब्दों में विभाजित करके, सेमेंटिक समझ का एक उच्च स्तर बनाए रखता है।
टोकनाइजेशन घटक
टोकनाइज़र लाइब्रेरी टोकनाइजेशन प्रक्रिया को कई चरणों में विभाजित करती है, प्रत्येक चरण टोकनाइजेशन के एक अलग पहलू को संबोधित करता है। आइए इन घटकों पर गहराई से देखें:
- सामान्यीकरण: इनपुट स्ट्रिंग पर प्रारंभिक परिवर्तन लागू करता है, जैसे कि लोअरकेस रूपांतरण, यूनिकोड सामान्यीकरण, और स्ट्रिपिंग।
- पूर्व-टोकनाइज़र: इनपुट स्ट्रिंग को प्री-सेगमेंट में विभाजित करने के लिए जिम्मेदार है, जो पूर्व-निर्धारित नियमों के आधार पर विभाजन का निर्धारण करता है, जैसे कि स्पेस डिलिमिटेशन।
- मॉडल: उपशब्दों की खोज और निर्माण का पर्यवेक्षण करता है, अपने इनपुट डेटा की विशिष्टताओं के अनुसार अनुकूलन और प्रशिक्षण की पेशकश करता है।
- पोस्ट-प्रोसेसर: निर्माण सुविधाओं को बढ़ाता है ताकि कई ट्रांसफॉर्मर-आधारित मॉडलों के साथ संगतता सुनिश्चित की जा सके, जैसे कि बीईआरटी के लिए [CLS] और [SEP] जैसे टोकन जोड़कर।
टोकनाइज़र लाइब्रेरी को शुरू करने के लिए, लाइब्रेरी को स्थापित करने के लिए निम्नलिखित कमांड का उपयोग करें:
pip install tokenizers
लाइब्रेरी को आयात करके और इसे अपने पाइथन वातावरण में लोड करके, आप बड़ी मात्रा में पाठ को बहुत कम समय में टोकनाइज़ कर सकते हैं, जिससे अधिक तीव्र कार्यों जैसे मॉडल प्रशिक्षण के लिए मूल्यवान गणना संसाधनों की बचत होती है।
टोकनाइज़र लाइब्रेरी रस्ट का लाभ उठाती है, जो सी++ की सिंटैक्स समानता को बनाए रखते हुए प्रोग्रामिंग भाषा डिज़ाइन में नए अवधारणाओं की शुरुआत करती है। पाइथन बाइंडिंग के साथ जोड़कर, यह सुनिश्चित करता है कि आप एक निम्न-स्तर की भाषा के प्रदर्शन का आनंद लेते हुए एक पाइथन वातावरण में काम कर रहे हैं।
डेटासेट
डेटासेट एआई परियोजनाओं का आधार हैं। हगिंग फेस विभिन्न एनएलपी कार्यों के लिए उपयुक्त एक विस्तृत डेटासेट प्रदान करता है, और अधिक। उन्हें कुशलता से उपयोग करने के लिए, उन्हें लोड करने और विश्लेषण करने की प्रक्रिया को समझना आवश्यक है। नीचे एक अच्छी तरह से टिप्पणी की गई पाइथन स्क्रिप्ट है जो हगिंग फेस पर उपलब्ध डेटासेट का अन्वेषण करने का प्रदर्शन करती है:
from datasets import load_dataset
# एक डेटासेट लोड करें
dataset = load_dataset('squad')
# पहली प्रविष्टि प्रदर्शित करें
print(dataset[0])
इस स्क्रिप्ट में लोड_डेटासेट फंक्शन का उपयोग स्क्वाड डेटासेट को लोड करने के लिए किया जाता है, जो प्रश्न-उत्तर कार्यों के लिए एक लोकप्रिय विकल्प है।
पूर्व-प्रशिक्षित मॉडल का लाभ उठाना और इसे एक साथ लाना
पूर्व-प्रशिक्षित मॉडल कई गहरे शिक्षण परियोजनाओं की रीढ़ हैं, जिससे शोधकर्ताओं और विकासकर्ताओं को शून्य से शुरू किए बिना अपनी पहल को आगे बढ़ाने में सक्षम बनाता है। हगिंग फेस एक विविध श्रृंखला के पूर्व-प्रशिक्षित मॉडल की खोज की सुविधा प्रदान करता है, जैसा कि नीचे दिए गए कोड में देखा गया है:
from transformers import AutoModelForQuestionAnswering, AutoTokenizer
# पूर्व-प्रशिक्षित मॉडल और टोकनाइज़र लोड करें
model = AutoModelForQuestionAnswering.from_pretrained('bert-large-uncased-whole-word-masking-finetuned-squad')
tokenizer = AutoTokenizer.from_pretrained('bert-large-uncased-whole-word-masking-finetuned-squad')
# मॉडल की वास्तुकला प्रदर्शित करें
print(model)
मॉडल और टोकनाइज़र लोड होने के बाद, हम अब एक फंक्शन बना सकते हैं जो एक टेक्स्ट और एक प्रश्न को इनपुट के रूप में लेता है और टेक्स्ट से निकाले गए उत्तर को वापस करता है। हम टोकनाइज़र का उपयोग इनपुट टेक्स्ट और प्रश्न को मॉडल के साथ संगत प्रारूप में प्रसंस्कृत करने के लिए करेंगे, और फिर इस प्रसंस्कृत इनपुट को मॉडल में डालकर उत्तर प्राप्त करेंगे:
def get_answer(text, question): # इनपुट टेक्स्ट और प्रश्न को टोकनाइज़ करें inputs = tokenizer(question, text, return_tensors='pt', max_length=512, truncation=True) outputs = model(**inputs) # उत्तर के लिए शुरू और अंत स्कोर प्राप्त करें answer_start = torch.argmax(outputs.start_logits) answer_end = torch.argmax(outputs.end_logits) + 1 answer = tokenizer.convert_tokens_to_string(tokenizer.convert_ids_to_tokens(inputs['input_ids'][0][answer_start:answer_end])) return answer
एक उदाहरण उपयोग के मामले में जहां हमारे पास एक अनुच्छेद है और हम एक विशिष्ट प्रश्न का उत्तर निकालना चाहते हैं:
text = """
द ईफेल टावर, जो पेरिस, फ्रांस में स्थित है, दुनिया के सबसे प्रतिष्ठित लैंडमार्क में से एक है। इसका डिज़ाइन गुस्ताव ईफेल ने तैयार किया था और 1889 में इसका निर्माण पूरा हुआ। टावर 324 मीटर की ऊंचाई पर खड़ा है और इसके निर्माण के समय यह दुनिया की सबसे ऊंची मानव निर्मित संरचना थी।
"""
question = "ईफेल टावर का डिज़ाइन किसने तैयार किया?"
# प्रश्न का उत्तर प्राप्त करें
answer = get_answer(text, question)
print(f"प्रश्न का उत्तर है: {answer}")
# आउटपुट: प्रश्न का उत्तर है: गुस्ताव ईफेल
इस स्क्रिप्ट में, हम एक get_answer फंक्शन बनाते हैं जो एक टेक्स्ट और एक प्रश्न लेता है, उन्हें उपयुक्त रूप से टोकनाइज़ करता है, और फिर हगिंग फेस के ट्रांसफॉर्मर लाइब्रेरी का उपयोग करके टेक्स्ट से उत्तर निकालता है। यह हगिंग फेस के ट्रांसफॉर्मर लाइब्रेरी का एक व्यावहारिक अनुप्रयोग है जो एक सरल लेकिन शक्तिशाली प्रश्न-उत्तर प्रणाली बनाने के लिए है।
निष्कर्ष
हगिंग फेस के माध्यम से अपने व्यापक ओपन-सोर्स टूल, पूर्व-प्रशिक्षित मॉडल, और उपयोगकर्ता-मित्र पाइपलाइन के साथ, यह दोनों अनुभवी पेशेवरों और नए लोगों को एआई की विस्तृत दुनिया में प्रवेश करने में आसानी और समझ की भावना प्रदान करता है। इसके अलावा, रस्ट में एकीकरण की पहल, जो इसकी गति और सुरक्षा विशेषताओं के कारण है, हगिंग फेस की नवाचार को बढ़ावा देने और एआई अनुप्रयोगों में कुशलता और सुरक्षा सुनिश्चित करने की प्रतिबद्धता को दर्शाता है। हगिंग फेस का परिवर्तनकारी कार्य न केवल उच्च-स्तरीय एआई टूल तक पहुंच को लोकतांत्रिक बनाता है, बल्कि एआई स्पेस में सीखने और विकास के लिए एक सहयोगी वातावरण को भी प्रोत्साहित करता है, जिससे एक भविष्य सुनिश्चित होता है जहां एआई सभी के लिए सुलभ है।

















