हगिंग फेस एलएलएम टूल्स के लिए पूर्ण शुरुआती गाइड

हगिंग फेस एक एआई रिसर्च लैब और हब है जिसने विद्वानों, शोधकर्ताओं और उत्साही लोगों का एक समुदाय बनाया है। एक छोटे से समय में हगिंग फेस ने एआई स्पेस में एक महत्वपूर्ण उपस्थिति प्राप्त की है। टेक दिग्गज जिनमें गूगल, अमेज़न और न्वीडिया शामिल हैं, ने एआई स्टार्टअप हगिंग फेस में महत्वपूर्ण निवेश किया है, जिससे इसका मूल्य $4.5 बिलियन हो गया है।

इस गाइड में, हम ट्रांसफॉर्मर, एलएलएम और हगिंग फेस लाइब्रेरी की भूमिका को समझाएंगे जो एक ओपन-सोर्स एआई समुदाय को बढ़ावा देने में महत्वपूर्ण है। हम हगिंग फेस की आवश्यक विशेषताओं, जिनमें पाइपलाइन, डेटासेट, मॉडल और अधिक शामिल हैं, के साथ-साथ हाथों-हाथ पाइथन उदाहरणों के साथ चलेंगे।

एनएलपी में ट्रांसफॉर्मर

2017 में, कॉर्नेल विश्वविद्यालय ने एक प्रभावशाली पेपर प्रकाशित किया जिसने ट्रांसफॉर्मर की शुरुआत की। ये एनएलपी में उपयोग किए जाने वाले गहरे शिक्षण मॉडल हैं। इस खोज ने बड़े भाषा मॉडल जैसे चैटजीपीटी के विकास को बढ़ावा दिया।

बड़े भाषा मॉडल या एलएलएम एआई सिस्टम हैं जो ट्रांसफॉर्मर का उपयोग करके मानव-जैसा पाठ समझने और बनाने के लिए उपयोग किए जाते हैं। हालांकि, इन मॉडलों का निर्माण महंगा हो सकता है, जिसमें अक्सर लाखों डॉलर की आवश्यकता होती है, जो उनकी पहुंच को बड़ी कंपनियों तक सीमित करता है।

हगिंग फेस, जो 2016 में शुरू किया गया था, एनएलपी मॉडलों को सभी के लिए सुलभ बनाने का लक्ष्य रखता है। एक व्यावसायिक कंपनी होने के बावजूद, यह खुले स्रोत संसाधनों की एक श्रृंखला प्रदान करता है जो लोगों और संगठनों को सस्ते में ट्रांसफॉर्मर मॉडल बनाने और उपयोग करने में मदद करता है। मशीन लर्निंग कंप्यूटरों को पैटर्न को पहचानने के द्वारा कार्यों को सिखाने के बारे में है, जबकि डीप लर्निंग, जो मशीन लर्निंग का एक उपसमूह है, एक नेटवर्क बनाता है जो स्वतंत्र रूप से सीखता है। ट्रांसफॉर्मर डीप लर्निंग आर्किटेक्चर का एक प्रकार है जो इनपुट डेटा का प्रभावी और लचीला उपयोग करता है, जो इसे बड़े भाषा मॉडल बनाने के लिए एक लोकप्रिय विकल्प बनाता है क्योंकि यह कम प्रशिक्षण समय की आवश्यकता के कारण है।

हगिंग फेस कैसे एनएलपी और एलएलएम परियोजनाओं को सुविधाजनक बनाता है

हगिंग फेस ने एलएलएम के साथ काम करना सरल बना दिया है:

1. चुनने के लिए प्री-ट्रेन्ड मॉडल की एक श्रृंखला प्रदान करता है।
2. इन मॉडलों को अपनी विशिष्ट आवश्यकताओं के लिए फाइन-ट्यून करने के लिए टूल और उदाहरण प्रदान करता है।
3. विभिन्न वातावरणों में तैनाती के लिए आसान विकल्प प्रदान करता है।

हगिंग फेस के माध्यम से उपलब्ध एक उत्कृष्ट संसाधन ओपन एलएलएम लीडरबोर्ड है। यह एक व्यापक मंच के रूप में कार्य करता है जो बड़े भाषा मॉडल (एलएलएम) और चैटबॉट की एक श्रृंखला की कुशलता की निगरानी, रैंकिंग और मूल्यांकन करता है, खुले स्रोत डोमेन में प्रगति का एक सूक्ष्म विश्लेषण प्रदान करता है।

एलएलएम बेंचमार्क मॉडलों को चार मेट्रिक्स के माध्यम से मापता है:

• एआई2 रीजनिंग चैलेंज (25-शॉट) – प्राथमिक विज्ञान पाठ्यक्रम के आसपास के प्रश्नों की एक श्रृंखला।
• हेलास्वैग (10-शॉट) – एक सामान्य ज्ञान अनुमान परीक्षण जो मानवों के लिए सरल है, लेकिन आगे की पीढ़ी के मॉडल के लिए एक महत्वपूर्ण चुनौती है।
• एमएमएलयू (5-शॉट) – 57 विविध डोमेन में एक टेक्स्ट मॉडल की क्षमता का मूल्यांकन करने वाला एक बहुस्तरीय मूल्यांकन, जिसमें बुनियादी गणित, कानून और कंप्यूटर विज्ञान शामिल हैं।
• सत्यापितक्यूए (0-शॉट) – एक उपकरण जो मॉडल की प्रवृत्ति का निर्धारण करने के लिए ऑनलाइन गलत सूचना को प्रतिबिंबित करता है।

बेंचमार्क, जिन्हें “25-शॉट”, “10-शॉट”, “5-शॉट” और “0-शॉट” जैसे शब्दों का उपयोग करके वर्णित किया जाता है, मूल्यांकन प्रक्रिया के दौरान मॉडल को दिए गए प्रोम्प्ट उदाहरणों की संख्या को इंगित करते हैं ताकि विभिन्न डोमेन में इसके प्रदर्शन और तर्क क्षमता का आकलन किया जा सके। “कुछ-शॉट” परिदृश्यों में, मॉडल को अपनी प्रतिक्रियाओं को मार्गदर्शन करने में मदद करने के लिए कुछ उदाहरण दिए जाते हैं, जबकि “0-शॉट” सेटिंग में, मॉडल को कोई उदाहरण नहीं दिया जाता है और यह अपने पूर्व-मौजूदा ज्ञान पर भरोसा करके प्रतिक्रिया देने की आवश्यकता होती है।

हगिंग फेस के घटक

पाइपलाइन

‘पाइपलाइन’ हगिंग फेस के ट्रांसफॉर्मर लाइब्रेरी का एक हिस्सा है – एक विशेषता जो हगिंग फेस रिपॉजिटरी में उपलब्ध प्री-ट्रेन्ड मॉडल का आसान उपयोग में मदद करती है। यह विभिन्न कार्यों के लिए एक सहज ज्ञान युक्त एपीआई प्रदान करता है, जिनमें भावना विश्लेषण, प्रश्न उत्तर, मास्क्ड भाषा मॉडलिंग, नामित इकाई पहचान और सारांश शामिल हैं।

पाइपलाइन तीन केंद्रीय हगिंग फेस घटकों को एकीकृत करती है:

1. टोकनाइज़र: मॉडल द्वारा समझने योग्य प्रारूप में आपके पाठ को तैयार करता है।
2. मॉडल: पाइपलाइन का दिल जहां प्री-प्रोसेस्ड इनपुट के आधार पर वास्तविक पूर्वानुमान किए जाते हैं।
3. पोस्ट-प्रोसेसर: मॉडल की रॉ पूर्वानुमानों को मानव-वाचनीय रूप में परिवर्तित करता है।

इन पाइपलाइन न केवल व्यापक कोडिंग को कम करती हैं, बल्कि विभिन्न एनएलपी कार्यों को पूरा करने के लिए एक उपयोगकर्ता-मित्र इंटरफ़ेस भी प्रदान करती हैं।

हगिंग फेस लाइब्रेरी का उपयोग करके ट्रांसफॉर्मर अनुप्रयोग

हगिंग फेस लाइब्रेरी की एक विशेषता ट्रांसफॉर्मर लाइब्रेरी है, जो एनएलपी कार्यों को सरल बनाने के लिए एक मॉडल को आवश्यक पूर्व और बाद के प्रसंस्करण चरणों से जोड़ती है, विश्लेषण प्रक्रिया को सुव्यवस्थित करती है। लाइब्रेरी स्थापित करने और आयात करने के लिए निम्नलिखित कमांड का उपयोग करें:

pip install -q transformers
from transformers import pipeline

इसे करने के बाद, आप एनएलपी कार्यों को शुरू कर सकते हैं, जिसमें भावना विश्लेषण शामिल है, जो पाठ को सकारात्मक या नकारात्मक भावनाओं में वर्गीकृत करता है। लाइब्रेरी की शक्तिशाली पाइपलाइन() फ़ंक्शन अन्य पाइपलाइनों का केंद्र है और ऑडियो, दृष्टि और मल्टीमॉडल डोमेन में कार्य-विशिष्ट अनुप्रयोगों की सुविधा प्रदान करता है।

व्यावहारिक अनुप्रयोग

पाठ वर्गीकरण

हगिंग फेस के पाइपलाइन() फ़ंक्शन के साथ पाठ वर्गीकरण एक हवा है। एक पाठ वर्गीकरण पाइपलाइन शुरू करने के लिए यहां है:

classifier = pipeline("text-classification")

हाथों-हाथ अनुभव के लिए, अपनी पाइपलाइन में एक स्ट्रिंग या स्ट्रिंग की सूची फीड करें ताकि भविष्यवाणियां प्राप्त की जा सकें, जिन्हें पाइथन के पांडास लाइब्रेरी का उपयोग करके सुंदर रूप से देखा जा सकता है। नीचे एक पाइथन स्निपेट है जो इसका प्रदर्शन करता है:

sentences = ["मैं एआई की अद्भुत दुनिया में आपका स्वागत करता हूं।",
"उम्मीद है, यह आपको निराश नहीं करेगा।"]

<p># प्रत्येक वाक्य के लिए वर्गीकरण परिणाम प्राप्त करें
results = classifier(sentences)</p>

<p># प्रत्येक परिणाम के माध्यम से लूप करें और लेबल और स्कोर प्रिंट करें
for i, result in enumerate(results):
print(f"परिणाम {i + 1}:")
print(f" लेबल: {result['label']}")
print(f" स्कोर: {round(result['score'], 3)}\n")

आउटपुट

परिणाम 1:
लेबल: सकारात्मक
स्कोर: 1.0

<p>परिणाम 2:
लेबल: सकारात्मक
स्कोर: 0.996

नामित इकाई पहचान (एनईआर)

एनईआर पाठ से वास्तविक दुनिया की वस्तुओं को नामित इकाइयों के रूप में निकालने में महत्वपूर्ण है। एनईआर पाइपलाइन का उपयोग करके इन इकाइयों की पहचान करने के लिए:

ner_tagger = pipeline("ner", aggregation_strategy="simple")
text = "इलोन मस्क स्पेसएक्स के सीईओ हैं।"
outputs = ner_tagger(text)
print(outputs)

आउटपुट

 इलोन मस्क: व्यक्ति, स्पेसएक्स: संगठन 

प्रश्न उत्तर

प्रश्न उत्तर में एक दिए गए संदर्भ से विशिष्ट प्रश्नों के सटीक उत्तर निकालना शामिल है। एक प्रश्न-उत्तर पाइपलाइन को आरंभ करें और अपना प्रश्न और संदर्भ इनपुट करें ताकि वांछित उत्तर प्राप्त किया जा सके:

reader = pipeline("question-answering")
text = "हगिंग फेस एक कंपनी है जो एनएलपी के लिए टूल बनाती है। यह न्यूयॉर्क में स्थित है और 2016 में स्थापित किया गया था।"
question = "हगिंग फेस कहां स्थित है?"
outputs = reader(question=question, context=text)
print(outputs)

आउटपुट

 { 'score': 0.998, 'start': 51, 'end': 60, 'answer': 'न्यूयॉर्क'} 

हगिंग फेस के पाइपलाइन() फ़ंक्शन में पाठ वर्गीकरण, एनईआर और प्रश्न उत्तर के अलावा विभिन्न कार्यों के लिए पूर्व-निर्मित पाइपलाइन हैं। नीचे कुछ उपलब्ध कार्यों का विवरण दिया गया है:

तालिका: हगिंग फेस पाइपलाइन कार्य

विस्तृत विवरण और अधिक कार्यों के लिए, हगिंग फेस की वेबसाइट पर पाइपलाइन दस्तावेज़ीकरण देखें।

हगिंग फेस रัส्ट पर क्यों ध्यान केंद्रित कर रहा है

हगिंग फेस सेफटेंसर और टोकनाइज़र गिटहब पेज

हगिंग फेस (एचएफ) इकोसिस्टम ने अपने पुस्तकालयों जैसे सेफसेंसर और टोकनाइज़र में रूस का उपयोग करना शुरू कर दिया है।

हगिंग फेस ने हाल ही में एक नया मशीन लर्निंग फ्रेमवर्क जारी किया है जिसे कैंडल कहा जाता है। पारंपरिक फ्रेमवर्क के विपरीत जो पाइथन का उपयोग करते हैं, कैंडल रूस में बनाया गया है। रूस का उपयोग करने के पीछे का उद्देश्य प्रदर्शन में सुधार करना और उपयोगकर्ता अनुभव को सरल बनाना है, साथ ही जीपीयू ऑपरेशन का समर्थन करना है।

कैंडल का मुख्य उद्देश्य सर्वरलेस अनुमान को सुविधाजनक बनाना है, जिससे हल्के बाइनरी को तैनात करना संभव हो जाता है और उत्पादन कार्यभार से पाइथन को हटा दिया जाता है, जो कभी-कभी अपने ओवरहेड के कारण प्रक्रियाओं को धीमा कर सकता है। यह फ्रेमवर्क पाइथोर्च जैसे पूर्ण मशीन लर्निंग फ्रेमवर्क के साथ आने वाली समस्याओं का समाधान प्रदान करता है जो बड़े और धीमे होते हैं जब क्लस्टर पर इंस्टेंस बनाया जाता है।

आइए देखें कि रूस इतना अधिक पाइथन की तुलना में क्यों पसंद किया जा रहा है:

1. गति और प्रदर्शन – रूस अपनी अद्भुत गति के लिए जाना जाता है, जो पारंपरिक रूप से मशीन लर्निंग फ्रेमवर्क में उपयोग किए जाने वाले पाइथन को पीछे छोड़ देता है। पाइथन का प्रदर्शन कभी-कभी इसके ग्लोबल इंटरप्रेटर लॉक (जीआईएल) के कारण धीमा हो सकता है, लेकिन रूस इस मुद्दे का सामना नहीं करता है, जो परियोजनाओं में तेजी से निष्पादन और बेहतर प्रदर्शन का वादा करता है।
2. सुरक्षा – रूस मेमोरी सुरक्षा गारंटी प्रदान करता है जो एक गार्बेज कलेक्टर के बिना है, जो समानांतर प्रणालियों की सुरक्षा सुनिश्चित करने के लिए एक महत्वपूर्ण पहलू है। यह सेफटेंसर जैसे क्षेत्रों में महत्वपूर्ण भूमिका निभाता है जहां डेटा संरचनाओं को संभालने में सुरक्षा प्राथमिकता है।

सेफटेंसर

सेफटेंसर रूस की गति और सुरक्षा विशेषताओं से लाभान्वित होते हैं। सेफटेंसर टेंसर के हेरफेर से संबंधित है, जो एक जटिल गणितीय इकाई है, और रूस का उपयोग यह सुनिश्चित करता है कि संचालन न केवल तेज हैं, बल्कि सुरक्षित भी हैं, सामान्य बग और सुरक्षा मुद्दों से बचते हैं जो मेमोरी हैंडलिंग से उत्पन्न हो सकते हैं।

टोकनाइज़र

टोकनाइज़र वाक्य या वाक्यांशों को छोटी इकाइयों जैसे शब्दों या शब्दों में तोड़ने के लिए जिम्मेदार होते हैं। रूस इस प्रक्रिया में तेजी लाने में मदद करता है, यह सुनिश्चित करता है कि टोकनाइजेशन प्रक्रिया न केवल सटीक है, बल्कि तेज भी है, जो प्राकृतिक भाषा प्रसंस्करण कार्यों की दक्षता में सुधार करता है।

हगिंग फेस के टोकनाइज़र के मूल में उपशब्द टोकनाइजेशन की अवधारणा है, जो शब्द स्तर और अक्षर स्तर के टोकनाइजेशन के बीच एक सूक्ष्म संतुलन बनाती है ताकि जानकारी की बचत और शब्दावली के आकार का अनुकूलन किया जा सके। यह उप-टोकन के निर्माण के माध्यम से काम करता है, जैसे “##ing” और “##ed”, जो सेमांटिक समृद्धि को बनाए रखते हुए एक फुलावपूर्ण शब्दावली से बचते हैं।

उपशब्द टोकनाइजेशन में एक प्रशिक्षण चरण शामिल होता है जो सबसे प्रभावी संतुलन की पहचान करने के लिए व्यापक पाठ निगमों में भाषा पैटर्न का एक व्यापक विश्लेषण करता है। यह केवल पूर्वसर्ग और प्रत्यय नियमों से परे जाता है, एक कुशल उपशब्द टोकनाइज़र को डिज़ाइन करने के लिए विस्तृत पाठ निगमों का विश्लेषण करने की आवश्यकता होती है। उत्पन्न टोकनाइज़र नए शब्दों को उनके ज्ञात उप-शब्दों में तोड़कर सेमांटिक समझ का एक उच्च स्तर बनाए रखने में सक्षम है।

टोकनाइजेशन घटक

https://huggingface.co/learn/nlp-course/chapter6/4

टोकनाइज़र लाइब्रेरी टोकनाइजेशन प्रक्रिया को कई चरणों में विभाजित करती है, प्रत्येक एक विशिष्ट टोकनाइजेशन पहलू को संबोधित करती है। आइए इन घटकों में गहराई से जाएं:

• सामान्यीकरण: इनपुट स्ट्रिंग पर प्रारंभिक परिवर्तन लागू करता है, आवश्यक समायोजन जैसे लोअरकेस रूपांतरण, यूनिकोड सामान्यीकरण और स्ट्रिपिंग लागू करता है।
• पूर्व-टोकनाइज़र: इनपुट स्ट्रिंग को पूर्व-खंडों में विभाजित करने के लिए जिम्मेदार है, जो निर्धारित नियमों के आधार पर विभाजन का निर्णय लेता है, जैसे कि स्पेस डिलिमिटर।
• मॉडल: उप-टोकन की खोज और निर्माण की देखरेख करता है, आपके इनपुट डेटा की विशिष्टताओं के अनुसार अनुकूलन और प्रशिक्षण क्षमता प्रदान करता है।
• पोस्ट-प्रोसेसर: कई ट्रांसफॉर्मर-आधारित मॉडलों के साथ संगतता के लिए निर्माण सुविधाओं को बढ़ाता है, जैसे कि बीईआरटी के लिए [CLS] और [SEP] जैसे टोकन जोड़कर।

हगिंग फेस टोकनाइज़र के साथ शुरू करने के लिए, पुस्तकालय स्थापित करने के लिए निम्नलिखित कमांड का उपयोग करें: pip install tokenizers और इसे अपने पाइथन वातावरण में आयात करें। लाइब्रेरी बड़ी मात्रा में पाठ को बहुत कम समय में टोकनाइज़ कर सकती है, जिससे अधिक तीव्र कार्यों जैसे मॉडल प्रशिक्षण के लिए मूल्यवान गणना संसाधनों की बचत होती है।

टोकनाइज़र लाइब्रेरी रूस का उपयोग करती है, जो सी++ की सिंटैक्स समानता को विरासत में लेती है और प्रोग्रामिंग भाषा डिज़ाइन में नए अवधारणाओं की शुरुआत करती है। पाइथन बाइंडिंग के साथ जोड़कर, यह पाइथन वातावरण में एक निम्न-स्तर की भाषा के प्रदर्शन का आनंद लेने की अनुमति देता है।

डेटासेट

हगिंग फेस डेटासेट

डेटासेट एआई परियोजनाओं का आधार हैं। हगिंग फेस विभिन्न एनएलपी कार्यों के लिए उपयुक्त एक विविध डेटासेट प्रदान करता है, और अधिक। उन्हें कुशलता से उपयोग करने के लिए, उन्हें लोड करने और विश्लेषण करने की प्रक्रिया को समझना आवश्यक है। नीचे एक अच्छी तरह से टिप्पणी की गई पाइथन स्क्रिप्ट है जो हगिंग फेस पर उपलब्ध डेटासेट का अन्वेषण करने के लिए:

from datasets import load_dataset
# एक डेटासेट लोड करें
dataset = load_dataset('squad')
# पहला प्रविष्टि प्रदर्शित करें
print(dataset[0])

इस स्क्रिप्ट में लोड_डेटासेट फ़ंक्शन का उपयोग करके स्क्वाड डेटासेट लोड किया जाता है, जो प्रश्न उत्तर कार्यों के लिए एक लोकप्रिय विकल्प है।

पूर्व-प्रशिक्षित मॉडल का लाभ उठाना और इसे एक साथ लाना

हगिंग फेस मॉडल

पूर्व-प्रशिक्षित मॉडल कई गहरे शिक्षण परियोजनाओं की रीढ़ हैं, जो शोधकर्ताओं और विकासकर्ताओं को शून्य से शुरू करने के बजाय अपनी पहल को तेजी से शुरू करने में सक्षम बनाता है। हगिंग फेस विभिन्न पूर्व-प्रशिक्षित मॉडलों की खोज को सुविधाजनक बनाता है, जैसा कि निम्नलिखित कोड में दिखाया गया है:

from transformers import AutoModelForQuestionAnswering, AutoTokenizer

<p># पूर्व-प्रशिक्षित मॉडल और टोकनाइज़र लोड करें
model = AutoModelForQuestionAnswering.from_pretrained('bert-large-uncased-whole-word-masking-finetuned-squad')
tokenizer = AutoTokenizer.from_pretrained('bert-large-uncased-whole-word-masking-finetuned-squad')</p>

<p># मॉडल की वास्तुकला प्रदर्शित करें
print(model)</p>

मॉडल और टोकनाइज़र लोड होने के बाद, हम अब एक फ़ंक्शन बना सकते हैं जो एक टेक्स्ट और एक प्रश्न को इनपुट के रूप में लेता है और टेक्स्ट से उत्तर निकालता है। हम टोकनाइज़र का उपयोग इनपुट टेक्स्ट और प्रश्न को मॉडल के साथ संगत प्रारूप में प्रसंस्करण के लिए करेंगे, और फिर संसाधित इनपुट को मॉडल में फीड करेंगे ताकि उत्तर प्राप्त किया जा सके:

<p>def get_answer(text, question):
# इनपुट टेक्स्ट और प्रश्न को टोकनाइज़ करें
inputs = tokenizer(question, text, return_tensors='pt', max_length=512, truncation=True)
outputs = model(**inputs)</p>

<p> # उत्तर के लिए शुरू और अंत स्कोर प्राप्त करें
answer_start = torch.argmax(outputs.start_logits)
answer_end = torch.argmax(outputs.end_logits) + 1</p>

<p> answer = tokenizer.convert_tokens_to_string(tokenizer.convert_ids_to_tokens(inputs['input_ids'][0][answer_start:answer_end]))
return answer</p>

इस कोड स्निपेट में, हम ट्रांसफॉर्मर पैकेज से आवश्यक मॉड्यूल आयात करते हैं, फिर एक बीईआरटी मॉडल को स्क्वाड डेटासेट पर फाइन-ट्यून किया जाता है। हम मॉडल की वास्तुकला को प्रदर्शित करते हैं और फिर एक फ़ंक्शन बनाते हैं जो एक प्रश्न और एक टेक्स्ट को इनपुट के रूप में लेता है और टोकनाइज़र का उपयोग करके उन्हें प्रसंस्करण के लिए तैयार करता है, और फिर मॉडल का उपयोग करके उत्तर निकालता है।

आइए एक उदाहरण देखें जहां हमारे पास एक पैराग्राफ और एक प्रश्न है जिसका उत्तर हम टेक्स्ट से निकालना चाहते हैं:

<p>text = """
द ईफेल टावर, जो पेरिस, फ्रांस में स्थित है, दुनिया के सबसे प्रतिष्ठित लैंडमार्क में से एक है। यह गुस्ताव ईफेल द्वारा डिज़ाइन किया गया था और 1889 में पूरा किया गया था। टावर 324 मीटर की ऊंचाई पर खड़ा है और इसके पूरा होने के समय यह दुनिया की सबसे ऊंची मानव निर्मित संरचना थी।
""</p>

<p>question = "ईफेल टावर का डिज़ाइनर कौन था?"</p>

<p># प्रश्न का उत्तर प्राप्त करें
answer = get_answer(text, question)
print(f"प्रश्न का उत्तर है: {answer}")
# आउटपुट: प्रश्न का उत्तर है: गुस्ताव ईफेल</p>

इस स्क्रिप्ट में, हम एक फ़ंक्शन बनाते हैं जो एक प्रश्न और एक टेक्स्ट को इनपुट के रूप में लेता है और हगिंग फेस के ट्रांसफॉर्मर लाइब्रेरी का उपयोग करके टेक्स्ट से उत्तर निकालता है। यह हगिंग फेस के ट्रांसफॉर्मर लाइब्रेरी का उपयोग करके एक सरल लेकिन शक्तिशाली प्रश्न उत्तर प्रणाली बनाने का एक व्यावहारिक अनुप्रयोग प्रदर्शित करता है। इसे अच्छी तरह से समझने के लिए, गूगल कोलाब नोटबुक में हाथों-हाथ प्रयोग करने की सिफारिश की जाती है।

निष्कर्ष

अपने व्यापक ओपन-सोर्स टूल, पूर्व-प्रशिक्षित मॉडल और उपयोगकर्ता-मित्र पाइपलाइन के माध्यम से, हगिंग फेस अनुभवी पेशेवरों और नए लोगों दोनों को एआई की विशाल दुनिया में प्रवेश करने में मदद करता है। रूस को एकीकृत करने की पहल, जो इसकी गति और सुरक्षा सुविधाओं के कारण है, हगिंग फेस की एआई अनुप्रयोगों में नवाचार को बढ़ावा देने और सुरक्षा सुनिश्चित करने की प्रतिबद्धता को दर्शाता है। हगिंग फेस का कार्य न केवल उच्च स्तरीय एआई टूल तक पहुंच को लोकतांत्रिक बनाता है, बल्कि एआई स्पेस में सीखने और विकास के लिए एक सहयोगी वातावरण को भी प्रोत्साहित करता है, जो एक ऐसे भविष्य की ओर ले जाता है जहां एआई सभी के लिए सुलभ है।