Instrumente IA 101
Ghidul complet pentru începători pentru instrumentele Hugging Face LLM

Puncte cheieHugging Face democratizează inteligența artificială prin instrumente open-source precum…
Vezi mai mult
- Hugging Face democratizează inteligența artificială prin instrumente open-source precum pipeline-urile, care simplifică sarcini complexe de procesare a limbajului natural.
- Trecerea platformei la Rust în cadre precum Candle urmărește să îmbunătățească performanța și să permită inferență serverless.
- Hugging Face oferă modele pre-antrenate și seturi de date pentru a demara proiecte fără costurile dezvoltării de la zero.
Hugging Face este un laborator de cercetare și un hub care a creat o comunitate de savanți, cercetători și entuziaști. Într-un timp scurt, Hugging Face a dobândit o prezență semnificativă în spațiul AI. Giganții tehnologiei inclusiv Google (GOOGL ), Amazon (AMZN ) și Nvidia (NVDA ) au susținut startup-ul Hugging Face cu investiții semnificative, făcând evaluarea sa la 4,5 miliarde de dolari.
În acest ghid, vom introduce transformere, LLM-uri și modul în care biblioteca Hugging Face joacă un rol important în promovarea unei comunități deschise AI. Vom explora, de asemenea, funcțiile esențiale ale Hugging Face, inclusiv fluxuri de procesare, seturi de date, modele și multe altele, cu exemple practice în Python.
Transformere în NLP
În 2017, Universitatea Cornell a publicat un articol influent care a introdus transformere. Acestea sunt modele de învățare profundă utilizate în NLP. Această descoperire a alimentat dezvoltarea de modele de limbaj mari, cum ar fi ChatGPT.
Modelele de limbaj mari sau LLM-uri sunt sisteme AI care utilizează transformere pentru a înțelege și a crea text asemănător cu cel uman. Cu toate acestea, crearea acestor modele este scumpă, necesitând adesea milioane de dolari, ceea ce face ca accesul să fie practic rezervat companiilor mari.
Hugging Face, fondat în 2016, are ca scop să facă modelele NLP accesibile tuturor. În ciuda faptului că este o companie comercială, oferă o gamă de resurse deschise, care ajută oamenii și organizațiile să construiască și să utilizeze modele de transformere în mod accesibil. Învățarea automată constă în a preda calculatoarelor să efectueze sarcini prin recunoașterea modelelor, în timp ce învățarea profundă, o subcategorie a învățării automate, creează o rețea care învață independent. Transformerele sunt o arhitectură de învățare profundă care utilizează eficient și flexibil datele de intrare, făcându-i o alegere populară pentru construirea de modele de limbaj mari, datorită timpului de antrenament mai scurt necesar.
Cum Hugging facilitează proiectele NLP și LLM
Hugging Face a simplificat lucrul cu LLM-uri prin oferirea:
- Unei game de modele preantrenate din care să alegeți.
- Uneltelor și exemplelor pentru a ajusta aceste modele în funcție de nevoile dvs. specifice.
- Opțiunilor de implementare ușoară pentru diverse medii.
O resursă excelentă disponibilă prin Hugging Face este Open LLM Leaderboard. Funcționând ca o platformă cuprinzătoare, monitorizează sistematic, clasifică și evaluează eficiența unei game de Modele de Limbaj Mare (LLM) și chatbot-uri, oferind o analiză discernentă a progreselor în domeniul deschis.
Evaluarea LLM folosește patru teste:
- AI2 Reasoning Challenge (25-shot): întrebări din programa de științe pentru școala primară.
- HellaSwag (10-shot): un test de inferență bazată pe bun-simț, simplu pentru oameni, dar dificil pentru modelele avansate.
- MMLU (5-shot): evaluează competențele în 57 de domenii, inclusiv matematică de bază, drept și informatică.
- TruthfulQA (0-shot): măsoară tendința modelului de a reproduce informații false întâlnite frecvent online.
Termenii „25-shot”, „10-shot”, „5-shot” și „0-shot” indică numărul de exemple oferite în prompt în timpul evaluării. În regimul few-shot, câteva exemple ghidează răspunsurile; în regimul zero-shot, modelul nu primește exemple și se bazează pe cunoștințele deja învățate.
Componentele Hugging
Fluxuri de procesare
„Fluxurile de procesare” fac parte din biblioteca Transformers a Hugging Face, o funcție care ajută la utilizarea ușoară a modelelor preantrenate disponibile în depozitul Hugging Face. Oferă o interfață intuitivă pentru o serie de sarcini, inclusiv analiza sentimentului, răspunsurile la întrebări, modelarea limbajului mascat, recunoașterea entităților numite și rezumarea.
Un pipeline integrează trei componente centrale:
- Tokenizer: transformă textul într-un format înțeles de model.
- Model: produce predicțiile pe baza intrării preprocesate.
- Postprocesor: transformă predicțiile brute într-o formă lizibilă pentru oameni.
Aceste fluxuri reduc volumul de cod necesar și oferă o interfață accesibilă pentru diverse sarcini NLP.
Aplicații ale transformerelor utilizând biblioteca Hugging
Un punct forte al bibliotecii Hugging Face este biblioteca Transformers, care simplifică sarcinile NLP prin conectarea unui model cu etapele necesare de prelucrare și post-procesare, simplificând procesul de analiză. Pentru a instala și importa biblioteca, utilizați următoarele comenzi:
pip install -q transformers from transformers import pipeline
După instalare, puteți începe cu analiza sentimentelor, care clasifică textul după atitudinea pozitivă sau negativă. Funcția pipeline() oferă acces și la sarcini audio, vizuale și multimodale.
Aplicații practice
Clasificarea textului
Clasificarea textului devine o sarcină ușoară cu funcția pipeline() a Hugging Face. Iată cum puteți inițializa un flux de procesare de clasificare a textului:
classifier = pipeline("text-classification")
Trimiteți un șir sau o listă de șiruri către pipeline pentru a obține predicții, care pot fi vizualizate și cu biblioteca Pandas. Exemplul următor afișează eticheta și scorul pentru fiecare propoziție:
sentences = ["I am thrilled to introduce you to the wonderful world of AI.",
"Hopefully, it won't disappoint you."]
# Get classification results for each sentence in the list
results = classifier(sentences)
# Loop through each result and print the label and score
for i, result in enumerate(results):
print(f"Result {i + 1}:")
print(f" Label: {result['label']}")
print(f" Score: {round(result['score'], 3)}\n")
Rezultat
Result 1: Label: POSITIVE Score: 1.0 Result 2: Label: POSITIVE Score: 0.996
Recunoașterea entităților numite (NER)
NER este esențială pentru extragerea obiectelor din lumea reală, denumite „entități numite”, din text. Utilizați fluxul de procesare NER pentru a identifica eficient aceste entități:
ner_tagger = pipeline("ner", aggregation_strategy="simple")
text = "Elon Musk is the CEO of SpaceX."
outputs = ner_tagger(text)
print(outputs)
Rezultat
Elon Musk: PER, SpaceX: ORG
Răspuns la întrebări
Răspunsul la întrebări implică extragerea unor răspunsuri precise la întrebări specifice dintr-un context dat. Inițializați un flux de procesare de răspuns la întrebări și introduceți întrebarea și contextul pentru a obține răspunsul dorit:
reader = pipeline("question-answering")
text = "Hugging Face is a company creating tools for NLP. It is based in New York and was founded in 2016."
question = "Where is Hugging Face based?"
outputs = reader(question=question, context=text)
print(outputs)
Rezultat
{'score': 0.998, 'start': 51, 'end': 60, 'answer': 'New York'} Funcția pipeline oferă și alte sarcini predefinite:
| Sarcină | Descriere | Identificator |
|---|---|---|
| Generarea textului | Generează text pe baza unui prompt. | pipeline(task="text-generation") |
| Rezumare | Rezumă un text sau document lung. | pipeline(task="summarization") |
| Clasificarea imaginilor | Atribuie o etichetă imaginii de intrare. | pipeline(task="image-classification") |
| Clasificarea audio | Clasifică date audio. | pipeline(task="audio-classification") |
| Răspuns la întrebări vizuale | Răspunde folosind o imagine și o întrebare. | pipeline(task="vqa") |
Pentru descrieri detaliate și alte sarcini, consultați documentația pipeline de pe site-ul Hugging Face.














