Ghidul complet pentru începători pentru instrumentele Hugging Face LLM

Hugging Face este un laborator de cercetare și un hub care a creat o comunitate de savanți, cercetători și entuziaști. Într-un timp scurt, Hugging Face a dobândit o prezență semnificativă în spațiul AI. Giganții tehnologiei inclusiv Google (GOOGL ), Amazon (AMZN ) și Nvidia (NVDA ) au susținut startup-ul Hugging Face cu investiții semnificative, făcând valoarea sa de 4,5 miliarde de dolari.

În acest ghid, vom introduce transformatori, LLM-uri și modul în care biblioteca Hugging Face joacă un rol important în promovarea unei comunități deschise AI. Vom explora, de asemenea, funcțiile esențiale ale Hugging Face, inclusiv conducte, seturi de date, modele și multe altele, cu exemple practice în Python.

Transformatori în NLP

În 2017, Universitatea Cornell a publicat un articol influent care a introdus transformatori. Acestea sunt modele de învățare profundă utilizate în NLP. Această descoperire a alimentat dezvoltarea de modele de limbaj mari, cum ar fi ChatGPT.

Modelele de limbaj mari sau LLM-uri sunt sisteme AI care utilizează transformatori pentru a înțelege și a crea text asemănător cu cel uman. Cu toate acestea, crearea acestor modele este scumpă, necesitând adesea milioane de dolari, ceea ce limitează accesul la ele pentru companiile mari.

Hugging Face, fondat în 2016, are ca scop să facă modelele NLP accesibile tuturor. În ciuda faptului că este o companie comercială, oferă o gamă de resurse deschise, care ajută oamenii și organizațiile să construiască și să utilizeze modele de transformatori în mod accesibil. Învățarea automată constă în a preda calculatoarelor să efectueze sarcini prin recunoașterea modelelor, în timp ce învățarea profundă, o subcategorie a învățării automate, creează o rețea care învață independent. Transformatorii sunt o arhitectură de învățare profundă care utilizează eficient și flexibil datele de intrare, făcându-i o alegere populară pentru construirea de modele de limbaj mari, datorită timpului de antrenament mai scurt necesar.

Cum Hugging facilitează proiectele NLP și LLM

Hugging Face a simplificat lucrul cu LLM-uri prin oferirea:

1. Unei game de modele preantrenate din care să alegeți.
2. Uneltelor și exemplelor pentru a ajusta aceste modele în funcție de nevoile dvs. specifice.
3. Opțiunilor de implementare ușoară pentru diverse medii.

O resursă excelentă disponibilă prin Hugging Face este Open LLM Leaderboard. Funcționând ca o platformă cuprinzătoare, monitorizează sistematic, clasifică și evaluează eficiența unei game de Modele de Limbaj Mare (LLM) și chatbot-uri, oferind o analiză discernentă a progreselor în domeniul deschis.

Componentele Hugging

Conducte

„Conductele” fac parte din biblioteca de transformatori a Hugging Face, o funcție care ajută la utilizarea ușoară a modelelor preantrenate disponibile în depozitul Hugging Face. Oferă o interfață intuitivă pentru o serie de sarcini, inclusiv analiza sentimentului, răspunsurile la întrebări, modelarea limbajului mascat, recunoașterea entităților numite și rezumarea.

Aplicații ale transformatorilor utilizând biblioteca Hugging

Un punct forte al bibliotecii Hugging Face este biblioteca Transformers, care simplifică sarcinile NLP prin conectarea unui model cu etapele necesare de prelucrare și post-procesare, simplificând procesul de analiză. Pentru a instala și importa biblioteca, utilizați următoarele comenzi:

pip install -q transformers
from transformers import pipeline

Apllicații practice

Clasificarea textului

Clasificarea textului devine o sarcină ușoară cu funcția pipeline() a Hugging Face. Iată cum puteți inițializa o conductă de clasificare a textului:

classifier = pipeline("text-classification")

Recunoașterea entităților numite (NER)

NER este esențială pentru extragerea obiectelor din lumea reală, denumite „entități numite”, din text. Utilizați conducta NER pentru a identifica eficient aceste entități:

ner_tagger = pipeline("ner", aggregation_strategy="simple")
text = "Elon Musk este CEO-ul SpaceX."
outputs = ner_tagger(text)
print(outputs)

Răspuns la întrebări

Răspunsul la întrebări implică extragerea unor răspunsuri precise la întrebări specifice dintr-un context dat. Inițializați o conductă de răspuns la întrebări și introduceți întrebarea și contextul pentru a obține răspunsul dorit:

reader = pipeline("question-answering")
text = "Hugging Face este o companie care creează unelte pentru NLP. Este situată în New York și a fost fondată în 2016."
question = "Unde este situată Hugging Face?"
outputs = reader(question=question, context=text)
print(outputs)

De ce Hugging se concentrează pe Rust

Hugging Face a început recent să utilizeze Rust în bibliotecile sale, cum ar fi safetensors și tokenizatori.

Safetensors

Safetensors beneficiază de viteza și caracteristicile de securitate ale Rust. Safetensors implică manipularea tensorilor, o entitate matematică complexă, și având Rust asigură că operațiile sunt nu numai rapide, ci și sigure, evitând bug-urile și problemele de securitate care pot apărea din manipularea memoriei.

Tokenizator

Tokenizatorii se ocupă de fragmentarea propozițiilor sau frazelor în unități mai mici, cum ar fi cuvinte sau termeni. Rust ajută la acest proces prin accelerarea timpului de execuție, asigurând că procesul de tokenizare nu numai că este precis, ci și rapid, îmbunătățind eficiența sarcinilor de procesare a limbajului natural.

Componentele tokenizării

Tokenizatorii bibliotecii se divid procesul de tokenizare în mai multe etape, fiecare adresând un aspect distinct al tokenizării. Să explorăm aceste componente:

• Normalizator: Aplică transformări inițiale pe șirul de intrare, efectuând ajustări necesare, cum ar fi conversia în caractere mici, normalizarea Unicode și eliminarea caracterelor nefolositoare.
• Pre-tokenizator: Fragmentarea șirului de intrare în pre-segmente, determinând diviziunile pe baza unor reguli predefinite, cum ar fi delimitarea spațiilor.
• Model: Supervizează descoperirea și crearea de sub-cuvinte, adaptându-se la specificul datelor de intrare și oferind capacități de antrenament.
• Post-procesor: Îmbunătățește caracteristicile de construcție pentru a facilita compatibilitatea cu multe modele bazate pe transformatori, cum ar fi BERT, prin adăugarea de cuvinte speciale, cum ar fi [CLS] și [SEP].

Pentru a începe cu tokenizatorii Hugging Face, instalați biblioteca utilizând comanda pip install tokenizers și importați-o în mediul dvs. Python. Biblioteca poate tokeniza cantități mari de text într-un timp foarte scurt, economisind resurse computaționale prețioase pentru sarcini mai intensive, cum ar fi antrenarea modelului.

Seturi de date

Seturile de date sunt fundamentul proiectelor AI. Hugging Face oferă o varietate de seturi de date, potrivite pentru o gamă de sarcini NLP și multe altele. Pentru a le utiliza eficient, înțelegerea procesului de încărcare și analiză a lor este esențială. Mai jos este un script Python bine comentat care demonstrează cum să explorați seturile de date disponibile pe Hugging Face:

from datasets import load_dataset
# Încărcați un set de date
dataset = load_dataset('squad')
# Afișați prima intrare
print(dataset[0])

Utilizarea modelelor preantrenate și integrarea lor

Modelele preantrenate formează coloana vertebrală a multor proiecte de învățare profundă, permițând cercetătorilor și dezvoltatorilor să înceapă proiectele lor fără a trebui să înceapă de la zero. Hugging Face facilitează explorarea unei game diverse de modele preantrenate, așa cum se arată în codul de mai jos:

from transformers import AutoModelForQuestionAnswering, AutoTokenizer

# Încărcați modelul și tokenizatorul preantrenați
model = AutoModelForQuestionAnswering.from_pretrained('bert-large-uncased-whole-word-masking-finetuned-squad')
tokenizer = AutoTokenizer.from_pretrained('bert-large-uncased-whole-word-masking-finetuned-squad')

# Afișați arhitectura modelului
print(model)

Concluzii

Prin gama sa extinsă de unelte deschise, modele preantrenate și conducte ușor de utilizat, Hugging Face permite atât profesioniștilor experimentați, cât și începătorilor să se aventureze în lumea vastă a inteligenței artificiale cu ușurință și înțelegere. Mai mult, inițiativa de a integra Rust, datorită vitezei și caracteristicilor de securitate, subliniază angajamentul Hugging Face de a promova inovația, asigurând în același timp eficiența și securitatea în aplicațiile AI. Lucrarea transformatoare a Hugging Face nu numai că democratizează accesul la unelte avansate de inteligență artificială, ci și cultivă un mediu colaborativ pentru învățare și dezvoltare în spațiul inteligenței artificiale, facilitând un viitor în care inteligența artificială este accesibilă tuturor.