Μοντέλα και πλατφόρμες AI

Llama 2: σε βάθος ανάλυση του ανταγωνιστή του ChatGPT ανοικτού κώδικα

Aayush Mittal
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΤο Llama 2 χρησιμοποιεί Ενισχυτική Μάθηση με Ανθρώπινη Ανάδραση για να ευθυγραμμίζει τα…
Δείτε περισσότερα
  • Το Llama 2 χρησιμοποιεί Ενισχυτική Μάθηση με Ανθρώπινη Ανάδραση για να ευθυγραμμίζει τα αποτελέσματά του με τις ανθρώπινες προτιμήσεις όσον αφορά την ασφάλεια.
  • Η φύση ανοιχτού κώδικα του μοντέλου επιτρέπει την επιτήρηση και προσαρμογή από την κοινότητα, σε αντίθεση με κλειστά μοντέλα όπως το ChatGPT.
  • Το νέο χαρακτηριστικό Ghost Attention της Meta βοηθά το μοντέλο να διατηρεί το πλαίσιο σε μεγαλύτερες συζητήσεις πολλαπλών γύρων.

Μεγάλα Γλωσσικά Μοντέλα (LLMs) ικανά για σύνθετες εργασίες συλλογισμού έχουν δείξει ενθαρρυντικές προοπτικές σε εξειδικευμένα πεδία όπως ο προγραμματισμός και η δημιουργική γραφή. Ωστόσο, ο κόσμος των LLMs δεν είναι απλά ένας παράδεισος άμεσης χρήσης χωρίς ρυθμίσεις. Υπάρχουν προκλήσεις στην ευχρηστία, την ασφάλεια και τις υπολογιστικές απαιτήσεις. Σε αυτό το άρθρο, θα εμβαθύνουμε στις ικανότητες του Llama 2, ενώ θα παρέχουμε μια λεπτομερή οδηγία για τη ρύθμιση αυτού του LLM υψηλής απόδοσης μέσω του Hugging Face και των GPU T4 στο Google Colab.

Αναπτυγμένο από τη Meta με τη συνεργασία της Microsoft (MSFT ), αυτό το ανοικτό κώδικα μεγάλο γλωσσικό μοντέλο στοχεύει να αναδιαμορφώσει τους κόσμους της παραγωγικής τεχνητής νοημοσύνης και της φυσικής γλωσσικής κατανόησης. Το Llama 2 δεν είναι απλά ένα στατιστικό μοντέλο εκπαιδευμένο σε terabyte δεδομένων. Είναι η ενσάρκωση μιας φιλοσοφίας. Μια φιλοσοφία που τονίζει την ανοικτή προσέγγιση ως την σπονδυλική στήλη της ανάπτυξης του AI, ιδιαίτερα στον χώρο της παραγωγικής τεχνητής νοημοσύνης.

Το Llama 2 και η βελτιστοποιημένη για διάλογο εκδοχή του, Llama 2-Chat, έρχονται εξοπλισμένα με μέχρι 70 δισεκατομμύρια παραμέτρους. Υπόκεινται σε μια διαδικασία λεπτομερούς προσαρμογής που έχει σχεδιαστεί για να τα ευθυγραμμίσει στενά με τις ανθρώπινες προτιμήσεις, καθιστώντας τα και τα δύο ασφαλέστερα και πιο αποτελεσματικά από πολλά άλλα δημόσια διαθέσιμα μοντέλα. Αυτό το επίπεδο λεπτομέρειας στη λεπτομερή προσαρμογή είναι συχνά διατηρημένο για κλειστά “προϊόν” LLMs, όπως το ChatGPT και το BARD, τα οποία δεν είναι γενικά διαθέσιμα για δημόσιο έλεγχο ή προσαρμογή.

Τεχνική Εμβάθυνση του Llama 2

Για την εκπαίδευση του μοντέλου Llama 2, όπως και οι προκατόχοι του, χρησιμοποιεί μια αυτοπαλινδρομική αρχιτεκτονική μετασχηματιστή, προ-εκπαιδευμένο σε ένα εκτενές σώμα δεδομένων αυτοεπιβλεπόμενης μάθησης. Ωστόσο, προσθέτει ένα επιπλέον επίπεδο σοφιστικότητας χρησιμοποιώντας την Ενισχυτική Μάθηση με Ανθρώπινη Ανατροφοδότηση (RLHF) για να ευθυγραμμίσει καλύτερα με την ανθρώπινη συμπεριφορά και τις προτιμήσεις. Αυτό είναι υπολογιστικά δαπανηρό αλλά ζωτικό για τη βελτίωση της ασφάλειας και της αποτελεσματικότητας του μοντέλου.

Αρχιτεκτονική εκπαίδευσης του Meta Llama 2

Αρχιτεκτονική εκπαίδευσης του Meta Llama 2

Προ-εκπαίδευση & Αποδοτικότητα Δεδομένων

Η καινοτομία του Llama 2 βασίζεται στην προ-εκπαιδευτική του διαδικασία. Το μοντέλο παίρνει σήματα από τον προκάτοχό του, Llama 1, αλλά εισάγει αρκετές κρίσιμες βελτιώσεις για να ανυψώσει την απόδοσή του. Ιδιαίτερα, μια αύξηση 40% στο συνολικό αριθμό των token που εκπαιδεύονται και μια διπλή επέκταση στο μήκος του πλαισίου ξεχωρίζουν. Επιπλέον, το μοντέλο χρησιμοποιεί προσοχή ομαδοποιημένων ερωτημάτων (GQA) για να ενισχύσει την κλιμάκωση της εξαγωγής συμπερασμάτων.

Επιβλεπόμενη Λεπτομερής Προσαρμογή (SFT) & Ενισχυτική Μάθηση με Ανθρώπινη Ανατροφοδότηση (RLHF)

Το Llama-2-Chat έχει υποβληθεί σε μια αυστηρή λεπτομερή προσαρμογή χρησιμοποιώντας τόσο την SFT όσο και την Ενισχυτική Μάθηση με Ανθρώπινη Ανατροφοδότηση (RLHF). Σε αυτό το πλαίσιο, η SFT χρησιμεύει ως ολοκληρωμένο μέρος του πλαισίου RLHF, βελτιώνοντας τις απαντήσεις του μοντέλου για να ευθυγραμμιστεί στενά με τις ανθρώπινες προτιμήσεις και προσδοκίες.

OpenAI έχει παρέχει μια εύστοχη εικονογράφηση που εξηγεί τις μεθόδους SFT και RLHF που χρησιμοποιούνται στο InstructGPT. Παρόμοια με το LLaMa 2, το InstructGPT επίσης χρησιμοποιεί αυτές τις προηγμένες τεχνικές εκπαίδευσης για να βελτιώσει την απόδοση του μοντέλου.

Το βήμα 1 στην παρακάτω εικόνα επικεντρώνεται στην Επιβλεπόμενη Λεπτομερής Προσαρμογή (SFT), ενώ τα επόμενα βήματα ολοκληρώνουν τη διαδικασία Ενισχυτικής Μάθησης από Ανθρώπινη Ανατροφοδότηση (RLHF).

Η Επιβλεπόμενη Λεπτομερής Προσαρμογή (SFT) είναι μια εξειδικευμένη διαδικασία που στοχεύει στην βελτιστοποίηση ενός προ-εκπαιδευμένου Μεγάλου Γλωσσικού Μοντέλου (LLM) για μια συγκεκριμένη εργασία. Σε αντίθεση με τις μη επιβλεπόμενες μεθόδους, που δεν απαιτούν επαλήθευση δεδομένων, η SFT χρησιμοποιεί ένα σύνολο δεδομένων που έχει προ-επαληθευτεί και έχει ετικέτες.

Γενικά, η δημιουργία αυτών των συνόλων δεδομένων είναι δαπανηρή και χρονοβόρα. Η προσέγγιση του Llama 2 ήταν ποιότητα πάνω από ποσότητα. Με μόνο 27.540 ετικέτες, η ομάδα της Meta πέτυχε επίπεδα απόδοσης ανταγωνιστικά με ανθρώπινους ετικετεστές. Αυτό συμφωνεί καλά με πρόσφατες μελέτες που δείχνουν ότι ακόμη και περιορισμένα αλλά καθαρά σύνολα δεδομένων μπορούν να οδηγήσουν σε υψηλής ποιότητας αποτελέσματα.

Στη διαδικασία SFT, το προ-εκπαιδευμένο LLM εκτίθεται σε ένα επισημασμένο σύνολο δεδομένων, όπου οι αλγόριθμοι επιβλεπόμενης μάθησης τίθενται σε εφαρμογή. Τα εσωτερικά βάρη του μοντέλου επαναρυθμίζονται με βάση τις κλίσεις που υπολογίζονται από μια συνάρτηση απώλειας ειδική για την εργασία. Η συνάρτηση αυτή ποσοτικοποιεί τις διαφορές ανάμεσα στις προβλέψεις του μοντέλου και τις πραγματικές ετικέτες αναφοράς.

Αυτή η βελτιστοποίηση επιτρέπει στο LLM να κατανοήσει τα περίπλοκα μοτίβα και τις λεπτές αποχρώσεις που είναι ενσωματωμένες στο επισημασμένο σύνολο δεδομένων. Κατά συνέπεια, το μοντέλο δεν είναι απλά ένα γενικευμένο εργαλείο, αλλά εξελίσσεται σε ένα εξειδικευμένο περιουσιακό στοιχείο, ικανό να εκτελεί την εργασία-στόχο με υψηλό βαθμό ακρίβειας.

Η ενισχυτική μάθηση είναι το επόμενο βήμα, που στοχεύει στην ευθυγράμμιση της συμπεριφοράς του μοντέλου με τις ανθρώπινες προτιμήσεις πιο στενά.

Η φάση της λεπτομερούς προσαρμογής χρησιμοποίησε την Ενισχυτική Μάθηση από Ανθρώπινη Ανατροφοδότηση (RLHF), χρησιμοποιώντας τεχνικές όπως Δειγματοληψία Σπουδαιότητας και Εγγύς Πολιτική Βελτιστοποίηση για να εισαγάγει αλγοριθμικό θόρυβο, αποφεύγοντας τοπικά βέλτιστα. Αυτή η επαναληπτική λεπτομερή προσαρμογή δεν μόνο βελτίωσε το μοντέλο, αλλά και ευθυγράμμισε την έξοδό του με τις ανθρώπινες προσδοκίες.

Το Llama 2-Chat χρησιμοποίησε ένα πρωτόκολλο δυαδικής σύγκρισης για τη συλλογή δεδομένων ανθρώπινης προτίμησης, σηματοδοτώντας μια αξιοσημείωτη τάση προς πιο ποιοτικές προσεγγίσεις. Αυτός ο μηχανισμός ενημέρωσε τα Μοντέλα Ανταμοιβής, τα οποία στη συνέχεια χρησιμοποιήθηκαν για τη λεπτομερή προσαρμογή του μοντέλου διαλόγου.

Προσοχή Φάντασμα (Ghost Attention): Διάλογοι Πολλαπλών Γύρων

Η Meta εισήγαγε μια νέα λειτουργία, Προσοχή Φάντασμα (Ghost Attention) (GAtt), που έχει σχεδιαστεί για να βελτιώσει την απόδοση του Llama 2 σε διαλόγους πολλαπλών γύρων. Αυτό επιλύει αποτελεσματικά το μόνιμο ζήτημα της απώλειας πλαισίου σε συνεχιζόμενους διαλόγους. Η GAtt ενεργεί σαν μια άγκυρα, συνδέοντας τις αρχικές οδηγίες με όλα τα επόμενα μηνύματα του χρήστη. Σε συνδυασμό με τεχνικές ενισχυτικής μάθησης, βοηθά στην παραγωγή συνεπών, σχετικών και ευθυγραμμισμένων με τον χρήστη απαντήσεων σε μεγαλύτερους διαλόγους.

Από το Αποθετήριο Git της Meta Χρησιμοποιώντας download.sh

  1. Επισκεφθείτε την Ιστοσελίδα της Meta: Πηγαίνετε στην επίσημη ιστοσελίδα του Llama 2 και κάντε κλικ στο ‘Κατεβάστε το Μοντέλο’
  2. Συμπληρώστε τα Στοιχεία: Διαβάστε και αποδεχτείτε τους όρους και τις προϋποθέσεις για να προχωρήσετε.
  3. Επιβεβαίωση Email: Μόλις υποβληθεί η φόρμα, θα λάβετε ένα email από τη Meta με έναν σύνδεσμο για να κατεβάσετε το μοντέλο από το αποθετήριο Git τους.
  4. Εκτελέστε το download.sh: Κλωνοποιήστε το αποθετήριο Git και εκτελέστε το σενάριο download.sh. Αυτό το σενάριο θα σας ζητήσει να πιστοποιηθείτε χρησιμοποιώντας έναν σύνδεσμο από τη Meta που λήγει σε 24 ώρες. Θα επιλέξετε επίσης το μέγεθος του μοντέλου – 7B, 13B ή 70B.

Από το Hugging

  1. Λάβετε Email Αποδοχής: Μετά τη λήψη πρόσβασης από τη Meta, μεταβείτε στο Hugging Face.
  2. Αίτηση Πρόσβασης: Επιλέξτε το επιθυμητό μοντέλο και υποβάλετε αίτηση για να λάβετε πρόσβαση.
  3. Επιβεβαίωση: Περιμένετε ένα email ‘χορήγηση πρόσβασης’ εντός 1-2 ημερών.
  4. Δημιουργία Token Πρόσβασης: Μεταβείτε στις ‘Ρυθμίσεις’ του λογαριασμού σας στο Hugging Face για να δημιουργήσετε token πρόσβασης.

Η έκδοση 4.31 των Transformers είναι πλήρως συμβατή με το LLaMa 2 και ανοίγει πολλά εργαλεία και λειτουργίες μέσα στο οικοσύστημα του Hugging Face. Από τα σενάρια εκπαίδευσης και εξαγωγής συμπερασμάτων μέχρι την 4-bit κβαντοποίηση με bitsandbytes και την παραμετρικά αποδοτική λεπτομερή προσαρμογή (PEFT), το εργαλείο είναι εκτενές. Για να ξεκινήσετε, βεβαιωθείτε ότι είστε στην τελευταία έκδοση των Transformers και συνδεδεμένοι στο λογαριασμό σας στο Hugging Face.

Εδώ είναι μια συντομευμένη οδηγία για να τρέξετε το μοντέλο LLaMa 2 σε ένα περιβάλλον Google Colab, χρησιμοποιώντας ένα GPU runtime:

Google Colab Μοντέλο - T4 GPU

Google Colab Μοντέλο – T4 GPU

 

 

 

 

 

 

Εγκατάσταση Πακέτου


!pip install transformers
!huggingface-cli login

Εισαγωγή των Απαραίτητων Βιβλιοθηκών Python.

from transformers import AutoTokenizer
import transformers
import torch

Αρχικοποίηση του Μοντέλου και του Tokenizer

Σε αυτό το βήμα, καθορίστε ποιο μοντέλο Llama 2 θα χρησιμοποιήσετε. Για αυτήν την οδηγία, χρησιμοποιούμε το meta-llama/Llama-2-7b-chat-hf.

model = "meta-llama/Llama-2-7b-chat-hf"
tokenizer = AutoTokenizer.from_pretrained(model)

Ρύθμιση του Pipeline

Χρησιμοποιήστε το pipeline του Hugging Face για τη παραγωγή κειμένου με συγκεκριμένες ρυθμίσεις:

pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto")

Παραγωγή Ακολουθιών Κειμένου

Τέλος, τρέξτε το pipeline και δημιουργήστε μια ακολουθία κειμένου με βάση την είσοδο σας:

sequences = pipeline(
    'Who are the key contributors to the field of artificial intelligence?\n',
    do_sample=True,
    top_k=10,
    num_return_sequences=1,
    eos_token_id=tokenizer.eos_token_id,
    max_length=200)
for seq in sequences:
    print(f"Result: {seq['generated_text']}")

Το UI της A16Z για το LLaMa 2

Η Andreessen Horowitz (A16Z) έχει πρόσφατα κυκλοφορήσει μια πρωτοποριακή διεπαφή Streamlit για το Llama 2. Φιλοξενημένη στο GitHub, αυτή η διεπαφή διατηρεί την ιστορία του chat και προσφέρει επίσης την ευελιξία να επιλέξετε από πολλαπλά σημεία του Llama 2 που φιλοξενούνται στο Replicate. Αυτή η σχεδίαση που επικεντρώνεται στον χρήστη στοχεύει να απλοποιήσει τις αλληλεπιδράσεις με το Llama 2, καθιστώντας το ένα ιδανικό εργαλείο τόσο για τους προγραμματιστές όσο και για τους τελικούς χρήστες. Για όσους ενδιαφέρονται να το δοκιμάσουν, υπάρχει μια ζωντανή επίδειξη στο Llama2.ai.

Llama 2: Τι το κάνει διαφορετικό από τα Μοντέλα GPT και τον Προκάτοχό του Llama 1;

Ποικιλία σε Κλίμακα

Σε αντίθεση με πολλά γλωσσικά μοντέλα που προσφέρουν περιορισμένη κλιμάκωση, το Llama 2 σας δίνει πολλές διαφορετικές επιλογές για μοντέλα με διαφορετικές παραμέτρους. Το μοντέλο κλιμακώνεται από 7 δισεκατομμύρια έως 70 δισεκατομμύρια παραμέτρους, παρέχοντας μια σειρά από ρυθμίσεις για να καλύψει διαφορετικές υπολογιστικές ανάγκες.

Βελτιωμένο Μήκος Κοντέκστου

Το μοντέλο έχει αυξημένο μήκος κοντέκστου 4K token σε σύγκριση με το Llama 1. Αυτό του επιτρέπει να διατηρεί περισσότερες πληροφορίες, βελτιώνοντας την ικανότητά του να κατανοήσει και να δημιουργήσει πιο σύνθετο και εκτενές περιεχόμενο.

Προσοχή Ομαδοποιημένων Ερωτημάτων (GQA)

Η αρχιτεκτονική χρησιμοποιεί την έννοια της GQA, που έχει σχεδιαστεί για να επιταχύνει την υπολογιστική διαδικασία προσοχής, αποθηκεύοντας προηγούμενα ζεύγη token. Αυτό αποτελεσματικά βελτιώνει την κλιμάκωση της εξαγωγής συμπερασμάτων του μοντέλου, αυξάνοντας την προσβασιμότητά του.

Συγκριτικές Δοκιμές Απόδοσης

Συγκριτική Ανάλυση Απόδοσης των Μοντέλων Llama 2-Chat με το ChatGPT και Άλλους Ανταγωνιστές

Ανάλυση Απόδοσης των Μοντέλων Llama 2-Chat με το ChatGPT και Άλλους Ανταγωνιστές

Το Llama 2 έχει θέσει ένα νέο πρότυπο στην απόδοση. Δεν μόνο ξεπερνά τον προκάτοχό του, Llama 1, αλλά προσφέρει επίσης σημαντική ανταγωνιστικότητα σε άλλα μοντέλα όπως το Falcon και το GPT-3.5.

Το μεγαλύτερο μοντέλο του Llama 2-Chat, το 70B, ξεπερνά επίσης το ChatGPT σε 36% των περιπτώσεων και ισοφαρίζει την απόδοση σε άλλες 31,5% των περιπτώσεων. Πηγή: Εργασία

Ανοικτός Κώδικας: Η Δύναμη της Κοινότητας

Η Meta και η Microsoft έχουν την πρόθεση να κάνουν το Llama 2 περισσότερο από ένα προϊόν. Το έχουν ως ένα εργαλείο που οδηγείται από την κοινότητα. Το Llama 2 είναι δωρεάν για πρόσβαση τόσο για έρευνα όσο και για μη εμπορικούς σκοπούς. Στόχος είναι να δημοκρατικοποιήσουν τις ικανότητες του AI, καθιστώντας το προσιτό σε startups, ερευνητές και επιχειρήσεις. Η ανοικτή προσέγγιση επιτρέπει την ‘crowdsourced αντιμετώπιση προβλημάτων’ του μοντέλου. Οι προγραμματιστές και οι ειδικοί στην ηθική της AI μπορούν να το υποβάλουν σε δοκιμές αντοχής, να ανακαλύψουν ευπάθειες και να προσφέρουν λύσεις με επιταχυνόμενο ρυθμό.

Παρότι οι όροι αδειοδότησης του LLaMa 2 είναι γενικά επιτρεπτικοί, υπάρχουν εξαιρέσεις. Μεγάλες επιχειρήσεις με περισσότερους από 700 εκατομμύρια μηνιαίους χρήστες, όπως η Google, χρειάζονται ρητή έγκριση της Meta για τη χρήση του. Επιπλέον, η άδεια απαγορεύει τη χρήση του LLaMa 2 για τη βελτίωση άλλων γλωσσικών μοντέλων.

Τρέχουσες Προκλήσεις με το Llama 2

  1. Γενίκευση Δεδομένων: Τόσο το Llama 2 όσο και το GPT-4 μερικές φορές δυσκολεύονται να έχουν ομοιόμορφα υψηλή απόδοση σε διαφορετικές εργασίες. Η ποιότητα και η ποικιλία των δεδομένων είναι εξίσου κρίσιμες με τον όγκο σε αυτές τις περιπτώσεις.
  2. Διαφάνεια Μοντέλου: Λαμβάνοντας υπόψη τις προηγούμενες αποτυχίες του AI να παράγει παραπλανητικές εξόδους, η διερεύνηση της λογικής λήψης αποφάσεων αυτών των σύνθετων μοντέλων είναι κρίσιμη.

Code Llama – Η Τελευταία Κυκλοφορία της Meta

Η Meta ανακοίνωσε πρόσφατα το Code Llama, που είναι ένα μεγάλο γλωσσικό μοντέλο εξειδικευμένο στον προγραμματισμό με μεγέθη παραμέτρων από 7B έως 34B. Παρόμοια με το ChatGPT Code Interpreter, το Code Llama μπορεί να απλοποιήσει τις εργασίες των προγραμματιστών και να κάνει τον προγραμματισμό πιο προσιτό. Υποστηρίζει διάφορες γλώσσες προγραμματισμού και έρχεται σε εξειδικευμένες εκδόσεις, όπως το Code Llama–Python για εργασίες Python. Το μοντέλο προσφέρει επίσης διαφορετικά επίπεδα απόδοσης για να καλύψει διαφορετικές απαιτήσεις καθυστέρησης. Ανοικτά αδειοδοτημένο, το Code Llama καλεί την κοινότητα να συμβάλλει στην συνεχιζόμενη βελτίωση.
https://about.fb.com/news/2023/08/code-llama-ai-for-coding/

Συμπέρασμα

Αυτό το άρθρο σας οδήγησε στη ρύθμιση του μοντέλου Llama 2 για παραγωγή κειμένου στο Google Colab με υποστήριξη Hugging Face. Η απόδοση του Llama 2 τροφοδοτείται από μια σειρά προηγμένων τεχνικών, από αυτοπαλινδρομικές αρχιτεκτονικές μετασχηματιστών μέχρι την Ενισχυτική Μάθηση με Ανθρώπινη Ανατροφοδότηση (RLHF). Με μέχρι 70 δισεκατομμύρια παραμέτρους και λειτουργίες όπως η Προσοχή Φάντασμα (Ghost Attention), αυτό το μοντέλο ξεπερνά τα τρέχοντα βιομηχανικά πρότυπα σε ορισμένες περιοχές, και με τη φύση του ανοικτού κώδικα, ανοίγει τον δρόμο για μια νέα εποχή στην φυσική γλωσσική κατανόηση και τη γενετική νοημοσύνη.

Έχω περάσει τα τελευταία πέντε χρόνια βυθισμένος στον συναρπαστικό κόσμο της Μηχανικής Μάθησης και της Βαθιάς Μάθησης. Το πάθος μου και η εξειδίκευσή μου με οδήγησαν να συμβάλλω σε πάνω από 50 διαφορετικά έργα μηχανικής λογισμικού, με ιδιαίτερη έμφαση στο AI/ML. Η συνεχής περιέργειά μου με έχει οδηγήσει επίσης προς την Επεξεργασία Φυσικής Γλώσσας, ένα πεδίο που είμαι πρόθυμος να εξερευνήσω περαιτέρω.