LoRA, QLoRA και QA-LoRA: Αποτελεσματική Προσαρμογή σε Μεγάλους Γλωσσικούς Μοντέλους Μέσω Χαμηλού Βαθμού Παράγωγης Πυρήνα

Ο βαθμός ενός πίνακα μας δίνει μια γνώση για τις διαστάσεις που δημιουργούνται από τις στήλες του, καθορίζεται από τον αριθμό των μοναδικών γραμμών ή στηλών που έχει.

• Πλήρης-Βαθμός Πίνακας: Ο βαθμός του αντιστοιχεί στο μικρότερο αριθμό μεταξύ των γραμμών και των στηλών του.
• Χαμηλού-Βαθμού Πίνακας: Με einen βαθμό που είναι σημαντικά μικρότερος και από τις γραμμές και από τις στήλες του, καταγράφει λιγότερες ιδιότητες.

Τώρα, τα μεγάλα μοντέλα έχουν μια ευρεία κατανόηση του τομέα τους, όπως η γλώσσα στα γλωσσικά μοντέλα. Αλλά, η λεπτοβελτίωση τους για συγκεκριμένες εργασίες συχνά απαιτεί μόνο την επισήμανση ενός μικρού μέρους αυτής της κατανόησης. Εδώ είναι όπου η LoRA λάμπει. Υποδεικνύει ότι ο πίνακας που παρουσιάζει αυτές τις αλλαγές βαρών μπορεί να είναι ένας χαμηλού βαθμού πίνακας, καταγράφοντας λιγότερες ιδιότητες.

Η LoRA περιορίζει έξυπνα τον βαθμό του πίνακα ενημερώσεων分割οντας τον σε δύο μικρότερους πίνακες. Έτσι, αντί να αλλάξει ολόκληρο τον πίνακα βαρών, αλλάζει μόνο ένα μέρος του, καθιστώντας την εργασία της λεπτοβελτίωσης πιο αποτελεσματική.

Εφαρμογή της LoRA στους Μετασχηματιστές

Η LoRA βοηθά στην ελαφράωση του φόρτου εκπαίδευσης στα νευρωνικά δίκτυα, εστιάζοντας σε συγκεκριμένους πίνακες βαρών. Υπό την αρχιτεκτονική του μετασχηματιστή, ορισμένοι πίνακες βαρών συνδέονται με τον μηχανισμό της αυτο-προσοχής, συγκεκριμένα Wq, Wk, Wv και Wo, εκτός από δύο ακόμη στο模块 του MLP.

Αρχιτεκτονική Μετασχηματιστή

Κεφαλές Προσοχής Μετασχηματιστή

Μαθηματική Εξήγηση της LoRA

Ας αναλύσουμε τα μαθηματικά της LoRA:

1. Προ-Εκπαιδευμένος Πίνακας Βαρών W0​:
   • Ξεκινάμε με έναν προ-εκπαιδευμένο πίνακα βαρών W0​ των διαστάσεων $d\times k$. Αυτό σημαίνει ότι ο πίνακας έχει $d$ γραμμές και $k$ στήλες.
2. Χαμηλού-Βαθμού Αποσύνθεση:
   • Αντί να ενημερώσουμε απευθείας ολόκληρο τον πίνακα W0​, που μπορεί να είναι υπολογιστικά ακριβό, η μέθοδος προτείνει μια χαμηλού-βαθμού αποσύνθεση.
   • Η ενημέρωση $\Delta W$ του W0​ μπορεί να αναπαρασταθεί ως γινόμενη δύο πινάκων: $B$ και $A$.
   • Ο πίνακας $B$ έχει διαστάσεις $d\times r$.
   • Ο πίνακας $A$ έχει διαστάσεις $r\times k$.
   • Ο κρίσιμος σημείο εδώ είναι ότι ο βαθμός $r$ είναι πολύ μικρότερος και από τις $d$ και $k$, που επιτρέπει μια πιο υπολογιστικά αποτελεσματική αναπαράσταση.
3. Εκπαίδευση:
   • Κατά τη διάρκεια της εκπαίδευσης, το W0​ παραμένει αμετάβλητο. Αυτό ονομάζεται “παγώνοντας” τα βάρη.
   • Από την άλλη πλευρά, τα $A$ και $B$ είναι οι εκπαιδεύσιμοι παράμετροι. Αυτό σημαίνει ότι, κατά τη διάρκεια της εκπαίδευσης, γίνονται προσαρμογές στα $A$ και $B$ για να βελτιωθεί η απόδοση του μοντέλου.
4. Πολλαπλασιασμός και Πρόσθεση:
   • Και το W0​ και η ενημέρωση $\Delta W$ (που είναι το γινόμενο του $B$ και $A$) πολλαπλασιάζονται με την ίδια είσοδο (που σημειώνεται ως $x$).
   • Τα αποτελέσματα αυτών των πολλαπλασιασμών προστίθενται.
   • Αυτή η διαδικασία συνοψίζεται στην εξίσωση: h=W0​x+ΔWx=W0​x+BAx. Εδώ, $h$ αντιπροσωπεύει την τελική έξοδο μετά την εφαρμογή των ενημερώσεων στην είσοδο $x$.

Συντομότερα, αυτή η μέθοδος επιτρέπει μια πιο αποτελεσματική τρόπο ενημέρωσης ενός μεγάλου πίνακα βαρών, αναπαρίσταντας τις ενημερώσεις με μια χαμηλού-βαθμού αποσύνθεση, που μπορεί να είναι ωφέλιμη όσον αφορά την υπολογιστική αποτελεσματικότητα και τη χρήση μνήμης.

LoRA

Εκκίνηση και Κλιμάκωση:

Όταν εκπαιδεύουμε μοντέλα, το πώς αρχικοποιούμε τις παραμέτρους μπορεί να επηρεάσει σημαντικά την αποτελεσματικότητα και την αποτελεσματικότητα της διαδικασίας μάθησης. Στο πλαίσιο της ενημέρωσης του πίνακα βαρών με $A$ και $B$:

1. Αρχικοποίηση των Πινάκων $A$ και $B$:
   • Πίνακας $A$: Αυτός ο πίνακας αρχικοποιείται με τυχαίες Γκαουσιανές τιμές, επίσης γνωστές ως κανονική κατανομή. Ο λόγος για την उपयογή της Γκαουσιανής αρχικοποίησης είναι να σπάσει τη συμμετρία: διαφορετικά νευρώνες στην ίδια στρώση θα μάθουν διαφορετικά χαρακτηριστικά όταν έχουν διαφορετικές αρχικές βάρη.
   • Πίνακας $B$: Αυτός ο πίνακας αρχικοποιείται με μηδενικά. Κάνοντας così, η ενημέρωση $\Delta W=BA$ αρχίζει ως μηδέν στην αρχή της εκπαίδευσης. Αυτό εξασφαλίζει ότι δεν υπάρχει απότομη αλλαγή στη συμπεριφορά του μοντέλου στην αρχή, επιτρέποντας στο μοντέλο να προσαρμοστεί σταδιακά καθώς το $B$ μαθαίνει κατάλληλες τιμές κατά τη διάρκεια της εκπαίδευσης.
2. Κλιμάκωση της Έξοδου από $\Delta W$:
   • Μετά τον υπολογισμό της ενημέρωσης $\Delta W$, η έξοδος κλιμακώνεται με έναν παράγοντα rα​ όπου $\alpha$ είναι μια σταθερά. Με την κλιμάκωση, ελέγχεται η μεγέθυνση των ενημερώσεων.
   • Η κλιμάκωση είναι ιδιαίτερα κρίσιμη όταν ο βαθμός $r$ αλλάζει. Για παράδειγμα, αν αποφασίσετε να αυξήσετε τον βαθμό για μεγαλύτερη ακρίβεια (με το κόστος της υπολογιστικής), η κλιμάκωση εξασφαλίζει ότι δεν χρειάζεται να調整σετε πολλές άλλες υπερπαράμετρους στη διαδικασία. Παρέχει ένα επίπεδο σταθερότητας στο μοντέλο.

Πρακτική Επίδραση της LoRA

Η LoRA έχει αποδείξει την ικανότητά της να προσαρμόζει τα LLM σε συγκεκριμένα καλλιτεχνικά στυλ αποτελεσματικά από άτομα της κοινότητας του AI. Αυτό ήταν ιδιαίτερα εμφανές στην προσαρμογή ενός μοντέλου για να μιμηθεί το καλλιτεχνικό στυλ του Greg Rutkowski.

Όπως υπογραμμίστηκε στο έγγραφο με το GPT-3 175B ως παράδειγμα. Έχοντας μεμονωμένες εκδόσεις των μοντέλων που έχουν υποβληθεί σε λεπτοβελτίωση με 175B παραμέτρους το καθένα είναι αρκετά ακριβό. Αλλά με την LoRA, οι εκπαιδεύσιμες παραμέτρους μειώνονται κατά 10.000 φορές, και η χρήση μνήμης GPU μειώνεται στο ένα τρίτο.

Επίδραση LoRa στη Ρύθμιση GPT-3

Η LoRA δεν μόνο αποτελεί ένα σημαντικό βήμα προς την κατεύθυνση της καθιστά τα LLM πιο προσιτά αλλά και υπογραμμίζει την δυνατότητα να γεφυρώσει το χάσμα μεταξύ θεωρητικών προόδων και πρακτικών εφαρμογών στον τομέα του AI. Μειώνοντας τις υπολογιστικές προκλήσεις και διευκολύνοντας μια πιο αποτελεσματική διαδικασία προσαρμογής, η LoRA είναι έτοιμη να παίξει ένα κρίσιμο ρόλο στην ευρύτερη υιοθέτηση και ανάπτυξη των LLM σε πραγματικές εφαρμογές.

QLoRA (Quantized)

Ενώ η LoRA είναι ένας game-changer στην μείωση των απαιτήσεων αποθήκευσης, εξακολουθεί να απαιτεί ένα ισχυρό GPU για να φορτώσει το μοντέλο για εκπαίδευση. Εδώ είναι όπου η QLoRA, ή Quantized LoRA, εισέρχεται, συνδυάζοντας την LoRA με Quantization για μια έξυπνη προσέγγιση.

Quantization

Κανονικά, οι παράμετροι βαρών αποθηκεύονται σε μορφή 32-bit (FP32), που σημαίνει ότι κάθε στοιχείο του πίνακα καταλαμβάνει 32 bits χώρου. Φανταστείτε αν μπορούσαμε να συμπιέσουμε τις ίδιες πληροφορίες σε μόνο 8 ή ακόμη και 4 bits. Αυτή είναι η βασική ιδέα πίσω από την QLoRA. Η Quantization αναφέρεται στη διαδικασία της αντιστοίχισης συνεχών απεριόριστων τιμών σε ένα μικρότερο σύνολο διακριτών πεπερασμένων τιμών. Στο контέκστ των LLM, αναφέρεται στη διαδικασία της μετατροπής των βαρών του μοντέλου από υψηλότερης ακρίβειας τύπους δεδομένων σε χαμηλότερης ακρίβειας.

Quantization σε LLM

Εδώ είναι μια απλούστερη αναπαράσταση της QLoRA:

1. Αρχική Quantization: Πρώτα, το Μεγάλο Γλωσσικό Μοντέλο (LLM) quantize σε 4 bits, μειώνοντας σημαντικά την αποθηκευτική απήχηση.
2. Εκπαίδευση LoRA: Στη συνέχεια, εκτελείται η εκπαίδευση LoRA, αλλά σε τυπική ακρίβεια 32-bit (FP32).

Τώρα, μπορείτε να αναρωτηθείτε, γιατί να επιστρέψετε στα 32 bits για εκπαίδευση μετά τη συρρίκνωση σε 4 bits; Για να εκπαιδεύσετε αποτελεσματικά τους προσαρμογείς LoRA σε FP32, τα βάρη του μοντέλου πρέπει επίσης να επιστρέψουν στα FP32. Αυτή η εναλλαγή μεταξύ 32 bits και 4 bits γίνεται με ένα έξυπνο, βήμα-προς-βήμα τρόπο για να αποφευχθεί η υπερφόρτωση της μνήμης GPU.

Η LoRA βρίσκει πρακτική εφαρμογή στη βιβλιοθήκη Parameter Efficient Fine-Tuning (PEFT) της Hugging Face, απλοποιώντας την χρήση της. Για εκείνους που θέλουν να χρησιμοποιήσουν την QLoRA, είναι διαθέσιμη μέσω συνδυασμού των βιβλιοθηκών bitsandbytes και PEFT. Επιπλέον, η βιβλιοθήκη Transformer Reinforcement Learning (TRL) της HuggingFace διευκολύνει την επιβλεπόμενη λεπτοβελτίωση με ενσωματωμένη υποστήριξη για LoRA. Μαζί, αυτές οι τρεις βιβλιοθήκες παρέχουν το απαραίτητο εργαλείο για την λεπτοβελτίωση ενός επιλεγμένου προ-εκπαιδευμένου μοντέλου, επιτρέποντας τη δημιουργία πειστικών και συνεκτικών περιγραφών προϊόντων όταν ζητείται με συγκεκριμένες οδηγίες.

Συμπέρασμα

Σε αυτό το άρθρο, θίξαμε τις προκλήσεις που θέτουν τα LLM λόγω του τεράστιου μεγέθους τους. Εξετάσαμε τις παραδοσιακές μεθόδοι λεπτοβελτίωσης και τις σχετικές υπολογιστικές και οικονομικές απαιτήσεις. Η ουσία της LoRA έγκειται στην ικανότητά της να τροποποιήσει τα προ-εκπαιδευμένα μοντέλα χωρίς να τα ξανα-εκπαιδεύσει ολόκληρα, μειώνοντας τις εκπαιδεύσιμες παραμέτρους και καθιστώντας τη διαδικασία προσαρμογής πιο οικονομική.

Επίσης, εξετάσαμε σύντομα την Quantized LoRA (QLoRA), ένα συνδυασμό της LoRA και της Quantization, που μειώνει την αποθηκευτική απήχηση του μοντέλου ενώ διατηρεί την απαραίτητη ακρίβεια για εκπαίδευση. Με αυτές τις προηγμένες τεχνικές, οι επαγγελματίες είναι τώρα εξοπλισμένοι με μια ισχυρή βιβλιοθήκη, διευκολύνοντας την ευρύτερη υιοθέτηση και ανάπτυξη των LLM σε ένα φάσμα πραγματικών εφαρμογών.

Matrix

Αυτές οι στρατηγικές έχουν σχεδιαστεί για να ισορροπήσουν μεταξύ της καθιστά τα LLM προσαρμόσιμα για συγκεκριμένες εργασίες και της διασφάλισης ότι οι διαδικασίες λεπτοβελτίωσης και ανάπτυξης δεν είναι υπερβολικά απαιτητικές όσον αφορά την υπολογιστική και αποθηκευτική δυνατότητα.