Μοντέλα και πλατφόρμες AI
Zephyr-7B: Το υπερβελτιστοποιημένο μεγάλο γλωσσικό μοντέλο της Hugging Face που βασίζεται στο Mistral 7B
Βασικά σημείαΤο Zephyr αποδεικνύει ότι ένα μικρό ανοιχτό μοντέλο μπορεί να ανταγωνιστεί πολύ…
Δείτε περισσότερα
- Το Zephyr αποδεικνύει ότι ένα μικρό ανοιχτό μοντέλο μπορεί να ανταγωνιστεί πολύ μεγαλύτερα συστήματα συνομιλίας μέσω απόσταξης.
- Η αποσταγμένη άμεση βελτιστοποίηση προτιμήσεων ευθυγραμμίζει τα μοντέλα χρησιμοποιώντας ανατροφοδότηση από τεχνητή νοημοσύνη αντί για δαπανηρή ανθρώπινη επισημείωση.
- Το GPT-4 ως αξιολογητής αναφοράς μεροληπτεί τα αποτελέσματα υπέρ των μοντέλων που έχουν αποσταχθεί από αυτό.
Εισαγωγή
Η εξέλιξη των ανοιχτών μεγάλων γλωσσικών μοντέλων (LLM) έχει επηρεάσει σημαντικά την ερευνητική κοινότητα του AI, ιδιαίτερα στην ανάπτυξη chatbot και παρόμοιων εφαρμογών. Μετά την κυκλοφορία μοντέλων όπως το LLaMA, υπήρξε μια αύξηση της έρευνας για την αποδοτική λεπτομερή προσαρμογή, την επεξεργασία μεγαλύτερων προτροπών, την παραγωγή με ενίσχυση από ανάκτηση πληροφοριών (RAG) και την κβάντιση.
Το μοντέλο LLaMA, για παράδειγμα, σηματοδότησε μια νέα εποχή στην εκπαίδευση και την προσαρμογή του πλαισίου των προτροπών, ανοίγοντας τον δρόμο για τα επόμενα μοντέλα όπως το MPT της MosaicML, το RedPajama-INCITE της Together AI, το Falcon της TII και το Llama 2 της Meta. Κάθε ένα από αυτά τα μοντέλα συνεισφέρει μοναδικές ικανότητες, ενισχύοντας την συνολική λειτουργικότητα και το πεδίο των LLM.
Η Mistral AI, μια εταιρεία από το Παρίσι και ιδρυθείσα από πρώην υπαλλήλους της Google DeepMind και Meta, έχει κάνει το όνομά της με την πρώτη της προσφορά: το Mistral 7B.
Το Mistral 7B έχει το πλεονέκτημα της αποτελεσματικότητας, προσφέροντας παρόμοιες ή ενισχυμένες ικανότητες σε σύγκριση με τους ομολόγους του, όπως το Llama 2, αλλά με λιγότερη υπολογιστική ζήτηση.
Ειδικά προσαρμοσμένο για εργασίες εκτέλεσης οδηγιών, το Mistral 7B Instruct ξεχωρίζει σε πλατφόρμες όπως η Hugging Face, όπου υπερβαίνει άλλα μοντέλα του ίδιου μεγέθους και ανταγωνίζεται στενά με αυτά που έχουν σχεδόν το διπλό αριθμό παραμέτρων.
Βασισμένη σε αυτό, η Hugging Face εισήγαγε το Zephyr 7B Alpha, δείχνοντας ότι ένα μοντέλο Mistral 7B που έχει υποβληθεί σε εκπαίδευση μπορεί να υπερβεί τις ικανότητες μεγαλύτερων μοντέλων και, σε ορισμένες εργασίες, ακόμη και να ανταγωνιστεί το GPT-4. Το “Alpha” ήταν μόνο η αρχή, καθώς ακολούθησε το Zephyr 7B Beta.
Αυτό το άρθρο θα εξετάσει πώς το Zephyr 7B αξιοποιεί τη δύναμη μεγαλύτερων μοντέλων για να βελτιώσει την ικανότητά του να απαντά και να ευθυγραμμίζεται με τις ανθρώπινες οδηγίες, μια διαδικασία που καθίσταται δυνατή μέσω της τεχνικής της απόσταξης γνώσης. Αυτή η μέθοδος περιλαμβάνει την εκπαίδευση μικρότερων μοντέλων στα σύνθετα μοτίβα που έχουν μάθει τα μεγαλύτερα μοντέλα, μειώνοντας τις απαιτήσεις εκπαίδευσης χωρίς να θυσιάζεται η ικανότητα μοντελοποίησης της γλώσσας. Θα εμβαθύνουμε στις λεπτομέρειες της προσέγγισης της Hugging Face για την απόσταξη γνώσης.
Απόσταξη Γνώσης
Μια βασική καινοτομία στην ανάπτυξη μοντέλων όπως το Zephyr-7B είναι η λεπτομερής εποπτευόμενη προσαρμογή μέσω απόσταξης (dSFT). Αυτή η μέθοδος περιλαμβάνει την αξιοποίηση της έξοδου από ένα μεγαλύτερο, πιο ικανό “δάσκαλο” μοντέλο για την εκπαίδευση ενός μικρότερου “μαθητή” μοντέλου, βελτιώνοντας την ακρίβειά του. Ενώ η απόσταξη βελτιώνει τα ανοιχτά μοντέλα σε διάφορες εργασίες, ακόμη υπάρχει ένα χάσμα στην απόδοση σε σύγκριση με τα μοντέλα δασκάλου.
Η απόσταξη γνώσης είναι μια μέθοδος στη μηχανική μάθηση όπου ένα συμπαγές μοντέλο, που ονομάζεται “μαθητής“, διδάσκεται να αναπαράγει την απόδοση ενός μεγαλύτερου, πιο σύνθετου μοντέλου “δασκάλου“. Αυτή η τεχνική επιτρέπει στον μαθητή να εκτελεί εργασίες που ήταν προηγουμένως πέρα από τις δυνατότητές του, μεταφέροντας τα περίπλοκα μοτίβα που έχει μάθει ο δάσκαλος.
Το μοντέλο-μαθητής εκπαιδεύεται στις πιθανότητες εξόδου ή στα χαρακτηριστικά που παράγονται από το μοντέλο δασκάλου, εστιάζοντας στο να ταιριάζουν αυτές οι έξοδοι αντί να επικεντρωθεί μόνο στις τελικές προβλέψεις. Αυτό επιτρέπει στον μαθητή να μάθει τις πολύπλοκες διαδικασίες λήψης αποφάσεων του δασκάλου, συχνά με αποτέλεσμα την βελτίωση της απόδοσης σε σύγκριση με την εκπαίδευση μόνο με τα δεδομένα αναφοράς με σωστές επισημάνσεις.
Ιστορικά, η απόσταξη γνώσης έχει χρησιμοποιηθεί σε μοντέλα όπως τα αρχικά δίκτυα απόσταξης του Hinton, και πιο πρόσφατα στο NLP με μοντέλα όπως το DistilBERT, το οποίο απέσταξε το μοντέλο BERT σε ένα μικρότερο, ταχύτερο που διατηρεί τις περισσότερες από τις αρχικές ικανότητες γλωσσικής κατανόησης. Ένα άλλο παράδειγμα είναι το TinyBERT, το οποίο προωθεί την βελτιστοποίηση του μεγέθους και της ταχύτητας για κινητές ή περιφερειακές συσκευές.
Στην περίπτωση του Zephyr-7B, η απόσταξη γνώσης χρησιμοποιείται για να ενδυναμώσει ένα μικρότερο μοντέλο 7B παραμέτρων με τις ικανότητες των μεγαλύτερων ομόλογων του. Με αυτόν τον τρόπο, το Zephyr-7B επιτυγχάνει μια ισορροπία μεταξύ απόδοσης και αποτελεσματικότητας, καθιστώντας το κατάλληλο για περιβάλλοντα όπου οι υπολογιστικοί πόροι είναι περιορισμένοι, χωρίς να θυσιάζει την ποιότητα της αλληλεπίδρασης και της κατανόησης.
Στην ανάπτυξη του Zephyr-7B, οι ερευνητές αντιμετώπισαν την πρόκληση της ευθυγράμμισης ενός μικρού ανοιχτού LLM εξ ολοκλήρου μέσω απόσταξης. Εισήγαγαν μια προσέγγιση που ονομάζεται αποσταγμένη άμεση βελτιστοποίηση προτίμησης (dDPO), η οποία χρησιμοποιεί AI ανατροφοδότηση από ένα σύνολο δασκάλων μοντέλων ως δεδομένα προτίμησης. Αυτή η μέθοδος, που δεν απαιτεί ανθρώπινη επισήμανση, μειώνει σημαντικά τον χρόνο και τους πόρους που απαιτούνται για την εκπαίδευση του μοντέλου.
Κατασκευή του ZEPHYR-7B
Για να επικυρώσουν την dDPO, οι ερευνητές κατασκεύασαν το ZEPHYR-7B, μια ευθυγραμμισμένη έκδοση του μοντέλου Mistral-7B. Η διαδικασία περιελάμβανε τρία βήματα:
- dSFT χρησιμοποιώντας το σύνολο δεδομένων UltraChat: Η λεπτομερής εποπτευόμενη προσαρμογή μέσω απόσταξης (dSFT) είναι μια προηγμένη μέθοδος για την εκπαίδευση μεγάλων γλωσσικών μοντέλων (LLM) αξιοποιώντας την έξοδο από μεγαλύτερα, πιο ικανά “δάσκαλο” μοντέλα. Ξεκινά με ένα ακατέργαστο LLM που εκπαιδεύεται να απαντά σε προτροπές χρήστη. Σε αντίθεση με την παραδοσιακή εποπτευόμενη εκπαίδευση (SFT) που χρησιμοποιεί ένα σταθερό σύνολο δεδομένων, η dSFT χρησιμοποιεί μια δυναμική προσέγγιση όπου το μοντέλο γεννάει οδηγίες και απαντήσεις. Αυτή η μέθοδος, γνωστή ως self-instruct, περιλαμβάνει την αξιοποίηση του δασκάλου μοντέλου για να απαντήσει και να βελτιώσει τις οδηγίες με βάση τις απαντήσεις. Η διαδικασία ξεκινά με αρχικές προτροπές (x₀₁, x₀₂, …, x₀_J) για διαφορετικά θέματα. Κάθε προτροπή βελτιώνεται επαναληπτικά: για την x₀ το μοντέλο-δάσκαλος παράγει την απάντηση y₀ και στη συνέχεια δειγματοληπτείται νέα οδηγία x₁ βάσει των x₀ και y₀. Το τελικό σύνολο C = {(x₁, y₁), …, (x_J, y_J)} χρησιμοποιείται για τη λεπτομερή προσαρμογή.
- Ενσωμάτωση δεδομένων ανατροφοδότησης AI από το UltraFeedback: Αυτά τα δεδομένα ήταν κρίσιμα για την βελτίωση των απαντήσεων του μοντέλου. Σε αυτό το βήμα, το μοντέλο γεννάει απαντήσεις σε διάφορες προτροπές (όπως περιγράφοντας πώς να φτιάξετε μπράουνις σοκολάτας) που στη συνέχεια αξιολογούνται από ένα πιο προηγμένο μοντέλο όπως το GPT-4. Η υψηλότερη βαθμολογούμενη απάντηση (yw) και μια τυχαία χαμηλότερα βαθμολογούμενη απάντηση (yl) σχηματίζουν ένα σύνολο δεδομένων ανατροφοδότησης D.
- Εφαρμογή dDPO: Η τελευταία φάση, η αποσταγμένη άμεση βελτιστοποίηση προτίμησης (dDPO), περιλαμβάνει την βελτίωση του μοντέλου dSFT μέσω της μεγιστοποίησης της πιθανότητας να βαθμολογηθούν οι προτιμώμενες απαντήσεις υψηλότερα. Αυτό επιτυγχάνεται χρησιμοποιώντας μια συνάρτηση ανταμοιβής rθ(x, y) στο μοντέλο προτίμησης, η οποία βασίζεται στην βέλτιστη πολιτική LLM π* και την αρχική πολιτική πdSFT. Το αντικείμενο της βελτιστοποίησης διαμορφώνεται ως πθ = max π E (x, yw, yl) ∼ D log σ (β log π(yw|x)/πdSFT(yw|x) − β log π(yl|x)/πdSFT(yl|x)), που απλοποιεί την διαδικασία εκπαίδευσης ξεκινώντας από την εκδοχή dSFT του μοντέλου και επαναλαμβάνοντας κάθε τριάδα AIF.

Η μέθοδος που χρησιμοποιείται στο Zephyr-7B αντανακλά τις διαδικασίες που χρησιμοποιούνται στο InstructGPT.
Εξαιρετικά, το Zephyr-7B επιτυγχάνει απόδοση συγκρίσιμη με μοντέλα 70B παραμέτρων που ευθυγραμμίζονται με ανθρώπινη ανατροφοδότηση. Ξεχωρίζει και στις ακαδημαϊκές βάσεις και στις συνομιλητικές ικανότητες, υπογραμμίζοντας την αποτελεσματικότητα της μάθησης προτίμησης στη ανάπτυξη μοντέλων. Για περαιτέρω διερεύνηση, μοντέλα, κώδικας και οδηγίες είναι διαθέσιμα στο Αποθετήριο της Hugging Face.
Αντιμετώπιση της Πρόκλησης της Ευθυγράμμισης Προθέσεων
Μια αξιοσημείωτη ανησυχία με τα LLM ήταν η ευθυγράμμισή τους με τις ανθρώπινες προθέσεις. Προηγούμενα μοντέλα συχνά απέτυχαν να παράγουν απαντήσεις που ταιριάζουν με τις προτιμήσεις των χρηστών, οδηγώντας σε ανακριβείς ή άσχετες απαντήσεις. Ωστόσο, πρόσφατες βάσεις όπως το MT-Bench και το AlpacaEval έχουν παρέχει εργαλεία για να ποσοτικοποιήσουν και να βελτιώσουν αυτή την πτυχή, υπογραμμίζοντας την υπεροχή των ιδιωτικών μοντέλων που εκπαιδεύονται με ανθρώπινη ανατροφοδότηση σε σχέση με εκείνα που εκπαιδεύονται μόνο μέσω απόσταξης.
Μέθοδοι Αξιολόγησης
Η αξιολόγηση του Zephyr 7B περιελάμβανε αυστηρά τεστ σε βάσεις που αξιολογούν τις συνομιλητικές ικανότητες του μοντέλου σε διαλόγους ενός και πολλών γύρων:
- MT-Bench: Αυτή η πολυ-στροφική βάση απαιτεί από το μοντέλο να απαντήσει σε 160 ερωτήσεις που καλύπτουν οκτώ τομείς. Κάθε απάντηση αξιολογείται από το GPT-4, με το τελικό σκορ του μοντέλου να αντανακλά τον μέσο όρο δύο γύρων ερωτήσεων.
- AlpacaEval: Σε αυτή τη μονο-στροφική βάση, το μοντέλο παρουσιάζεται με 805 ερωτήσεις σε διάφορα θέματα. Η έμφαση εδώ είναι στην χρησιμότητα του μοντέλου, με το GPT-4 να βαθμολογεί τις απαντήσεις για να καθορίσει έναν συγκριτικό ρυθμό νικών.
Επιπλέον, το Zephyr 7B δοκιμάστηκε στην Ανοιχτή Λίστα LLM, η οποία, αν και δεν είναι μια άμεση αξιολόγηση των συνομιλητικών ικανοτήτων, παρέχει πληροφορίες για την ικανότητα του μοντέλου στη σκέψη και την αλήθεια μετά την εκπαίδευση.
Το Zephyr 7B συγκρίθηκε με μια ποικιλία ανοιχτών και ιδιωτικών μοντέλων, συμπεριλαμβανομένων εκείνων με διαφορετικά μεγέθη και μεθόδους ευθυγράμμισης. Καθιέρωσε νέες βάσεις για μοντέλα 7B στο MT-Bench και AlpacaEval και έδειξε ανταγωνιστική απόδοση έναντι μεγαλύτερων μοντέλων, επικυρώνοντας την αποτελεσματικότητα της άμεσης βελτιστοποίησης προτίμησης (dDPO) στην εκπαίδευση.
Η φάση εκπαίδευσης SFT και DPO ρυθμίστηκε με προσοχή, καλύπτοντας πολλαπλές εποχές εκπαίδευσης και ρυθμίζοντας τους ρυθμούς μάθησης και τα μεγέθη batch για βέλτιστη απόδοση. Το τελικό μοντέλο Zephyr εμφανίστηκε όχι μόνο ανθεκτικό στην υπερ-προσαρμογή αλλά και ενισχυμένο στην αντιμετώπιση πρακτικών εργασιών και ακαδημαϊκών βάσεων.
Σύνολα Δεδομένων και Αποτελέσματα
Χρησιμοποιούμενα σύνολα δεδομένων
Επιδόσεις και Αποτελέσματα
Το παρακάτω διάγραμμα απεικονίζει την απόδοση του Zephyr 7B σε διάφορες κατηγορίες εργασιών σε σύγκριση με άλλα μοντέλα όπως το GPT-3.5-turbo, το Claude 1, το GPT-4 και το Llama-2-70b-chat. Οι κατηγορίες μπορεί να περιλαμβάνουν Γραφή, Ανθρωπιστικές Επιστήμες, Ρόλος, Λογική, Επιστήμες, Εξαγωγή, Κωδικοποίηση και Μαθηματικά.
Από το διάγραμμα, μπορούμε να συναγάγουμε ποια πεδία το Zephyr 7B ξεχωρίζει και ποια πεδία μπορεί να χρειάζονται περαιτέρω βελτίωση. Για παράδειγμα, αν η γραμμή του Zephyr είναι πιο μακρυά στον άξονα της Γραφής, αυτό σημαίνει ότι το Zephyr είναι ιδιαίτερα ισχυρό στην παραγωγή γραπτού περιεχομένου. Αντίθετα, αν η γραμμή είναι πιο κοντά στο κέντρο στον άξονα των Μαθηματικών, μπορεί να υποδηλώνει μια σχετική αδυναμία στη λύση μαθηματικών προβλημάτων.
Το ραντάρ διάγραμμα βοηθά στην αναγνώριση των ισχυρών και αδύναμων πλευρών του Zephyr 7B, παρέχοντας μια οπτική αναπαράσταση του πώς τοποθετείται σε σύγκριση με μεγαλύτερα μοντέλα όπως το GPT-4 και εξειδικευμένα μοντέλα όπως το Llama-2-70b-chat.
Σύγκριση διαφόρων γλωσσικών μοντέλων σε δύο βάσεις: MT-Bench και AlpacaEval. Τα μοντέλα αξιολογούνται με βάση το μέγεθός τους, τη μέθοδο ευθυγράμμισης (όπως dSFT για λεπτομερής εποπτευόμενη προσαρμογή μέσω απόσταξης ή dDPO για αποσταγμένη άμεση βελτιστοποίηση προτίμησης) και τα σκορ απόδοσης. Το Zephyr ξεχωρίζει με υψηλά σκορ και στις δύο βάσεις, υποδηλώνοντας την αποτελεσματικότητά του στην παραγωγή ευθυγραμμισμένων απαντήσεων.
Συμπέρασμα
Συμπερασματικά, η ανάπτυξη του Zephyr-7B αποδεικνύει ότι η ευθυγράμμιση και η απόσταξη των συνομιλητικών ικανοτήτων από ένα μεγάλο γλωσσικό μοντέλο (LLM) σε ένα μικρότερο μοντέλο μπορεί να επιτευχθεί χωρίς να βασίζεται σε μεθόδους δειγματοληψίας. Χρησιμοποιώντας την άμεση βελτιστοποίηση προτίμησης (DPO) με ανατροφοδότηση AI, το Zephyr-7B αξιοποιεί τη σθεναρή βάση του Mistral-7B για να θέσει νέα βάση για μοντέλα 7B παραμέτρων, δείχνοντας την ικανότητα μικρότερων, ανοιχτών μοντέλων να κατανοούν και να απαντούν σε ανθρώπινες οδηγίες αποτελεσματικά.
Ωστόσο, αυτή η μελέτη δεν είναι χωρίς τους περιορισμούς της. Η εξάρτηση από το GPT-4 ως αξιολογητή για τις βάσεις εισάγει μια προκατάληψη προς τα μοντέλα που προκύπτουν μέσω απόσταξης από αυτό, με κίνδυνο η εύνοια προς αυτά τα μοντέλα να υπερισχύει της ακρίβειας των απαντήσεων. Επιπλέον, η κλιμάκωση αυτής της μεθόδου σε μεγαλύτερα μοντέλα, όπως το LLAMA2-70B, και η επίδραση στα κέρδη απόδοσης παραμένουν περιοχές για περαιτέρω έρευνα. Αυτοί οι περιορισμοί υπογραμμίζουν την ανάγκη για συνεχείς καινοτομίες και την ανάπτυξη αμερόληπτων μεθόδων αξιολόγησης στην κοινότητα του AI.
Κοιτάζοντας πέρα από τη μελέτη, είναι φανερό ότι το δυναμικό για μικρότερα μοντέλα να επιτύχουν το επίπεδο των μεγαλύτερων ομόλογων τους μπορεί να δημοκρατίσει το AI, επιτρέποντας μια πιο προσιτή και αποτελεσματική χρήση σε διάφορες εφαρμογές. Η επιτυχία του Zephyr-7B ενθαρρύνει περαιτέρω διερεύνηση σε ανοιχτά μοντέλα, τα οποία μπορούν να επιταχύνουν τις προόδους στο AI με την προώθηση της συνεργατικής έρευνας και ανάπτυξης.















