OLMo: Βελτιώνοντας την Επιστήμη των Μοντέλων Γλώσσας

Η ανάπτυξη και η πρόοδος των μοντέλων γλώσσας τα τελευταία χρόνια έχει σηματοδοτήσει την παρουσία τους σχεδόν παντού, όχι μόνο στην έρευνα NLP αλλά και σε εμπορικές προσφορές και πραγματικές εφαρμογές. Ωστόσο, η αύξηση της εμπορικής ζήτησης για μοντέλα γλώσσας έχει, σε κάποιο βαθμό, εμποδίσει την ανάπτυξη της κοινότητας. Αυτό οφείλεται στο γεγονός ότι η πλειοψηφία των state-of-the-art και ικανοποιητικών μοντέλων είναι κλειδωμένα πίσω από ιδιωτικά διεπαφές, καθιστώντας αδύνατο για την κοινότητα ανάπτυξης να αποκτήσει πρόσβαση σε ζωτικά στοιχεία της αρχιτεκτονικής εκπαίδευσης, των δεδομένων και των διαδικασιών ανάπτυξης. Είναι πλέον αδιαμφισβήτητο ότι αυτά τα στοιχεία εκπαίδευσης και δομής είναι κρίσιμα για τις ερευνητικές μελέτες, συμπεριλαμβανομένης της πρόσβασης στα πιθανά рисks και προκαταλήψεις, δημιουργώνταςτσι μια απαίτηση για την ερευνητική κοινότητα να έχει πρόσβαση σε ένα αληθινά ανοιχτό και ισχυρό μοντέλο γλώσσας.

Για να ικανοποιήσει αυτήν την απαίτηση, οι dévelopπεurs έχουν δημιουργήσει το OLMo, ένα state-of-the-art, αληθινά ανοιχτό μοντέλο γλώσσας. Αυτό το μοντέλο επιτρέπει στους ερευνητές να χρησιμοποιούν το OLMo για να κατασκευάσουν και να μελετήσουν μοντέλα γλώσσας. Σε αντίθεση με τα περισσότερα state-of-the-art μοντέλα γλώσσας, τα οποία έχουν κυρίως κυκλοφορήσει κώδικα διεπαφής και βάρη μοντέλων, το OLMo είναι αληθινά ανοιχτό, με δημόσια προσιτά κώδικα αξιολόγησης, μεθόδους εκπαίδευσης και δεδομένα εκπαίδευσης. Το OLMo έχει ως πρωταρχικό στόχο να ενδυναμώσει και να προωθήσει την ανοιχτή ερευνητική κοινότητα και την συνεχή ανάπτυξη των μοντέλων γλώσσας.

Σε αυτό το άρθρο, θα συζητήσουμε το OLMo σε λεπτομέρειες, εξετάζοντας την αρχιτεκτονική, τη μεθοδολογία και την απόδοση σε σύγκριση με τα τρέχοντα state-of-the-art πλαίσια. Έτσι, ας ξεκινήσουμε.

OLMo: Βελτιώνοντας την Επιστήμη των Μοντέλων Γλώσσας

Το μοντέλο γλώσσας έχει πιθανώς sido το πιο热 trend τα τελευταία χρόνια, όχι μόνο μέσα στην κοινότητα AI και ML, αλλά και σε ολόκληρη την τεχνολογική βιομηχανία, λόγω των εξαιρετικών ικανοτήτων του στην εκτέλεση πραγματικών εργασιών με ανθρώπινα αποτελέσματα. Το ChatGPT είναι ένα πρωτοποριακό παράδειγμα του potencial που έχουν τα μοντέλα γλώσσας, με μεγάλους παίκτες στην τεχνολογική βιομηχανία να εξερευνούν την ενσωμάτωση μοντέλων γλώσσας με τα προϊόντα τους.

Η NLP, ή η επεξεργασία φυσικής γλώσσας, είναι μια από τις βιομηχανίες που έχουν εκτενώς χρησιμοποιήσει μοντέλα γλώσσας τα τελευταία χρόνια. Ωστόσο, από τότε που η βιομηχανία ξεκίνησε να χρησιμοποιεί ανθρώπινη αναnotation για συναρμολόγηση και μεγάλο προ-εκπαίδευση, τα μοντέλα γλώσσας έχουν μαρτυρήσει μια ταχεία βελτίωση στην εμπορική τους αξιοπιστία, με αποτέλεσμα η πλειοψηφία των state-of-the-art μοντέλων γλώσσας και NLP να έχουν περιορισμένες ιδιωτικές διεπαφές, με την κοινότητα ανάπτυξης να μην έχει πρόσβαση σε ζωτικά στοιχεία.

Για να διασφαλιστεί η πρόοδος των μοντέλων γλώσσας, το OLMo, ένα state-of-the-art, αληθινά ανοιχτό μοντέλο γλώσσας, προσφέρει στους dévelopπεurs ένα πλαίσιο για να κατασκευάσουν, να μελετήσουν και να προωθήσουν την ανάπτυξη των μοντέλων γλώσσας. Επίσης, παρέχει στους ερευνητές πρόσβαση στο κώδικα εκπαίδευσης και αξιολόγησης, μεθόδους εκπαίδευσης, δεδομένα εκπαίδευσης, αρχείο εκπαίδευσης και ενδιάμεσους ελέγχους μοντέλων. Τα υπάρχοντα state-of-the-art μοντέλα έχουν διάφορα επίπεδα ανοικτότητας, ενώ το OLMo έχει κυκλοφορήσει ολόκληρο το πλαίσιο, από την εκπαίδευση στα δεδομένα και τα εργαλεία αξιολόγησης, μειώνοντας το χάσμα απόδοσης σε σύγκριση με τα state-of-the-art μοντέλα όπως το LLaMA2.

Για την μοντελοποίηση και την εκπαίδευση, το OLMo περιλαμβάνει τον κώδικα εκπαίδευσης, πλήρη βάρη μοντέλων, ablations, αρχείο εκπαίδευσης και μετρήσεις εκπαίδευσης σε μορφή κώδικα διεπαφής, καθώς και Weights & Biases logs. Για την ανάλυση και την κατασκευή του συνόλου δεδομένων, το OLMo περιλαμβάνει πλήρη δεδομένα εκπαίδευσης που χρησιμοποιούνται για τα μοντέλα AI2’s Dolma και WIMBD, μαζί με τον κώδικα που παράγει τα δεδομένα εκπαίδευσης. Για τους σκοπούς αξιολόγησης, το OLMo περιλαμβάνει το μοντέλο AI2’s Catwalk για αξιολόγηση downstream και το μοντέλο Paloma για αξιολόγηση με βάση την perplexity.

OLMo : Μοντέλο και Αρχιτεκτονική

Το OLMo υιοθετεί μια αρχιτεκτονική μεταφραστή μόνο με βάση το Neural Information Processing Systems και παρέχει δύο μοντέλα με 1 δισεκατομμύριο και 7 δισεκατομμύρια παραμέτρους αντίστοιχα, με ένα μοντέλο 65 δισεκατομμυρίων παραμέτρων που είναι目前 υπό ανάπτυξη. 

Η αρχιτεκτονική του OLMo παρέχει πολλές βελτιώσεις σε σύγκριση με άλλα πλαίσια, συμπεριλαμβανομένων των πρόσφατων state-of-the-art μοντέλων όπως το OpenLM, Falcon, LLaMA και PaLM. Η ακόλουθη εικόνα συγκρίνει το OLMo με 7B δισεκατομμύρια παραμέτρους με πρόσφατα LLMs που λειτουργούν με σχεδόν ίσο αριθμό παραμέτρων. 

Το OLMo επιλέγει τις υπερπαράμετρους με την оптимποίηση του μοντέλου για την απόδοση εκπαίδευσης στο υλικό, ενώ ταυτόχρονα μειώνει τον κίνδυνο αργής απόκλισης και losses. Με αυτήν την προϋπόθεση, οι κύριες αλλαγές που εφαρμόζονται από το OLMo για να διαφοροποιηθεί από την αρχιτεκτονική μεταφραστή είναι οι ακόλουθες:

Χωρίς Προκαταλήψεις

Σε αντίθεση με το Falcon, PaLM, LLaMA και άλλα μοντέλα γλώσσας, το OLMo δεν περιλαμβάνει καμία προκατάληψη στην αρχιτεκτονική του για να βελτιώσει τη σταθερότητα εκπαίδευσης. 

Μη-Παραμετρική Νόρμα Στρώματος

Το OLMo εφαρμόζει την μη-παραμετρική μορφή της νόρμας στρώματος στην αρχιτεκτονική του. Η μη-παραμετρική νόρμα στρώματος δεν προσφέρει καμία προσαρμοστική κέρδη ή προκατάληψη. Η μη-παραμετρική νόρμα στρώματος προσφέρει όχι μόνο περισσότερη ασφάλεια από τις παραμετρικές νόρμες στρώματος, αλλά也是 ταχύτερη. 

Συνάρτηση Ενεργοποίησης SwiGLU

Όπως και πολλά άλλα μοντέλα γλώσσας, όπως το PaLM και το LLaMA, το OLMo περιλαμβάνει τη συνάρτηση ενεργοποίησης SwiGLU στην αρχιτεκτονική του αντί της συνάρτησης ενεργοποίησης ReLU και αυξάνει το μέγεθος της κρυφής ενεργοποίησης στο πλησιέστερο πολλαπλάσιο του 128 για να βελτιώσει την απόδοση. 

RoPE ή Περιστροφικές Εμφυτεύσεις Θέσης

Το OLMo ακολουθεί τα μοντέλα LLaMA και PaLM και ανταλλάσσει τις απόλυτες εμφυτεύσεις θέσης με RoPE ή περιστροφικές εμφυτεύσεις θέσης. 

Προ-Εκπαίδευση με Dolma

Αν και η κοινότητα ανάπτυξης έχει jetzt βελτιωμένη πρόσβαση στα παραμέτρα μοντέλων, οι πόρτες για πρόσβαση στα δεδομένα προ-εκπαίδευσης παραμένουν κλειστές, поскольку τα δεδομένα προ-εκπαίδευσης δεν κυκλοφορούν μαζί με τα κλειστά μοντέλα ούτε μαζί με τα ανοιχτά μοντέλα. Επιπλέον, τεχνικές εγγράφες που καλύπτουν τέτοια δεδομένα συχνά λείπουν από ζωτικά στοιχεία που απαιτούνται για να κατανοήσουν πλήρως και να αναπαραγάγουν το μοντέλο. Αυτό το εμπόδιο καθιστά δύσκολο να προχωρήσει η έρευνα σε ορισμένα νήματα της έρευνας μοντέλων γλώσσας, συμπεριλαμβανομένης της κατανόησης του πώς τα δεδομένα εκπαίδευσης επηρεάζουν τις ικανότητες και τις περιορισμοί του μοντέλου. Το OLMo έχει δημιουργήσει και κυκλοφορήσει το σύνολο δεδομένων προ-εκπαίδευσης, Dolma, για να διευκολύνει την ανοιχτή έρευνα για την προ-εκπαίδευση μοντέλων γλώσσας. Το σύνολο δεδομένων Dolma είναι μια πολυπηγή και ποικίλη συλλογή από πάνω από 3 τρισεκατομμύρια tokens σε 5 δισεκατομμύρια έγγραφα που συλλέγονται από 7 διαφορετικές πηγές που χρησιμοποιούνται συνήθως από ισχυρά μεγάλα μοντέλα γλώσσας για προ-εκπαίδευση και είναι προσιτά στο γενικό κοινό. Η σύνθεση του συνόλου δεδομένων Dolma συνοψίζεται στον ακόλουθο πίνακα. 

Το σύνολο δεδομένων Dolma κατασκευάζεται χρησιμοποιώντας μια διαδικασία από 5 στοιχεία: φιλτράρισμα γλώσσας, φιλτράρισμα ποιότητας, φιλτράρισμα περιεχομένου, ανάμιξη πολλαπλών πηγών, απαλοιφή διπλοτύπων και τοκενοποίηση. Το OLMo έχει επίσης κυκλοφορήσει την αναφορά Dolma, η οποία παρέχει περισσότερες πληροφορίες σχετικά με τις αρχές σχεδιασμού και τις λεπτομέρειες κατασκευής, μαζί με μια πιο λεπτομερή περίληψη περιεχομένου. Το μοντέλο επίσης ανοίγει τις υψηλές επιδόσεις εργαλείων επεξεργασίας δεδομένων για να ermögουν την εύκολη και γρήγορη επεξεργασία συνόλων δεδομένων προ-εκπαίδευσης. Η αξιολόγηση του μοντέλου ακολουθεί μια διπλή στρατηγική, ξεκινώντας με την αξιολόγηση online για λήψη αποφάσεων κατά τη διάρκεια της εκπαίδευσης του μοντέλου και μια τελική αξιολόγηση offline για μια συσσωρευμένη αξιολόγηση από ελέγχους μοντέλων. Για την αξιολόγηση offline, το OLMo χρησιμοποιεί το Catwalk, ένα δημόσια διαθέσιμο εργαλείο αξιολόγησης που έχει πρόσβαση σε eine ευρεία ποικιλία συνόλων δεδομένων και μορφών εργασιών. Το Catwalk χρησιμοποιείται για την αξιολόγηση downstream, καθώς και για την αξιολόγηση μοντέλων γλώσσας με βάση την perplexity στο νέο μας σύνολο δεδομένων, Paloma. Το OLMo συγκρίνει το μοντέλο με άλλα δημόσια μοντέλα χρησιμοποιώντας μια σταθερή διαδικασία αξιολόγησης, τόσο για την αξιολόγηση downstream όσο και για την αξιολόγηση perplexity. 

Το OLMo εκτελεί πολλές μετρήσεις αξιολόγησης σχετικά με την αρχιτεκτονική του μοντέλου, την αρχικοποίηση, τους βελτιστές, το πρόγραμμα μάθησης και τις μεικτές δεδομένων κατά τη διάρκεια της εκπαίδευσης του μοντέλου. Οι dévelopπεurs ονομάζουν αυτό την “online αξιολόγηση” του OLMo, επειδή这是 μια εσωτερική επανάληψη σε κάθε 1000 βήματα εκπαίδευσης (ή ∼4B tokens) για να δώσει μια πρώιμη και συνεχή σήμα για την ποιότητα του μοντέλου που εκπαιδεύεται. Η ρύθμιση αυτών των αξιολογήσεων εξαρτάται από μια πλειοψηφία των βασικών εργασιών και των ρυθμίσεων πειραμάτων που χρησιμοποιούνται για την αξιολόγηση offline. Το OLMo στοχεύει όχι μόνο στις συγκρίσεις του OLMo-7B με άλλα μοντέλα για την καλύτερη απόδοση, αλλά και να δείξει πώς ermögουν πλήρη και πιο ελεγχόμενη επιστημονική αξιολόγηση. Το OLMo-7B είναι το μεγαλύτερο μοντέλο γλώσσας με ρητή απολύμανση για αξιολόγηση perplexity. 

Εκπαίδευση OLMo

Είναι σημαντικό να σημειωθεί ότι τα μοντέλα OLMo εκπαιδεύονται χρησιμοποιώντας τη στρατηγική βελτιστοποίησης ZeRO, η οποία παρέχεται από το FSDP μέσω του PyTorch και, με αυτόν τον τρόπο, μειώνει σημαντικά την κατανάλωση μνήμης GPU με τη διανομή των βαρών μοντέλων σε GPUs. Με αυτό, στο μέγεθος 7B, η εκπαίδευση μπορεί να γίνει με μια μικρο-μπατσίζα μεγέθους 4096 tokens ανά GPU στη συσκευή μας. Το πλαίσιο εκπαίδευσης για τα μοντέλα OLMo-1B και -7B χρησιμοποιεί einen σταθερό μέγεθος δέσμης περίπου 4M tokens (2048 περιπτώσεις, κάθε μια με μήκος ακολουθίας 2048 tokens). Για το μοντέλο OLMo-65B (προς το παρόν υπό εκπαίδευση), οι dévelopπεurs χρησιμοποιούν ένα μέγεθος δέσμης που αρχίζει από περίπου 2M tokens (1024 περιπτώσεις), διπλασιάζοντας κάθε 100B tokens μέχρι περίπου 16M tokens (8192 περιπτώσεις). 

Για να βελτιώσει την απόδοση, χρησιμοποιούμε εκπαίδευση μεικτής ακρίβειας (Micikevicius et al., 2017) μέσω των ρυθμίσεων FSDP και του 모δούλου amp του PyTorch. Το τελευταίο εξασφαλίζει ότι bestimmtes operations όπως η softmax εκτελούνται πάντα με πλήρη ακρίβεια για να βελτιώσουν τη σταθερότητα, ενώ όλες οι άλλες operations εκτελούνται με ημι-ακρίβεια με τη μορφή bfloat16. Σε συγκεκριμένες ρυθμίσεις, τα διαμοιραζόμενα βάρη μοντέλων και ο βελτιστής κατάσταση τοπικής σε κάθε GPU διατηρούνται με πλήρη ακρίβεια. Τα βάρη μέσα σε κάθε μπλοκ μεταφραστή μετατρέπονται μόνο στη μορφή bfloat16 όταν τα πλήρη παραμέτρα υλοποιούνται σε κάθε GPU κατά τη διάρκεια των προώθησης και αναστροφής. Οι κλίσεις μειώνονται σε όλες τις GPUs με πλήρη ακρίβεια. 

Βελτιστής

Το OLMo χρησιμοποιεί τον βελτιστή AdamW με τις ακόλουθες υπερπαράμετρους. 

Για όλα τα μεγέθη μοντέλων, η ταχύτητα μάθησης θερμαίνεται γραμμικά κατά τα πρώτα 5000 βήματα (∼21B tokens) σε μια μέγιστη τιμή, και στη συνέχεια μειώνεται γραμμικά με την αντίστροφη τετραγωνική ρίζα του αριθμού βημάτων στο καθορισμένο ελάχιστο ρυθμό μάθησης. Μετά την περίοδο θέρμανσης, το μοντέλο περικόπτει τις κλίσεις ώστε το συνολικό l-νόρμα των παραμετρικών κλίσεων να μην υπερβαίνει 1.0. Ο ακόλουθος πίνακας δείχνει τη σύγκριση των ρυθμίσεων βελτιστοποίησης μας στο μέγεθος 7B με αυτές από πρόσφατα LMs που επίσης χρησιμοποιούν AdamW. 

Δεδομένα Εκπαίδευσης

Η εκπαίδευση περιλαμβάνει την τοκενοποίηση των περιπτώσεων εκπαίδευσης με λέξη και BPE τοκενοποίηση για το μοντέλο sentence piece μετά την προσθήκη ενός ειδικού token EOS στο τέλος κάθε εγγράφου, και στη συνέχεια ομαδοποιούμε συνεχόμενες θύρες 2048 tokens για να σχηματίσουμε περιπτώσεις εκπαίδευσης. Οι περιπτώσεις εκπαίδευσης αναμιγνύονται με τον ίδιο τρόπο για κάθε εκτέλεση εκπαίδευσης. Η σειρά δεδομένων και η ακριβής σύνθεση κάθε δέσμης εκπαίδευσης μπορούν να ανακατασκευαστούν από τα артеφάκτ που κυκλοφορούν. Όλα τα μοντέλα OLMo έχουν εκπαιδευτεί τουλάχιστον 2T tokens (μία επανάληψη πάνω στα δεδομένα εκπαίδευσης), και κάποια από αυτά έχουν εκπαιδευτεί πέρα από αυτό, ξεκινώντας μια δεύτερη επανάληψη πάνω στα δεδομένα με μια διαφορετική σειρά αναμίκξης. Λόγω του μικρού ποσού δεδομένων που αυτό επαναλαμβάνει, θα πρέπει να έχει μια αμελητέα επίδραση. 

Αποτελέσματα

Το σημείο ελέγχου που χρησιμοποιείται για την αξιολόγηση του OLMo-7B έχει εκπαιδευτεί μέχρι 2.46T tokens στο σύνολο δεδομένων Dolma με το πρόγραμμα μάθησης γραμμικής μείωσης που αναφέρθηκε προηγουμένως. Η περαιτέρω ρύθμιση αυτού του σημείου ελέγχου στο σύνολο δεδομένων Dolma για 1000 βήματα με γραμμικά μειωμένο ρυθμό μάθησης σε 0 αυξάνει περαιτέρω την απόδοση του μοντέλου στην perplexity και τις σουίτες αξιολόγησης που περιγράφηκαν προηγουμένως. Για την τελική αξιολόγηση, οι dévelopπεurs σύγκριναν το OLMo με άλλα δημόσια διαθέσιμα μοντέλα – LLaMA-7B, LLaMA2-7B, Pythia-6.9B, Falcon-7B και RPJ-INCITE-7B. 

Αξιολόγηση Downstream

Η βασική σουίτα αξιολόγησης downstream συνοψίζεται στον ακόλουθο πίνακα. 

Εκτελούμε την αξιολόγηση zero-shot με προσέγγιση κατάταξης σε όλες τις περιπτώσεις. Σε αυτήν την προσέγγιση, οι υποψήφιοι πλήρεις κείμενα (π.χ. διαφορετικές επιλογές πολλαπλών επιλογών) κατατάσσονται με βάση την πιθανότητα (συνήθως κανονικοποιημένη από κάποιο παράγοντα κανονικοποίησης), και η ακρίβεια προβλέψεων αναφέρεται. 

Ενώ το Catwalk χρησιμοποιεί πολλές τυπικές μεθόδους κανονικοποίησης πιθανότητας, όπως η κανονικοποίηση ανά token και η κανονικοποίηση ανά χαρακτήρα, οι στρατηγικές κανονικοποίησης που εφαρμόζονται επιλέγονται ξεχωριστά για κάθε σύνολο δεδομένων και περιλαμβάνουν την ακατάλληλη πιθανότητα της απάντησης. Περισσότερο συγκεκριμένα, αυτό περιλαμβάνει keine κανονικοποίηση για τις εργασίες arc και openbookqa, κανονικοποίηση ανά token για τις εργασίες hellaswag, piqa και winogrande, και keine κανονικοποίηση για τις εργασίες boolq, copa και sciq (δηλαδή, εργασίες σε μια μορφή που είναι κοντά σε μια εργασία προβλέψεων ενός token). 

Η ακόλουθη εικόνα δείχνει την πρόοδο του σκορ ακρίβειας για τις εννέα βασικές εργασίες. Μπορεί να συναχθεί ότι υπάρχει μια γενικά αυξανόμενη τάση στο σκορ ακρίβειας για όλες τις εργασίες, εκτός από την OBQA, καθώς το OLMo-7B εκπαιδεύεται περαιτέρω σε περισσότερα tokens. Μια απότομη άνοδος στο σκορ ακρίβειας πολλών εργασιών μεταξύ του τελευταίου και του δεύτερου προς το τέλος βήματος δείχνει το όφελος της γραμμικής μείωσης του ρυθμού μάθησης σε 0 κατά τα τελευταία 1000 βήματα εκπαίδευσης. Για παράδειγμα, στην περίπτωση των αξιολογήσεων perplexity, το Paloma υποστηρίζει μέσω μιας σειράς αναλύσεων, από την επιθεώρηση της απόδοσης σε κάθε domaine ξεχωριστά μέχρι πιο συνοπτικά αποτελέσματα πάνω από συνδυασμούς domaine. Αναφέρουμε αποτελέσματα σε δύο επίπεδα λεπτομέρειας: την συνολική απόδοση πάνω από 11 από τα 18 domaine στο Paloma, καθώς και πιο λεπτομερείς αποτελέσματα πάνω από κάθε ένα από αυτά τα domaine ξεχωριστά.

Τελικές Σκέψεις

Σε αυτό το άρθρο, έχουμε συζητήσει το OLMo, ένα state-of-the-art, αληθινά ανοιχτό μοντέλο γλώσσας που προσφέρει στους dévelopπεurs ένα πλαίσιο για να κατασκευάσουν, να μελετήσουν και να προωθήσουν την ανάπτυξη των μοντέλων γλώσσας, μαζί με την παροχή πρόσβασης στους ερευνητές στο κώδικα εκπαίδευσης και αξιολόγησης, μεθόδους εκπαίδευσης, δεδομένα εκπαίδευσης, αρχείο εκπαίδευσης και ενδιάμεσους ελέγχους μοντέλων. Τα υπάρχοντα state-of-the-art μοντέλα έχουν διάφορα επίπεδα ανοικτότητας, ενώ το OLMo έχει κυκλοφορήσει ολόκληρο το πλαίσιο από την εκπαίδευση στα δεδομένα και τα εργαλεία αξιολόγησης, μειώνοντας το χάσμα απόδοσης σε σύγκριση με τα state-of-the-art μοντέλα όπως το LLaMA2.