Η IBM κυκλοφορεί τα αρθρωτά μοντέλα Granite Switch 4.1 σε μεγέθη 8B και 30B

Η IBM ανακοίνωσε το Granite Switch 4.1 στις 15 Οκτωβρίου 2026, κυκλοφορώντας δύο αρθρωτά γλωσσικά μοντέλα, με 8 δισεκατομμύρια και 30 δισεκατομμύρια παραμέτρους, τα οποία συνδυάζουν ένα βασικό μοντέλο, έναν προσαρμογέα λήψης αποφάσεων γενικής χρήσης, έναν προσαρμογέα ασφάλειας και έναν ενσωματωμένο κωδικοποιητή μετατροπής ομιλίας σε κείμενο σε ένα ενιαίο φιλοξενούμενο τελικό σημείο. Την ανάρτηση στο ιστολόγιο της IBM Granite που ανακοίνωνε την κυκλοφορία υπέγραψαν οι Kate Soule, Subhajit Chaudhury, Hendrik Strobelt και Luis A Lastras.

Η διαμόρφωση 4.1

Η κυκλοφορία περιλαμβάνει τα Granite-Switch-4.1-8B και Granite-Switch-4.1-30B, τα οποία βασίζονται στα βασικά μοντέλα granite-4.1-8b και granite-4.1-30b, με 8 δισεκατομμύρια και 30 δισεκατομμύρια παραμέτρους αντίστοιχα και παράθυρο συμφραζομένων 128K. Η κάρτα μοντέλου 8B και η κάρτα μοντέλου 30B αναφέρουν ως ημερομηνία κυκλοφορίας την 14η Οκτωβρίου 2026, άδεια Apache 2.0 και υποστήριξη των περιβαλλόντων Transformers και vLLM.

Κάθε σημείο ελέγχου συνδυάζει με το βασικό μοντέλο τρία στοιχεία: έναν Activated LoRA (aLoRA) λήψης αποφάσεων γενικής χρήσης· τον guardian-core, έναν aLoRA από τη βιβλιοθήκη Guardian της IBM, ο οποίος ανιχνεύει κινδύνους για την ασφάλεια που σχετίζονται με επιβλαβές περιεχόμενο, απόπειρες παράκαμψης των δικλίδων ασφαλείας, χυδαιολογία, βία, σεξουαλικό περιεχόμενο, κοινωνικές προκαταλήψεις και ανήθικη συμπεριφορά· και τον Granite Speech 5.0 TurboCTC, έναν ενσωματωμένο κωδικοποιητή conformer CTC 470 εκατομμυρίων παραμέτρων, για την αγγλική γλώσσα, μη αυτοπαλινδρομικό, που χρησιμοποιείται για απομαγνητοφώνηση και τον οποίο η IBM περιγράφει ως το ταχύτερο μοντέλο ASR στο OpenASR Leaderboard. Η IBM αναφέρει ότι και οι τρεις τεχνολογίες, μαζί με το βασικό μοντέλο, απαιτούν περίπου την ίδια μνήμη GPU με το βασικό μοντέλο από μόνο του.

Οι κάρτες αναφέρουν επίσης παραλλαγές προεπισκόπησης χωρίς ήχο (granite-switch-4.1-8b-preview, granite-switch-4.1-30b-preview και granite-switch-4.1-3b-preview), οι οποίες περιλαμβάνουν το πλήρες πακέτο προσαρμογέων Granite Libraries. Η IBM παρουσίασε το έργο Granite Switch την άνοιξη του 2026 ως αρθρωτή προσέγγιση στην ανάπτυξη μοντέλων, ενώ η προηγούμενη κυκλοφορία Granite Libraries παρέχει το αποθετήριο εξειδικευμένων προσαρμογέων λήψης αποφάσεων και εκτέλεσης εργασιών, οι οποίοι μπορούν να συνδυαστούν σε προσαρμοσμένα μοντέλα Switch.

Πώς λειτουργεί η εναλλαγή

Το Granite Switch χρησιμοποιεί αυτό που οι κάρτες μοντέλων αποκαλούν εναλλαγή ειδικών σε αδρή κλίμακα, κατά την οποία ένας μόνο προσαρμογέας παραμένει ενεργός σε όλα τα επίπεδα αποκωδικοποίησης για μια συνεχή ακολουθία διακριτών μονάδων κειμένου. Οι καλούντες ενεργοποιούν έναν προσαρμογέα περνώντας το όνομά του στο πρότυπο συνομιλίας, το οποίο εισάγει αυτόματα το αντίστοιχο διακριτικό ελέγχου. Ένα ελαφρύ επίπεδο εναλλαγής, βασισμένο στον τυπικό μηχανισμό προσοχής, εντοπίζει αυτά τα διακριτικά και παράγει δείκτες προσαρμογέα για κάθε θέση, κατευθύνοντας κάθε επίπεδο αποκωδικοποίησης να εφαρμόσει τα αντίστοιχα βάρη LoRA σε αυτή την ακολουθία.

Οι κάρτες παραθέτουν τέσσερις ιδιότητες σχεδιασμού: κάθε προσαρμογέας διαβάζει μόνο την κρυφή μνήμη KV του βασικού μοντέλου και ποτέ την εσωτερική κατάσταση άλλου προσαρμογέα· οι προσαρμογείς αναπτύσσονται, δοκιμάζονται και δημοσιεύονται ανεξάρτητα, χωρίς από κοινού εκπαίδευση· ένα σημείο ελέγχου λειτουργεί τόσο με το Transformers όσο και με το vLLM· και η επιλογή προσαρμογέα δεν απαιτεί αλλαγές στον κώδικα. Η IBM αναφέρει ότι ο σχεδιασμός Activated LoRA, που εξοικονομεί χώρο στην κρυφή μνήμη, επιτρέπει την επαναχρησιμοποίηση της κρυφής μνήμης KV από μια παραγωγή του βασικού μοντέλου για επόμενες αποφάσεις με βάση προσαρμογέα, ενώ αποδίδει την ταχεία εναλλαγή μεταξύ αιτημάτων συνομιλίας, λήψης αποφάσεων και ομιλίας στις πρόσφατες συνεισφορές της στον πυρήνα του vLLM και σε έναν συνεγκατεστημένο κωδικοποιητή ASR.

Ο προσαρμογέας λήψης αποφάσεων λαμβάνει μια κατάσταση και μια ερώτηση με επιλογές που φέρουν ετικέτες και, στη συνέχεια, παράγει μια κατανομή πιθανοτήτων softmax πάνω σε αυτές τις ετικέτες, σε ένα μόνο πέρασμα προς τα εμπρός. Ο ενσωματωμένος κωδικοποιητής ομιλίας μεταγράφει τον εισερχόμενο ήχο και το κείμενο που προκύπτει αντικαθιστά τον ήχο στο πλαίσιο της συνομιλίας. Έτσι, η απομαγνητοφώνηση εκτελείται στο ίδιο τελικό σημείο με τη συνομιλία και τη λήψη αποφάσεων, χωρίς ξεχωριστό διακομιστή ομιλίας και χωρίς να αλλάζει ο τρόπος κλήσης του μοντέλου. Η IBM φιλοξενεί επίσης έναν χώρο επίδειξης Speech-to-Decisions, όπου το μοντέλο 8B μεταγράφει τον εισερχόμενο ήχο, δημιουργεί περιλήψεις, ελέγχει για επιβλαβές περιεχόμενο και αξιολογεί 15 επιπλέον δείκτες που ορίζει ο χρήστης, όλα σε πραγματικό χρόνο και σε ένα τελικό σημείο.

Συγκριτικές αξιολογήσεις και συγκρίσεις που αναφέρει η IBM

Η IBM αντιπαραβάλλει την προσέγγισή της με κλειστά μοντέλα λήψης αποφάσεων, όπως το Jev, τα οποία, όπως αναφέρει, εστιάζουν στη γενικότητα, και δηλώνει ότι ο προσαρμογέας guardian-core υπερέχει κατά μέσο όρο του Jev 1.13, του Microsoft-Decision-1, του GPT-Luna-Decisions και του Clef-Flash σε εργασίες λήψης αποφάσεων που σχετίζονται με την ασφάλεια. Σε σύγκριση που δημοσίευσε η IBM μεταξύ των εξειδικευμένων προσαρμογέων Granite Libraries και μοντέλων λήψης αποφάσεων γενικής χρήσης, ο καλύτερος προσαρμογέας Granite σημείωσε υψηλότερη επίδοση κατά 2.3 μονάδες στο OOD Safety, κατά 17.0 στο IFEval, κατά 11.0 στο BIO F1 και κατά 11.8 στο RAGTruth, ενώ σημείωσε χαμηλότερη επίδοση κατά 2.6 στο LM-AggreFact, κατά 3.2 στο InfoBench-GPT4 και κατά 0.8 στο InfoBench-Human.

Οι κάρτες μοντέλων αναφέρουν βαθμολογίες Decision Index για τον προσαρμογέα λήψης αποφάσεων, μετρημένες στο δημόσιο ταχύ υποσύνολο του benchmark, το οποίο περιλαμβάνει 1,068 εγγραφές, με βαθμολόγηση έκδοσης-v0.3 και τον προσαρμογέα να λειτουργεί πίσω από φιλοξενούμενο τελικό σημείο vLLM. Ο προσαρμογέας 8B συγκέντρωσε συνολικά 42.9, με 29.1 στη Γνώση, 48.9 στη Γλώσσα, 49.8 στην Ανάκτηση, 59.8 στα Εργαλεία και 18.0 στις Τέχνες. Ο προσαρμογέας 30B συγκέντρωσε συνολικά 50.1, με 32.4 στη Γνώση, 58.6 στη Γλώσσα, 49.8 στην Ανάκτηση, 76.5 στα Εργαλεία και 26.4 στις Τέχνες. Οι κάρτες αναφέρουν ότι η τοπική και η φιλοξενούμενη λειτουργία του ίδιου προσαρμογέα παρουσίασαν διαφορά περίπου 0.6 μονάδων το πολύ.

Η IBM αναφέρει επίσης έναν αγώνα στον οποίο το Granite-Switch-4.1-30B, μια παγωμένη βασική έκδοση Granite με τέσσερα εξειδικευμένα aLoRA, ολοκλήρωσε μια πραγματική ροή εργασίας RAG πέντε βημάτων πολύ ταχύτερα από το Jev-27B, μια παγωμένη βασική έκδοση Qwen με ένα γενικής χρήσης LoRA λήψης αποφάσεων. Σε μια δεύτερη επίδειξη, η IBM αναφέρει ότι ένα προσαρμοσμένο μοντέλο Granite Switch με 3 δισεκατομμύρια παραμέτρους, παίζοντας το παιχνίδι Doom, λάμβανε 60 έως 100 αποφάσεις ανά δευτερόλεπτο, έναντι των 10 αποφάσεων ανά δευτερόλεπτο που αναφέρθηκαν για το Jev, και ότι, σε αντίθεση με το Jev, το μοντέλο της μπορεί να αφηγείται και να απαντά σε ερωτήσεις ενώ παίζει.

Διαθεσιμότητα, απαιτήσεις και περιορισμοί

Και τα δύο checkpoints διατίθενται με άδεια Apache 2.0. Οι απαιτήσεις είναι Python 3.9 ή νεότερη έκδοση, PyTorch 2.11.0 ή νεότερη έκδοση, Transformers 5.16 έως 5.17.0 και, προαιρετικά, vLLM 0.26.0 έως και την έκδοση πριν από την 0.28.0. Η πυκνή αρχιτεκτονική βάσης, μόνο με αποκωδικοποιητή, χρησιμοποιεί ομαδοποιημένη προσοχή ερωτήματος (GQA), RoPE, SwiGLU και RMSNorm· υποστηρίζει περιβάλλον 131.072 token και αναφέρει ως υποστηριζόμενες γλώσσες τα αγγλικά, τα γερμανικά, τα ισπανικά, τα γαλλικά, τα ιαπωνικά, τα πορτογαλικά, τα αραβικά, τα τσεχικά, τα ιταλικά, τα κορεατικά, τα ολλανδικά και τα κινεζικά.

Οποιοσδήποτε μπορεί να συνθέσει ένα προσαρμοσμένο μοντέλο Granite Switch συνδυάζοντας προσαρμογείς από τον κατάλογο προσαρμογέων του έργου με τα εργαλεία σύνθεσης που αυτό παρέχει. Η IBM παρουσιάζει το Mellea ως το προτιμώμενο επίπεδο εφαρμογής για την εκτέλεση προσαρμογέων Granite Switch, ενώ το Mellea υποστηρίζει ήδη τις οικογένειες προσαρμογέων Granite Libraries· ωστόσο, ο προσαρμογέας λήψης αποφάσεων δεν διαθέτει ακόμη ενσωματωμένη λειτουργία στο Mellea, αν και προβλέπεται να προστεθεί υποστήριξη. Η IBM σχεδιάζει επίσης ένα Adapter SDK για την εκπαίδευση προσαρμοσμένων προσαρμογέων και προσαρμογέων τρίτων στο Mellea, καθώς και εκπαιδευτικά σεμινάρια και υποστήριξη για το Granite Switch, και αναφέρει ότι θα δημοσιεύσει περισσότερες λεπτομέρειες και δεδομένα για το Granite Switch τις εβδομάδες μετά την ανακοίνωση.

Οι κάρτες μοντέλων καταγράφουν αρκετούς περιορισμούς. Η αλυσίδα επεξεργασίας ομιλίας λειτουργεί μόνο στα αγγλικά και επιστρέφει απομαγνητοφωνήσεις με πεζά γράμματα και χωρίς σημεία στίξης, χωρίς δυνατότητα καθοδήγησης κατά την αποκωδικοποίηση· επειδή ο κωδικοποιητής ASR δεν εκπαιδεύεται από κοινού με το γλωσσικό μοντέλο ή τους προσαρμογείς, μια λανθασμένη απομαγνητοφώνηση μπορεί να αλλάξει σιωπηρά την απόκριση του μοντέλου ή ενός προσαρμογέα. Το vLLM περιορίζει στα 128 αναγνωριστικά token τα αιτήματα logprob για τις ετικέτες επιλογών του προσαρμογέα λήψης αποφάσεων, επομένως οι ερωτήσεις με περισσότερες επιλογές πρέπει να χωρίζονται σε τμηματοποιημένα αιτήματα. Οι κάρτες αναφέρουν επίσης ότι το guardian-core δεν υποκαθιστά τις δοκιμές ασφάλειας σε επίπεδο εφαρμογής, ότι τα checkpoints δεν περιλαμβάνουν τους προσαρμογείς ανίχνευσης πραγματολογικής ακρίβειας, διόρθωσης πραγματολογικής ακρίβειας και προστατευτικών κανόνων πολιτικής του Guardian Library, και ότι οι πιθανότητες του προσαρμογέα λήψης αποφάσεων θα πρέπει να εκλαμβάνονται ως εκ των προτέρων πιθανότητα που συμβάλλει στη λήψη μιας απόφασης και όχι ως πιστοποιημένη ταξινόμηση για τομείς εκτός του πεδίου εκπαίδευσής του.