Η Baseten κυκλοφορεί το Joey-1, ένα μοντέλο αποφάσεων 2B με ανοιχτά βάρη

Στις 29 Οκτωβρίου 2026, η Baseten κυκλοφόρησε το joey-1, ένα μοντέλο αποφάσεων με 2B παραμέτρους, το οποίο αναπτύχθηκε από το εσωτερικό ερευνητικό της εργαστήριο Base Labs, κοστίζει 0,01 $ ανά εκατομμύριο διακριτικά και διατίθεται μέσω των Baseten Model APIs, καθώς και με ανοιχτά βάρη στο Hugging Face.

Με το joey-1, η οικογένεια μοντέλων αποφάσεων της Base Labs περιλαμβάνει πλέον τρία μεγέθη. Η ανακοίνωση παρουσιάζει το νέο μοντέλο μαζί με τα mammoth-1 (27B) και elephant-1 (9B), που κυκλοφόρησαν στο πλαίσιο της κυκλοφορίας της οικογένειας στις 21 Οκτωβρίου. Κατά την προηγούμενη εκείνη κυκλοφορία, η Baseten περιέγραψε το mammoth-1 ως το μοντέλο με την υψηλότερη κατάταξη ανάμεσα σε 208 μοντέλα αποφάσεων στον Jev Decision Index και το elephant-1 ως το κορυφαίο μοντέλο αποφάσεων 9B. Και τα τρία μοντέλα εκπαιδεύονται με το ίδιο μείγμα δεδομένων και χρησιμοποιούν το ίδιο API, κάτι που, σύμφωνα με την εταιρεία, επιτρέπει τη μετάβαση από το ένα στο άλλο με αλλαγή μίας γραμμής κώδικα. Η Baseten προορίζει το mammoth-1 για αποφάσεις όπου η ακρίβεια έχει τη μεγαλύτερη σημασία, το elephant-1 ως την ισορροπημένη προεπιλογή και το joey-1 για φόρτους εργασίας μεγάλου όγκου, ευαίσθητους ως προς την καθυστέρηση.

Σε αντίθεση με τα παραγωγικά LLM, ένα μοντέλο αποφάσεων δεν παράγει κείμενο. Σε ένα πέρασμα προς τα εμπρός, επιστρέφει μια ετικέτα και έναν βαθμό εμπιστοσύνης για αυτήν, ενώ το άθροισμα των βαθμών για όλες τις πιθανές απαντήσεις ισούται με 1. Δεδομένης μιας κατάστασης —κειμένου, προαιρετικά μαζί με εικόνες— και ενός συνόλου ερωτήσεων, το joey-1 επιστρέφει βαθμονομημένη πιθανότητα για κάθε επιλογή μέσω μίας προπλήρωσης με κοινό πρόθεμα. Το μοντέλο υποστηρίζει τρεις τύπους ερωτήσεων: ναι/όχι, επιλογή ανάμεσα σε κατονομασμένες επιλογές και διατεταγμένες βαθμίδες αξιολόγησης. Σε προηγούμενη ανάρτηση για την οικογένεια μοντέλων, η Baseten αναφέρει χρήσεις των μοντέλων αποφάσεων, όπως την αρχική διαλογή και δρομολόγηση αιτημάτων υποστήριξης, τον εντοπισμό ανεπιθύμητων μηνυμάτων και ηλεκτρονικού «ψαρέματος», τις δικλίδες ασφαλείας για προτροπές και τον εντοπισμό προσπαθειών παράκαμψης των περιορισμών, καθώς και τη δρομολόγηση αιτημάτων μεταξύ μικρών και κορυφαίων LLM.

Η Baseten ανέφερε ότι αξίζει η μεταφορά ενός φόρτου εργασίας LLM στο joey-1 όταν ο όγκος των αποφάσεων είναι αρκετά μεγάλος ώστε το κόστος ανά κλήση να καθορίζει τα οικονομικά του έργου ή όταν η απόφαση αποτελεί προϋπόθεση για το επόμενο βήμα και η καθυστέρησή της προστίθεται σε κάθε απόκριση. Για παράδειγμα, η ταξινόμηση 10 εκατομμυρίων αιτημάτων υποστήριξης τον μήνα, με περίπου 500 διακριτικά το καθένα, αντιστοιχεί συνολικά σε 5 δισεκατομμύρια διακριτικά, τα οποία, σύμφωνα με την τιμολόγηση της εταιρείας, κοστίζουν περίπου 50 $ τον μήνα με το joey-1, έναντι 500 $ με το mammoth-1. Η Baseten περιγράφει το joey-1 ως μοντέλο πρώτης γραμμής, με βαρύτερα μοντέλα, όπως το elephant-1 ή το mammoth-1, διαθέσιμα ως επόμενο επίπεδο όταν το joey-1 δεν είναι βέβαιο για την απάντησή του.

Αναφερόμενες επιδόσεις καθυστέρησης και αποτελέσματα συγκριτικών δοκιμών

Η Baseten ανέφερε ότι, σε παραγωγική κλίμακα, το joey-1 εξυπηρετεί ένα αίτημα 2.000 διακριτικών κατά μέσο όρο με διάμεση καθυστέρηση από άκρο σε άκρο P50 20 ms, περίπου 2,5 φορές ταχύτερα από το elephant-1, που έχει καθυστέρηση 49 ms, και περιέγραψε το μοντέλο ως 5 φορές ταχύτερο από συγκρίσιμα μοντέλα αποφάσεων. Η εταιρεία δήλωσε ότι, σύμφωνα με τις εσωτερικές δοκιμές της, για τις οποίες θα δοθούν λεπτομέρειες αργότερα, το joey-1 είναι το ισχυρότερο μοντέλο αποφάσεων με 3B ή λιγότερες παραμέτρους.

Η κάρτα μοντέλου αναφέρει ότι το joey-1 συγκέντρωσε βαθμολογία 63,30 στο δημόσιο σύνολο αξιολόγησης του Jev Decision Index 0.4, καταλαμβάνοντας την 37η θέση ανάμεσα σε 230 μοντέλα και καταγράφοντας την υψηλότερη βαθμολογία μεταξύ των μοντέλων με λιγότερες από 4B παραμέτρους σε αυτό το σύνολο. Ο πίνακας δημόσιου συνόλου της κάρτας παραθέτει βαθμολογίες 72,24 για το elephant-1, 61,71 για το Cloudflare Clef, 60,70 για το Jev 1.14 και 60,06 για το Perplexity Decider Flash v1.2. Σύμφωνα με την κάρτα, το joey-1 έχει χαμηλότερη βαθμολογία από το elephant-1 σε κάθε τομέα που αξιολογήθηκε και υψηλότερη από το Jev 1.14 σε τέσσερις από τους πέντε τομείς: γλώσσα, εργαλεία και αυτοματοποίηση, ανάκτηση και ταξινόμηση, καθώς και τέχνες και ανθρώπινο γούστο.

Στο εσωτερικό αντίγραφο του Artificial Analysis Decision Index της Base Labs, η κάρτα αναφέρει βαθμολογία 62,9 για το joey-1, χαμηλότερη από τις 65,9 του mammoth-1, τις 65,2 του elephant-1 και τις 65 του d1-ultra. Η σελίδα βιβλιοθήκης μοντέλων της Baseten αναφέρει ότι, κατά την κυκλοφορία του τον Οκτώβριο του 2026, το joey-1 είναι το κορυφαίο μοντέλο 2B στον Jev Decision Index 0.4.

Δεδομένα και μέθοδος εκπαίδευσης

Σύμφωνα με την κάρτα μοντέλου, το joey-1 εκπαιδεύτηκε περαιτέρω από το Qwen3.5-2B, με το ίδιο μείγμα δεδομένων και την ίδια μέθοδο εκπαίδευσης όπως τα elephant-1 και mammoth-1, μέσω του Baseten Training Jobs. Η διαδικασία περιλάμβανε πλήρη λεπτομερή ρύθμιση του γλωσσικού μοντέλου για αποφάσεις βασισμένες σε κείμενο και εικόνες, με τον κωδικοποιητή όρασης παγωμένο, τη χρήση μάσκας αμφίδρομης προσοχής κατά μπλοκ στα επίπεδα πλήρους προσοχής και μέγιστο μήκος ακολουθίας 16.384 διακριτικών.

Το σύνολο δεδομένων εκπαίδευσης περιλάμβανε 6,21 εκατομμύρια παραδείγματα αποφάσεων, σε ένα μείγμα που το εργαστήριο αποκαλεί Mix 8: 58,3% βασικές δεξιότητες λήψης αποφάσεων, 16,1% ασφάλεια και αποχή από απάντηση, 16,1% αξιολόγηση και εξειδικευμένοι τομείς, και 9,5% δημόσια δεδομένα αποφάσεων. Ο στόχος εκπαίδευσης συνδύαζε την εντροπία διασταύρωσης με έναν όρο βαθμονόμησης Brier, με το λάμδα ορισμένο σε 1, και περιλάμβανε εκπαιδευμένη επιλογή «Δεν γνωρίζω» για περιπτώσεις στις οποίες το μοντέλο δεν είναι βέβαιο για την απάντησή του. Η μέθοδος εκπαίδευσης περιλάμβανε μία εποχή 43.390 βημάτων, με μέγιστο ρυθμό μάθησης 1e-5 και βελτιστοποιητή AdamW, τιμές βήτα 0,9 και 0,95 και μηδενική απομείωση βαρών, προθέρμανση 3%, συνημιτονική μείωση του ρυθμού μάθησης και ακρίβεια bf16, σε δύο κόμβους με οκτώ GPU H100 ο καθένας, δηλαδή 16 GPU συνολικά.

Διαθεσιμότητα, τιμολόγηση και ανάπτυξη

Το joey-1 είναι διαθέσιμο μέσω των Baseten Model APIs, στο endpoint /v1/systemone, με αναγνωριστικό μοντέλου decision-models/baseten-joey-2b-latest και μηδενική διατήρηση δεδομένων ενεργοποιημένη από προεπιλογή. Η αναγραφόμενη τιμή είναι 0,01 $ ανά εκατομμύριο διακριτικά εισόδου, ενώ η προσωρινά αποθηκευμένη είσοδος και η έξοδος αναγράφονται στα 0,00 $. Ο πίνακας τιμολόγησης της οικογένειας μοντέλων αναφέρει τιμές 0,035 $ για το elephant-1 και 0,1 $ για το mammoth-1 ανά εκατομμύριο διακριτικά, ενώ η ανακοίνωση αναφέρει ότι η τιμή του joey-1 είναι το ένα δέκατο της τιμής του mammoth-1.

Στα API μοντέλων, τα μοντέλα λήψης αποφάσεων υποστηρίζουν παράθυρο περιβάλλοντος 16k και είναι βελτιστοποιημένα για φόρτους εργασίας χαμηλής καθυστέρησης. Οι αποκλειστικές αναπτύξεις παρέχουν πρόσβαση σε ολόκληρο το παράθυρο περιβάλλοντος των 262k και υποστηρίζουν βάρη που έχουν υποβληθεί σε λεπτορύθμιση· η Baseten ανέφερε ότι μπορούν επίσης να προσφέρουν μικρότερο TTFT και υψηλότερο TPS (χρόνο έως το πρώτο διακριτικό και διακριτικά ανά δευτερόλεπτο), χάρη σε βελτιστοποιήσεις ειδικά για κάθε φόρτο εργασίας και στη συνεγκατάσταση με φόρτους εργασίας LLM. Τα elephant-1 και joey-1 είναι διαθέσιμα για μεταεκπαίδευση μέσω του Baseten Training Jobs, ενώ η εταιρεία έχει δημοσιεύσει στο GitHub έναν οδηγό λεπτορύθμισης.

Τα βάρη είναι ανοικτά υπό την άδεια MIT. Για αυτοφιλοξενία, το σενάριο εγκατάστασης της κάρτας μοντέλου εγκαθιστά ένα περιβάλλον εξυπηρέτησης κλειδωμένο σε συγκεκριμένη έκδοση, το OneJev με ενημέρωση κώδικα για την εξυπηρέτηση, και απαιτεί μία GPU με CUDA. Η κάρτα επισημαίνει ότι τα αιτήματα που υπερβαίνουν τα όρια μήκους για τα οποία έχει εκπαιδευτεί το μοντέλο απορρίπτονται αντί να περικόπτονται.