Η Together AI φέρνει τη συνεχή μεταγλώττιση στον συμπερασμό σε παραγωγικά περιβάλλοντα

Η Together AI ανακοίνωσε την Πολυμορφική Συναγωγή στις 4 Νοεμβρίου 2026, παρουσιάζοντας το Together Compiler ως την πρώτη υλοποίησή της. Το σύστημα, στο οποίο καθοδηγητικό ρόλο έχουν πράκτορες, προσαρμόζει συνεχώς τον συμπερασμό σε μεταβαλλόμενα μοντέλα, κυκλοφοριακά φορτία και υλικό, ενώ ήδη χρησιμοποιείται σε πολλά από τα σημαντικότερα παραγωγικά φορτία συμπερασμού της εταιρείας και σε ορισμένα δημοφιλή σημεία πρόσβασης χωρίς διακομιστή.

Η Together AI αναφέρει ότι ο μεταγλωττιστής πέτυχε από 1,3 έως 3 φορές περισσότερα διακριτικά ανά δευτερόλεπτο από ιδιαίτερα βελτιστοποιημένες βάσεις σύγκρισης ανοιχτού κώδικα, σε λιγότερο από 24 ώρες, σε δοκιμές με τα Kimi K3, GLM 5.3, MiniMax M3.1-Flash και DeepSeek v4.1-Flash. Τα αποτελέσματα αυτά αναδεικνύουν την κεντρική θέση της ανακοίνωσης: η βελτιστοποίηση μπορεί να αποτελεί μια συνεχή διαδικασία αναζήτησης προσαρμοσμένη σε κάθε ανάπτυξη, αντί για έναν κύκλο χειροκίνητων ρυθμίσεων που παγιώνεται κατά την έναρξη λειτουργίας.

Μεταβαλλόμενα μοντέλα, κυκλοφοριακά φορτία και υλικό

Η Πολυμορφική Συναγωγή είναι ο όρος που χρησιμοποιεί η Together AI για υποδομή εξυπηρέτησης μοντέλων η οποία προσαρμόζεται στην ταχύτερη κυκλοφορία νέων μοντέλων, στις διαφορετικές αρχιτεκτονικές, στα μεταβαλλόμενα μοτίβα κίνησης και στις απαιτήσεις επιπέδου υπηρεσίας, καθώς και στις συχνότερες αλλαγές υλικού. Η αντίθετη, στατική προσέγγιση βασίζεται σε μια σταθερή διαμόρφωση μηχανής. Μια διαμόρφωση ρυθμισμένη για ένα περιβάλλον δεν είναι απαραίτητα κατάλληλη για κάποιο άλλο, ιδίως όταν αλλάζουν η συμπεριφορά των μοντέλων και η κατανομή των αιτημάτων.

Οι παρατηρήσεις της εταιρείας από παραγωγικά περιβάλλοντα προσφέρουν συγκεκριμένα παραδείγματα. Η Together AI αναφέρει ότι τα μηνύματα προτροπής κατά τις εργάσιμες ώρες μιας χώρας έφτασαν περίπου τα 97.000 διακριτικά, έναντι 70.000 αλλού, και ότι το μήκος των μηνυμάτων προτροπής αυξήθηκε κατά 80% τις δύο εβδομάδες μετά την κυκλοφορία ενός μοντέλου, καθώς η χρήση στράφηκε σε φόρτους εργασίας με πράκτορες. Οι αιχμές στη δραστηριότητα των πελατών μπορούν επίσης να διπλασιάσουν το μήκος των μηνυμάτων προτροπής και να μειώσουν τα ποσοστά επιτυχίας της κρυφής μνήμης, αλλάζοντας τις συνθήκες για τις οποίες είχε ρυθμιστεί μια υπάρχουσα διαμόρφωση.

Η ανακοίνωση αναθεωρεί επίσης την προηγούμενη έμφαση της Together AI στους μεγαπυρήνες, οι οποίοι συνδυάζουν λειτουργίες σε έναν ενιαίο πυρήνα. Αφού έθεσε σε παραγωγική λειτουργία πρώιμες εκδόσεις τους, η εταιρεία κατέληξε στο συμπέρασμα ότι η συγχώνευση από μόνη της δεν αποτελεί καθολικό σχεδιαστικό στόχο: οι αρχιτεκτονικές μίγματος ειδικών και τα δυναμικά φορτία εργασίας ενδέχεται να απαιτούν διαφορετικές τεχνικές. Αντίστοιχα, πυρήνες που αναπτύχθηκαν με βάση σταθερή ή τυχαία κίνηση μπορεί να μην είναι κατάλληλα ρυθμισμένοι για κίνηση παραγωγικής λειτουργίας, όπου η δρομολόγηση με βάση τα δεδομένα επηρεάζει το ποιες βελτιστοποιήσεις αποδίδουν καλύτερα.

Πώς λειτουργεί η συνεχής μεταγλώττιση

Το Together Compiler λαμβάνει ως εισόδους το μοτίβο κίνησης, το μοντέλο και το υλικό και στη συνέχεια χρησιμοποιεί πράκτορες για να δημιουργήσει και να μετρήσει υποψήφιες βελτιστοποιήσεις για μια μηχανή συμπερασμού. Μια μόνιμα ενεργή μηχανή φορτώνει το μοντέλο μία φορά και επαναφορτώνει εν θερμώ υποψήφιες προωθήσεις, χωρίς να χρειάζεται επανεκκίνηση ολόκληρης της μηχανής. Παράλληλοι πράκτορες δημιουργούν υποψηφιότητες και επικοινωνούν μέσω ενός πίνακα μηνυμάτων, διατηρώντας τα πειράματα σε αναμονή όσο άλλοι πράκτορες συλλογίζονται ή χρησιμοποιούν εργαλεία.

Δύο επίπεδα μετρήσεων εξισορροπούν τον όγκο των πειραμάτων με τον ρεαλισμό. Οι ταχείες μηχανές φορτώνουν ένα υποσύνολο επιπέδων για γρήγορες επαναλήψεις και μετρήσεις χρόνου με μικρή διακύμανση· οι πιο αργές μηχανές φορτώνουν περισσότερα επίπεδα, ώστε να ελέγχεται αν οι υποψήφιες λύσεις αποδίδουν ικανοποιητικά σε ρεαλιστικές κατανομές δεδομένων. Ένα ξεχωριστό μοντέλο κόστους συνδυάζει προδιαγραφές υλικού, μικρομετρήσεις επιδόσεων και μετρημένες προωθήσεις, ώστε να περιορίσει την αναζήτηση διαμορφώσεων παραλληλισμού προτού οι πράκτορες αφιερώσουν χρόνο στη βελτιστοποίηση υποψηφίων λύσεων.

Η τεχνική εργασία αναφέρει ότι οι υποψήφιες λύσεις που επικρατούν υποβάλλονται σε δοκιμές επαλήθευσης για επιμόλυνση της κρυφής μνήμης KV και για την ποιότητα των αποτελεσμάτων, προτού καταστούν διαθέσιμες για εξυπηρέτηση. Οι έλεγχοι εκτελούνται αφού εξαντληθεί ο προϋπολογισμός βελτιστοποίησης, όταν ο τελικός πηγαίος κώδικας προετοιμάζεται για ενσωμάτωση στη μηχανή εξυπηρέτησης.

Η σύγκριση με την καθιερωμένη προσέγγιση στην ανάρτηση για την κυκλοφορία αναφέρει ότι η ακολουθία αναφοράς απαιτεί 467 δευτερόλεπτα μέχρι να είναι έτοιμη η εξυπηρέτηση, έναντι 9,0 δευτερολέπτων με τη διαμόρφωση του Together Compiler. Αυτοί οι αριθμοί αφορούν την εκκίνηση της μηχανής κατά τη βελτιστοποίηση και όχι τον χρόνο απόκρισης μεμονωμένων αιτημάτων, και εξηγούν γιατί η επαναφόρτωση εν θερμώ είναι καθοριστική για τον ρυθμό εκτέλεσης πειραμάτων του συστήματος.

Εύρος αξιολόγησης και πρόσβαση πελατών

Για τις συγκρίσεις μηχανών, η εργασία χρησιμοποίησε κορυφαίες ανοικτές διαμορφώσεις όπως είχαν διαμορφωθεί στις 30 Οκτωβρίου 2026 και διατήρησε σταθερή τη στρατηγική παραλληλισμού της βάσης σύγκρισης, ώστε να απομονώσει την επίδραση της βελτιστοποίησης με πράκτορες. Η Trainium2 αποτέλεσε τη δηλωμένη εξαίρεση από τον τυπικό φόρτο εργασίας αξιολόγησης: χρησιμοποιήθηκε ένα συνθετικό σύνολο δεδομένων πολλαπλών γύρων, επειδή η υλοποίηση δεν υποστήριζε ακόμη υψηλότερα επίπεδα ταυτόχρονης εκτέλεσης εντός της διαθέσιμης χωρητικότητας HBM.

Η Together AI αποδίδει εν μέρει τα αποτελέσματα της βελτιστοποίησης στο γεγονός ότι ο ρυθμός εκτέλεσης πειραμάτων είναι 252 φορές υψηλότερος από εκείνον των βασικών συστημάτων βελτιστοποίησης με πράκτορες, αναδρομικής αυτοβελτίωσης.

Πέρα από τον συμπερασμό γλωσσικών μοντέλων, η εργασία αναφέρει επιταχύνσεις από 1,5 έως 6,4 φορές σε δοκιμασμένα μοντέλα καιρού, βιολογίας, χρονοσειρών και μερικών διαφορικών εξισώσεων, με διατήρηση απολύτως ταυτόσημων εξόδων σε επίπεδο bit στις αξιολογήσεις που αναφέρονται.

Οι τελικοί πελάτες μπορούν να ζητήσουν πρώιμη πρόσβαση μέσω μιας περιορισμένης δοκιμαστικής έκδοσης beta. Η Together AI σχεδιάζει να προσφέρει βελτιστοποίηση αποκλειστικών σημείων πρόσβασης με ένα κλικ, ενώ ο ερευνητικός της οδικός χάρτης περιλαμβάνει αποκωδικοποίηση με πρόβλεψη που προσαρμόζεται ανάλογα με τον τομέα, το αίτημα, το διακριτικό και το φορτίο κίνησης, καθώς και δυναμική δρομολόγηση μεταξύ εργαζομένων και διαμορφώσεων ανάπτυξης για ετερογενή κυκλοφορία χωρίς διακομιστή.

Η κυκλοφορία καθιστά τις μετρήσεις ανά ανάπτυξη, αντί για την αναζήτηση ενός καθολικά βέλτιστου πυρήνα, βασική αρχή της στοίβας συμπερασμού της Together AI. Το άμεσο ερώτημα για τους πελάτες είναι αν η περιορισμένη δοκιμαστική έκδοση μπορεί να αναπαράγει τα αναφερόμενα κέρδη στα δικά τους μοντέλα, στην κίνησή τους και στο υλικό τους, περνώντας παράλληλα τους ίδιους ελέγχους ποιότητας — αυτήν ακριβώς τη μεταβλητότητα έχει σχεδιαστεί να αντιμετωπίζει η Συνεχής Μεταγλώττιση.