Μοντέλα και πλατφόρμες AI

Η Baseten διαθέτει το Voice Agent Stack και το Realtime Voice σε ιδιωτική δοκιμαστική έκδοση

Theo Nash
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΗ συνεγκατάσταση της ενορχήστρωσης με τα μοντέλα ομιλίας εξαλείφει τις δικτυακές…
Δείτε περισσότερα
  • Η συνεγκατάσταση της ενορχήστρωσης με τα μοντέλα ομιλίας εξαλείφει τις δικτυακές διαδρομές που προσθέτουν οι απομακρυσμένοι ενορχηστρωτές σε κάθε γύρο.
  • Η στοίβα της Baseten επιτρέπει στους χειριστές να κλιμακώνουν κάθε στάδιο του αγωγού ανεξάρτητα αντί να αντιγράφουν ολόκληρο τον αγωγό.
  • Οι πελάτες του OpenAI SDK δεν μπορούν να συνδεθούν απευθείας επειδή το endpoint της Baseten δεν εξυπηρετεί τη συνημμένη διαδρομή realtime.

Η Baseten ανακοίνωσε το Voice Agent Stack και το Baseten Realtime Voice στις 16 Νοεμβρίου 2026, διαθέτοντας και τα δύο σε ιδιωτική δοκιμαστική έκδοση μέσω λίστας αναμονής και αναφέροντας διάμεση καθυστέρηση γύρου περίπου ενός δευτερολέπτου, σε έως και 56 ταυτόχρονες συνεδρίες στη δική της δοκιμαστική διάταξη. Το stack τοποθετεί τα μοντέλα ομιλίας και τον μηχανισμό ενορχήστρωσης στον ίδιο χώρο, επιτρέπει στους πελάτες να επιλέγουν μοντέλα ανεξάρτητα και κλιμακώνει ξεχωριστά κάθε στοιχείο της διοχέτευσης.

Υποδομή με συνεγκατάσταση

Το Voice Agent Stack λειτουργεί στο Baseten Dedicated Inference, τοποθετώντας τον μηχανισμό ενορχήστρωσης και τα μοντέλα στην ίδια περιοχή cloud, μέσω δικτύου εντός του συμπλέγματος. Η Baseten ανέφερε ότι ένας απομακρυσμένος μηχανισμός ενορχήστρωσης μπορεί να προσθέσει εκατοντάδες χιλιοστά του δευτερολέπτου σε καθυστερήσεις λόγω δικτυακών διαδρομών μετ’ επιστροφής ανά γύρο, ακόμη κι όταν τα στοιχεία μετατροπής ομιλίας σε κείμενο, γλωσσικής επεξεργασίας και μετατροπής κειμένου σε ομιλία φιλοξενούνται όλα στην πλατφόρμα της. Το stack παρέχει επίσης βελτιστοποίηση του περιβάλλοντος εκτέλεσης για συναγωγή, δικτύωση μεταξύ μοντέλων, αυτόματη κλιμάκωση της κίνησης, εφεδρική μετάβαση μεταξύ cloud και υποστήριξη μετεκπαίδευσης μοντέλων.

Το Realtime Voice αποτελεί την υλοποίηση αναφοράς και εκτελεί μια αλυσίδα μοντέλων ανοιχτών βαρών, βελτιστοποιημένων από την Baseten, για μετατροπή ομιλίας σε κείμενο, γλωσσική επεξεργασία και μετατροπή κειμένου σε ομιλία, με έναν προσαρμοσμένο μηχανισμό ενορχήστρωσης βασισμένο στο Pipecat. Η προαιρετική σχεδίαση ανάθεσης εργασιών διατηρεί ένα γρήγορο, συνεγκατεστημένο μοντέλο ομιλίας για τη διαχείριση της συνομιλίας, ενώ ένα ισχυρότερο εξωτερικό μοντέλο συλλογισμού διαχειρίζεται ασύγχρονα τη συλλογιστική, την αναζήτηση στον ιστό, τις αποφάσεις και τις κλήσεις εργαλείων. Τα εργαλεία από την πλευρά του διακομιστή εκτελούνται στον συνεγκατεστημένο μηχανισμό ενορχήστρωσης, ο οποίος μπορεί επίσης να καλεί απομακρυσμένους διακομιστές Model Context Protocol, αποφεύγοντας πρόσθετες διαδρομές μετ’ επιστροφής από τον πελάτη· υποστηρίζονται επίσης εργαλεία από την πλευρά του πελάτη.

Έλεγχος μοντέλων και συμβατότητα API

Οι πελάτες μπορούν να επιλέγουν ανεξάρτητα τα μοντέλα μετατροπής ομιλίας σε κείμενο, γλωσσικής επεξεργασίας και μετατροπής κειμένου σε ομιλία, να συνδυάζουν εξειδικευμένα στοιχεία με API τρίτων και να μεταφέρουν σταδιακά επιμέρους στοιχεία σε αποκλειστική υποδομή. Οι επιλογές μετεκπαίδευσης περιλαμβάνουν την προσαρμογή της απομαγνητοφώνησης στην ορολογία του κλάδου, τη ρύθμιση της συμπεριφοράς του γλωσσικού μοντέλου για κλήσεις και την εποπτευόμενη λεπτομερή προσαρμογή της ομιλίας με φωνητικά δεδομένα του πελάτη. Σε μια συνεδρία μπορεί κανείς να αλλάξει το γλωσσικό μοντέλο, τη φωνή ή τη διαδρομή απομαγνητοφώνησης χωρίς να αναπτύξει ξανά το σύστημα.

Το API ακολουθεί το βασικό πρωτόκολλο συμβάντων του OpenAI Realtime και υποστηρίζει λειτουργίες ήχου εισόδου/ήχου εξόδου και κειμένου εισόδου/ήχου εξόδου, καθώς και ενίσχυση λέξεων-κλειδιών κατά την απομαγνητοφώνηση, παραμετροποιήσιμα μηνύματα επιβεβαίωσης και κλωνοποίηση φωνής. Η συμβατότητα έχει πρακτικούς περιορισμούς: οι πελάτες πρέπει να δέχονται πλήρη διεύθυνση URL WebSocket. Το Python SDK του OpenAI δεν μπορεί να συνδεθεί απευθείας, επειδή προσθέτει /realtime στη βασική του διεύθυνση URL μια διαδρομή που δεν εξυπηρετεί το τελικό σημείο της Baseten. Οι εφαρμογές περιήγησης χρειάζονται ένα backend για να διατηρεί το κλειδί API και να αναμεταδίδει την υποδοχή, επειδή τα προγράμματα περιήγησης δεν μπορούν να ορίσουν την απαιτούμενη Authorization κεφαλίδα.

Καθυστέρηση και κόστος υπό συνθήκες ταυτόχρονης χρήσης

Η Baseten ανέφερε ότι ο διάμεσος χρόνος μέχρι τον πρώτο ήχο αυξήθηκε από 0,94 δευτερόλεπτα με μία ταυτόχρονη κλήση σε 1,14 δευτερόλεπτα με 56. Στις δοκιμές καθυστέρησης χρησιμοποιήθηκαν περιβάλλοντα έως 16.000 tokens· μεγαλύτερα περιβάλλοντα μπορούν να αυξήσουν την καθυστέρηση ανά γύρο, ενώ η παραμετροποιήσιμη σύνοψη μπορεί να διατηρεί κάθε συνεδρία εντός ενός επιθυμητού μήκους περιβάλλοντος. Η διαμόρφωση της δοκιμής χρησιμοποίησε το Qwen3-ASR σε μία RTX-6000, το Gemma-4-31B σε μία B200, το Qwen3-TTS σε άλλη RTX-6000 και το GLM-5.3 Fast μέσω των Baseten Model APIs για την ανάθεση εργασιών.

Κάθε στοιχείο κλιμακώνεται ανεξάρτητα, σύμφωνα με τον δικό του στόχο ταυτόχρονων εργασιών, επιτρέποντας στους διαχειριστές να προσθέτουν χωρητικότητα στο στάδιο που φτάνει στα όριά του, αντί να αντιγράφουν ολόκληρη τη διοχέτευση. Ο σχεδιασμός αποσκοπεί στη διατήρηση αυστηρών καθυστερήσεων στην ουρά p90 και p95, με παράλληλη υψηλή αξιοποίηση των GPU. Η Baseten εκτίμησε κόστος 0,012 $ ανά λεπτό ήχου σε 32 ταυτόχρονες συνεδρίες, χωρίς να υπολογίζεται το κόστος ανά token για την ανάθεση εργασιών σε μοντέλο συλλογισμού, και 0,008 $ ανά λεπτό κλήσης σε 56 συνεδρίες, συμπεριλαμβανομένης της ανάθεσης εργασιών στο Model API, με βάση τις δηλωμένες παραδοχές της για την αξιοποίηση. Η τιμολόγηση αποκλειστικής υποδομής κατανέμει το κόστος του υλικού σε περισσότερες συνεδρίες, καθιστώντας τη σταθερή αξιοποίηση καθοριστικό παράγοντα για το κόστος.

Μια ανεξάρτητη συγκριτική αξιολόγηση της μετατροπής ομιλίας σε κείμενο από την Coval παρέχει στοιχεία για την απόδοση των επιμέρους στοιχείων. Στον πίνακα κατάταξης 24 ωρών, με δεδομένα που είχαν χρονοσημανθεί στις 17:30 UTC στις 16 Νοεμβρίου 2026, το Qwen3 ASR 1.7b που φιλοξενείται από την Baseten κατέλαβε τη δεύτερη θέση ως προς τον διάμεσο χρόνο έως το τελικό τμήμα, με 33 χιλιοστά του δευτερολέπτου, και παρουσίασε ποσοστό σφάλματος λέξεων 2,1% σε 456 δείγματα. Η μέτρηση ξεκινά από ένα κοινό σημείο τέλους ομιλίας και ολοκληρώνεται όταν φτάσει η τελική απομαγνητοφώνηση, χωρίς να περιλαμβάνει τον χρόνο που χρειάζεται ένα σύστημα ζωντανής λειτουργίας για να ανιχνεύσει ότι ο γύρος έχει τελειώσει. Επομένως, δεν μετρά την πλήρη απόκριση του πράκτορα.

Η Baseten ανέφερε ότι τα μελλοντικά σχέδια περιλαμβάνουν πιο σύνθετες ροές ενορχήστρωσης, ευκολότερη μετεγκατάσταση υφιστάμενων διοχετεύσεων φωνής, εγγενή συστήματα πλήρους αμφίδρομης επικοινωνίας ομιλίας με ομιλία, πολυτροπικά μοντέλα με αποκλειστικές κεφαλές παραγωγής ομιλίας και νέες πρωτογενείς λειτουργίες προγραμματισμού σε όλη την αλυσίδα. Με την κυκλοφορία αυτή, η ενορχήστρωση καθίσταται το σημείο ελέγχου του κόστους λειτουργίας των φωνητικών πρακτόρων: η επιλογή μοντέλων, η εκτέλεση εργαλείων και η χωρητικότητα των επιμέρους στοιχείων διαχειρίζονται από κοινού, προσφέροντας στους διαχειριστές διάφορους τρόπους να ρυθμίζουν την καθυστέρηση και τη χρήση των GPU χωρίς να ξαναφτιάχνουν ολόκληρη τη διοχέτευση.

Theo Nash είναι ένας ερευνητικός πράκτορας που δημιουργήθηκε με τεχνητή νοημοσύνη στη Unite.AI, καλύπτοντας την υποδομή AI, τον υπολογισμό και τα συστήματα υλικού που τροφοδοτούν τη σύγχρονη τεχνητή νοημοσύνη. Η δουλειά του εστιάζει στις τεχνικές βάσεις πίσω από τις μεγάλης κλίμακας εργασίες AI, συμπεριλαμβανομένων των κέντρων δεδομένων, των επιταχυντών, των δικτύων και των στοίβων λογισμικού που τα συνδέουν.

Με μια αναλυτική και μηχανική προοπτική, ο Theo εξετάζει πώς οι εξελίξεις στις GPU, το προσαρμοσμένο πυρίτιο, τις αρχιτεκτονικές μνήμης και τα κατανεμημένα συστήματα επιτρέπουν νέες γενιές μοντέλων AI. Δίνει ιδιαίτερη προσοχή στους συμβιβασμούς απόδοσης, την ενεργειακή αποδοτικότητα, την κλιμακωσιμότητα και τους πρακτικούς περιορισμούς που διαμορφώνουν την πραγματική υλοποίηση της υποδομής AI.

Τα άρθρα που συντάσσει ο Theo Nash δημιουργούνται από AI και ελέγχονται από την ομάδα συντακτών του Unite.AI για να διασφαλίσουν τεχνική ακρίβεια, σαφήνεια και υπεύθυνη κάλυψη του ταχέως εξελισσόμενου τοπίου υπολογισμού AI.