KI-Modelle und Plattformen
Baseten öffnet seinen Voice Agent Stack und Realtime Voice für eine private Vorschau

Wichtige PunkteDie gemeinsame Platzierung von Orchestrierung und Sprachmodellen beseitigt…
Mehr anzeigen
- Die gemeinsame Platzierung von Orchestrierung und Sprachmodellen beseitigt Netzwerk-Roundtrips, die entfernte Orchestratoren pro Zug hinzufügen.
- Basetens Stack ermöglicht es Betreibern, jede Pipeline-Stufe unabhängig zu skalieren, statt die gesamte Pipeline zu duplizieren.
- OpenAI-SDK-Clients können sich nicht direkt verbinden, weil Basetens Endpunkt den angehängten Echtzeit-Pfad nicht bereitstellt.
Baseten kündigte den Voice Agent Stack und Baseten Realtime Voice am 16. November 2026 an und öffnete beide Produkte über eine Warteliste für eine private Vorschau. Im Testaufbau lag die mediane Latenz pro Gesprächsrunde bei rund einer Sekunde, bei bis zu 56 gleichzeitigen Sitzungen. Der Stack bringt Sprachmodelle und Orchestrierung an einem Ort zusammen, lässt Kunden Modelle unabhängig voneinander auswählen und skaliert jede Komponente der Pipeline separat.
Gemeinsam gehostete Infrastruktur
Der Voice Agent Stack läuft auf Baseten Dedicated Inference. Dabei befinden sich Orchestrator und Modelle in derselben Cloud-Region und kommunizieren über ein Netzwerk innerhalb des Clusters. Baseten zufolge kann ein entfernter Orchestrator pro Gesprächsrunde Hunderte Millisekunden an Netzwerkumlaufzeit verursachen, selbst wenn die Komponenten für Sprache-zu-Text, Sprachverarbeitung und Text-zu-Sprache alle auf seiner Plattform gehostet werden. Der Stack bietet außerdem Optimierungen für die Inferenzlaufzeit, die Vernetzung von Modellen untereinander, automatische Skalierung des Datenverkehrs, Failover zwischen Clouds und Unterstützung für das nachträgliche Training von Modellen.
Realtime Voice dient als Referenzimplementierung. Sie führt eine Kaskade von für Baseten optimierten Open-Weight-Modellen für Sprache-zu-Text, Sprachverarbeitung und Text-zu-Sprache aus, gesteuert von einem benutzerdefinierten, auf Pipecat basierenden Orchestrator. Beim optionalen Delegationsdesign führt ein schnelles, gemeinsam gehostetes Modell für die Gesprächsführung den Dialog, während ein leistungsstärkeres, externes Modell für komplexere Aufgaben asynchron Schlussfolgerungen zieht, im Web sucht, Entscheidungen trifft und Werkzeuge aufruft. Serverseitige Werkzeuge werden auf dem gemeinsam gehosteten Orchestrator ausgeführt, der auch entfernte Server des Model Context Protocol aufrufen kann. So entfallen zusätzliche Netzwerkumläufe zum Client; clientseitige Werkzeuge werden ebenfalls unterstützt.
Modellsteuerung und API-Kompatibilität
Kunden können die Modelle für Sprache-zu-Text, Sprachverarbeitung und Text-zu-Sprache unabhängig voneinander auswählen, dedizierte Komponenten mit APIs von Drittanbietern kombinieren und einzelne Komponenten schrittweise auf dedizierte Infrastruktur umstellen. Zu den Möglichkeiten für nachträgliches Training gehören die Anpassung der Transkription an Fachjargon, die Feinabstimmung des Sprachmodellverhaltens für Telefongespräche und die überwachte Feinabstimmung von Sprache anhand der Sprachdaten eines Kunden. Während einer Sitzung lässt sich das Sprachmodell, die Stimme oder die Transkriptionsroute wechseln, ohne das System erneut bereitzustellen.
Die API entspricht dem zentralen Ereignisprotokoll von OpenAI Realtime und unterstützt die Modi Audio-Eingabe/Audio-Ausgabe und Text-Eingabe/Audio-Ausgabe sowie die Gewichtung von Schlüsselwörtern bei der Transkription, konfigurierbare Bestätigungen und Stimmklonen. Bei der Kompatibilität gibt es praktische Einschränkungen: Clients müssen eine vollständige WebSocket-URL akzeptieren. Das Python-SDK von OpenAI kann keine direkte Verbindung herstellen, weil es anfügt /realtime an seine Basis-URL einen Pfad, den der Endpunkt von Baseten nicht bereitstellt. Browser-Clients benötigen ein Backend, das den API-Schlüssel verwahrt und den Socket weiterleitet, da Browser den erforderlichen Header nicht setzen können Authorization Header.
Latenz und Kosten bei gleichzeitiger Nutzung
Baseten zufolge stieg die mediane Zeit bis zum ersten Audio von 0,94 Sekunden bei einem gleichzeitigen Anruf auf 1,14 Sekunden bei 56 Anrufen. Bei den Latenztests kamen Kontexte mit bis zu 16.000 Tokens zum Einsatz. Längere Kontexte können die Latenz pro Gesprächsrunde erhöhen, während sich jede Sitzung durch konfigurierbare Zusammenfassungen auf eine gewünschte Kontextlänge begrenzen lässt. In der Testkonfiguration liefen Qwen3-ASR auf einer RTX-6000, Gemma-4-31B auf einer B200 und Qwen3-TTS auf einer weiteren RTX-6000; für die Delegation kam GLM-5.3 Fast über Baseten Model APIs zum Einsatz.
Jede Komponente wird unabhängig anhand ihres eigenen Ziels für gleichzeitige Auslastung skaliert. So können Betreiber die Kapazität gezielt in der ausgelasteten Phase erhöhen, statt die gesamte Pipeline zu vervielfachen. Das Design soll hohe GPU-Auslastung ermöglichen und zugleich strenge Latenzobergrenzen beim 90. und 95. Perzentil (p90 und p95) einhalten. Baseten schätzte die Kosten bei 32 gleichzeitigen Sitzungen auf 0,012 $ pro Audiominute, ohne die Kosten pro Token für die Delegation an ein Schlussfolgerungsmodell, und bei 56 Sitzungen einschließlich der Delegation über Model API auf 0,008 $ pro Anrufminute. Dabei gelten die von Baseten genannten Auslastungsannahmen. Bei dedizierter Preisgestaltung verteilen sich die Hardwarekosten auf zusätzliche Sitzungen; eine dauerhaft hohe Auslastung ist daher entscheidend für diese Kostenstruktur.
Ein unabhängiger Sprache-zu-Text-Benchmark von Coval liefert Kontext auf Komponentenebene. In der Rangliste für 24 Stunden, deren Daten mit dem Zeitstempel 16. November 2026, 17:30 UTC versehen waren, belegte das von Baseten gehostete Qwen3 ASR 1.7b beim medianen Zeitwert bis zum letzten Segment mit 33 Millisekunden den zweiten Platz. Die Wortfehlerrate lag bei 2,1 % auf Grundlage von 456 Stichproben. Die Messung beginnt an einem gemeinsamen Zeitpunkt nach dem Ende der Spracheingabe und endet mit Eingang des letzten Transkripts. Sie berücksichtigt nicht die Zeit, die ein Live-System benötigt, um das Ende des Gesprächsbeitrags zu erkennen. Daher misst sie nicht die vollständige Antwort des Agenten.
Baseten zufolge gehören komplexere Orchestrierungsabläufe, eine einfachere Migration vorhandener Sprachpipelines, native Vollduplexsysteme für Sprache-zu-Sprache, Omni-Modelle mit dedizierten Köpfen für die Sprachgenerierung und neue Scheduling-Grundbausteine für die Kaskade zu den geplanten Weiterentwicklungen. Mit der Einführung wird die Orchestrierung zum zentralen Steuerungspunkt für die Kosten von Sprachagenten: Modellauswahl, Werkzeugausführung und Kapazität auf Komponentenebene werden gemeinsam verwaltet. So erhalten Betreiber mehrere Möglichkeiten, Latenz und GPU-Auslastung anzupassen, ohne die gesamte Pipeline neu aufbauen zu müssen.












