Modèles et plateformes d’IA
Baseten ouvre son ensemble d’outils pour agents vocaux et Realtime Voice en aperçu privé

Points clésLa colocalisation de l'orchestration avec les modèles vocaux élimine les allers-retours…
Voir plus
- La colocalisation de l'orchestration avec les modèles vocaux élimine les allers-retours réseau que les orchestrateurs distants ajoutent à chaque tour.
- La pile de Baseten permet aux opérateurs de mettre à l'échelle chaque étape du pipeline indépendamment au lieu de dupliquer l'ensemble du pipeline.
- Les clients du SDK OpenAI ne peuvent pas se connecter directement car le point de terminaison de Baseten ne sert pas le chemin temps réel ajouté.
Baseten a annoncé le Voice Agent Stack et Baseten Realtime Voice le 16 novembre 2026, ouvrant les deux produits à un aperçu privé sur liste d’attente et faisant état d’une latence médiane par tour d’environ une seconde, pour jusqu’à 56 sessions simultanées dans son environnement de test. L’ensemble d’outils regroupe les modèles vocaux et l’orchestration au même endroit, permet aux clients de choisir les modèles indépendamment et adapte séparément la capacité de chaque composant du pipeline.
Infrastructure colocalisée
Le Voice Agent Stack fonctionne sur Baseten Dedicated Inference, qui héberge l’orchestrateur et les modèles dans une même région cloud, sur un réseau au sein du cluster. Baseten a indiqué qu’un orchestrateur distant pouvait ajouter des centaines de millisecondes d’allers-retours réseau par tour, même lorsque les composants de reconnaissance vocale, de traitement du langage et de synthèse vocale sont tous hébergés sur sa plateforme. L’ensemble d’outils comprend également l’optimisation du moteur d’inférence, la mise en réseau entre modèles, la mise à l’échelle automatique du trafic, le basculement entre clouds et la prise en charge du post-entraînement des modèles.
Realtime Voice est l’implémentation de référence : elle exécute une cascade de modèles à poids ouverts optimisés par Baseten pour la reconnaissance vocale, le traitement du langage et la synthèse vocale, avec un orchestrateur personnalisé basé sur Pipecat. Sa conception permet, en option, de déléguer certaines tâches : un modèle de dialogue rapide et colocalisé gère la conversation, tandis qu’un modèle de raisonnement externe plus puissant prend en charge de manière asynchrone le raisonnement, la recherche sur le Web, la prise de décision et les appels d’outils. Les outils côté serveur s’exécutent sur l’orchestrateur colocalisé, qui peut également appeler des serveurs Model Context Protocol distants, évitant ainsi des allers-retours supplémentaires avec le client ; les outils côté client sont aussi pris en charge.
Contrôle des modèles et compatibilité de l’API
Les clients peuvent choisir indépendamment les modèles de reconnaissance vocale, de traitement du langage et de synthèse vocale, combiner des composants dédiés avec des API tierces et transférer progressivement certains éléments vers une infrastructure dédiée. Les options de post-entraînement comprennent l’adaptation de la transcription au jargon d’un secteur, le réglage du comportement du modèle de langage pour les appels et l’affinage supervisé de la parole à partir des données vocales d’un client. Une session peut changer de modèle de langage, de voix ou de parcours de transcription sans redéploiement.
L’API est conforme au protocole d’événements de base d’OpenAI Realtime et prend en charge les modes audio-entrée/audio-sortie et texte-entrée/audio-sortie, ainsi que l’optimisation des mots-clés de transcription, les accusés de réception configurables et le clonage vocal. La compatibilité comporte toutefois des limites pratiques : les clients doivent accepter une URL WebSocket complète. Le SDK Python d’OpenAI ne peut pas se connecter directement, car il ajoute /realtime à son URL de base un chemin que le point de terminaison de Baseten ne dessert pas. Les clients Web ont besoin d’un serveur dorsal pour conserver la clé d’API et relayer la connexion par socket, car les navigateurs ne peuvent pas définir l’en-tête Authorization requis.
Latence et coûts en situation de concurrence
Baseten a indiqué que le délai médian avant le premier signal audio passait de 0,94 seconde pour un appel simultané à 1,14 seconde pour 56 appels. Les tests de latence utilisaient des contextes pouvant atteindre 16 000 jetons ; des contextes plus longs peuvent accroître la latence par tour, tandis qu’une synthèse configurable peut maintenir chaque session dans une limite de longueur de contexte définie. La configuration de test utilisait Qwen3-ASR sur un RTX-6000, Gemma-4-31B sur un B200, Qwen3-TTS sur un autre RTX-6000 et GLM-5.3 Fast via Baseten Model APIs pour la délégation.
Chaque composant est mis à l’échelle indépendamment en fonction de son propre objectif de concurrence. Les opérateurs peuvent ainsi augmenter la capacité de l’étape qui atteint sa limite au lieu de dupliquer l’ensemble du pipeline. La conception vise à maintenir des latences strictes aux 90e et 95e centiles tout en conservant un taux élevé d’utilisation des GPU. Baseten a estimé le coût à 0,012 $ par minute audio pour 32 sessions simultanées, hors coût par jeton de la délégation au modèle de raisonnement, et à 0,008 $ par minute d’appel pour 56 sessions, délégation via Model API comprise, selon les hypothèses d’utilisation indiquées. La tarification de l’infrastructure dédiée répartit le coût du matériel sur un plus grand nombre de sessions, ce qui fait de l’utilisation soutenue un facteur central de ces coûts.
Un benchmark indépendant de reconnaissance vocale de Coval fournit des données sur les performances des composants. Son classement sur 24 heures, fondé sur des données horodatées à 17 h 30 UTC le 16 novembre 2026, plaçait Qwen3 ASR 1.7b hébergé par Baseten en deuxième position pour le délai médian jusqu’au segment final, à 33 millisecondes, avec un taux d’erreur de mots de 2,1 % sur 456 échantillons. La mesure commence à un point de fin de parole commun et s’arrête à l’arrivée de la transcription finale ; elle exclut le temps qu’un système en direct met à détecter la fin du tour. Elle ne mesure donc pas la réponse complète de l’agent.
Baseten a indiqué que les développements à venir comprendraient des flux d’orchestration plus complexes, une migration facilitée des pipelines vocaux existants, des systèmes natifs de parole à parole en duplex intégral, des modèles omnidirectionnels dotés de têtes dédiées à la génération vocale et de nouveaux mécanismes de planification dans l’ensemble de la cascade. Ce lancement fait de l’orchestration le point de contrôle des coûts des agents vocaux : le choix des modèles, l’exécution des outils et la capacité de chaque composant sont gérés conjointement, ce qui donne aux opérateurs plusieurs moyens d’ajuster la latence et l’utilisation des GPU sans reconstruire l’ensemble du pipeline.












