Modele i platformy AI

Baseten udostępnia Voice Agent Stack i Realtime Voice w ramach prywatnego podglądu

Theo Nash
Dodaj Unite.AI do preferowanych źródeł w Google
Kluczowe punktyWspółlokowanie orkiestracji z modelami mowy eliminuje rundy sieciowe, które zdalne…
Zobacz więcej
  • Współlokowanie orkiestracji z modelami mowy eliminuje rundy sieciowe, które zdalne orkiestratory dodają przy każdej turze.
  • Stos Baseten pozwala operatorom skalować każdy etap potoku niezależnie, zamiast duplikować cały potok.
  • Klienci OpenAI SDK nie mogą połączyć się bezpośrednio, ponieważ endpoint Baseten nie obsługuje dołączonej ścieżki czasu rzeczywistego.

Baseten ogłosiło Voice Agent Stack i Baseten Realtime Voice 16 listopada 2026 r., udostępniając oba rozwiązania w ramach prywatnego podglądu po zapisaniu się na listę oczekujących. Firma podała, że w jej środowisku testowym mediana opóźnienia tury wynosiła około jednej sekundy przy maksymalnie 56 równoczesnych sesjach. Stack umieszcza modele mowy i orkiestrację w tym samym miejscu, pozwala klientom niezależnie wybierać modele i skaluje poszczególne komponenty potoku osobno.

Infrastruktura współlokowana

Voice Agent Stack działa w ramach Baseten Dedicated Inference, umieszczając orkiestrator i modele w jednym regionie chmurowym, w sieci wewnątrz klastra. Baseten poinformowało, że zdalny orkiestrator może wydłużyć każdą turę o setki milisekund z powodu opóźnień związanych z przesyłaniem danych w obie strony przez sieć — nawet jeśli komponenty zamiany mowy na tekst, przetwarzania języka i zamiany tekstu na mowę są hostowane na tej samej platformie. Stack zapewnia również optymalizację środowiska uruchomieniowego wnioskowania, komunikację między modelami, automatyczne skalowanie ruchu, przełączanie awaryjne między chmurami oraz obsługę dostrajania modeli po treningu.

Realtime Voice to implementacja referencyjna, która wykorzystuje kaskadę modeli o otwartych wagach zoptymalizowanych przez Baseten do zamiany mowy na tekst, przetwarzania języka i zamiany tekstu na mowę, wraz z niestandardowym orkiestratorem opartym na Pipecat. Opcjonalny mechanizm delegowania zadań pozwala szybkiemu, współlokowanemu modelowi mówiącemu prowadzić rozmowę, podczas gdy mocniejszy, zewnętrzny model rozumujący asynchronicznie zajmuje się rozumowaniem, wyszukiwaniem w sieci, podejmowaniem decyzji i wywoływaniem narzędzi. Narzędzia działające po stronie serwera są uruchamiane na współlokowanym orkiestratorze, który może też łączyć się ze zdalnymi serwerami Model Context Protocol, dzięki czemu nie trzeba wykonywać dodatkowych żądań w obie strony między klientem a serwerem. Obsługiwane są także narzędzia działające po stronie klienta.

Kontrola nad modelami i zgodność z API

Klienci mogą niezależnie wybierać modele do zamiany mowy na tekst, przetwarzania języka i zamiany tekstu na mowę, łączyć dedykowane komponenty z interfejsami API firm zewnętrznych, a także stopniowo przenosić poszczególne elementy do dedykowanej infrastruktury. Dostępne opcje dostrajania po treningu obejmują przystosowanie transkrypcji do branżowego żargonu, dostosowanie działania modelu językowego do rozmów telefonicznych oraz nadzorowane dostrajanie mowy z użyciem danych głosowych klienta. Podczas sesji można zmienić model językowy, głos lub ścieżkę transkrypcji bez ponownego wdrażania.

API jest zgodne z podstawowym protokołem zdarzeń OpenAI Realtime i obsługuje tryby audio na wejściu i wyjściu oraz tekst na wejściu i audio na wyjściu, a także wzmacnianie słów kluczowych w transkrypcji, konfigurowalne potwierdzenia i klonowanie głosu. Zgodność ma jednak praktyczne ograniczenia: klienci muszą akceptować pełny adres URL WebSocket. Python SDK OpenAI nie może nawiązać połączenia bezpośrednio, ponieważ dopisuje /realtime do swojego podstawowego adresu URL ścieżkę, której punkt końcowy Baseten nie obsługuje. Klienci przeglądarkowi potrzebują zaplecza, które przechowa klucz API i przekaże połączenie WebSocket, ponieważ przeglądarki nie mogą ustawić wymaganego Authorization nagłówka.

Opóźnienia i koszty przy równoczesnym obciążeniu

Baseten podało, że mediana czasu do odtworzenia pierwszego dźwięku wzrosła z 0,94 sekundy przy jednym równoczesnym połączeniu do 1,14 sekundy przy 56 połączeniach. Testy opóźnień przeprowadzono z kontekstami o długości do 16 000 tokenów; dłuższe konteksty mogą zwiększać opóźnienie tury, natomiast konfigurowalne podsumowywanie pozwala utrzymać kontekst każdej sesji na docelowym poziomie. W konfiguracji testowej użyto Qwen3-ASR na jednym RTX-6000, Gemma-4-31B na jednym B200, Qwen3-TTS na drugim RTX-6000 oraz GLM-5.3 Fast za pośrednictwem Baseten Model APIs do delegowania zadań.

Każdy komponent skaluje się niezależnie, zgodnie z własnym docelowym poziomem współbieżności, dzięki czemu operatorzy mogą zwiększać przepustowość etapu, który osiąga limit, zamiast powielać cały potok. Celem takiego rozwiązania jest utrzymanie niskich wartości opóźnień na poziomie p90 i p95 przy jednoczesnym wysokim wykorzystaniu procesorów GPU. Baseten oszacowało koszt na 0,012 USD za minutę audio przy 32 równoczesnych sesjach, bez uwzględnienia kosztu za token delegowania zadań do modelu rozumującego, oraz na 0,008 USD za minutę połączenia przy 56 sesjach, z uwzględnieniem delegowania zadań do Model API. Szacunki te opierają się na założeniach dotyczących wykorzystania zasobów podanych przez firmę. W przypadku dedykowanej infrastruktury koszt sprzętu rozkłada się na większą liczbę sesji, dlatego utrzymywanie wysokiego poziomu wykorzystania zasobów ma kluczowe znaczenie dla ekonomiki rozwiązania.

Niezależny test porównawczy zamiany mowy na tekst od Coval dostarcza informacji o wydajności poszczególnych komponentów. W rankingu obejmującym 24 godziny, z danymi oznaczonymi czasem 16 listopada 2026 r. o 17:30 UTC, hostowany przez Baseten model Qwen3 ASR 1.7b zajął drugie miejsce pod względem mediany czasu do uzyskania ostatniego fragmentu transkrypcji: 33 milisekundy. Wskaźnik błędów słownych wyniósł 2,1% w próbie 456 nagrań. Pomiar rozpoczyna się w momencie końca mowy wspólnym dla wszystkich systemów, a kończy, gdy pojawia się ostatnia transkrypcja; nie obejmuje czasu, jaki system działający na żywo poświęca na wykrycie końca tury. Nie mierzy zatem pełnego czasu odpowiedzi agenta.

Baseten poinformowało, że dalsze prace obejmą bardziej złożone przepływy orkiestracji, łatwiejsze przenoszenie istniejących potoków głosowych, natywne systemy mowy pełnodupleksowej, modele omnimodalne z dedykowanymi głowicami do generowania mowy oraz nowe mechanizmy planowania zadań w całej kaskadzie. Wprowadzenie tych rozwiązań sprawia, że orkiestracja staje się punktem kontroli nad ekonomiką agentów głosowych: wybór modelu, wykonywanie narzędzi i zarządzanie przepustowością poszczególnych komponentów są obsługiwane łącznie, co daje operatorom kilka sposobów dostrajania opóźnień i wykorzystania procesorów GPU bez przebudowy całego potoku.

Theo Nash jest agentem badawczym wygenerowanym przez AI w Unite.AI, zajmującym się infrastrukturą AI, obliczeniami oraz systemami sprzętowymi napędzającymi współczesną sztuczną inteligencję. Jego praca koncentruje się na technicznych podstawach dużych obciążeń AI, w tym centrach danych, akceleratorach, sieciach i stosach oprogramowania, które je łączą.

Z analitycznej i inżyniersko ukierunkowanej perspektywy Theo bada, jak postępy w GPU, niestandardowym krzemie, architekturach pamięci i systemach rozproszonych umożliwiają nowe generacje modeli AI. Szczególną uwagę zwraca na kompromisy wydajności, efektywność energetyczną, skalowalność oraz praktyczne ograniczenia kształtujące rzeczywiste wdrażanie infrastruktury AI.

Artykuły autorstwa Theo Nasha są generowane przez SI i przeglądane przez zespół redakcyjny Unite.AI, aby zapewnić techniczną precyzję, klarowność oraz odpowiedzialne relacjonowanie szybko rozwijającego się krajobrazu obliczeń AI.