Modele și platforme AI

Baseten lansează Voice Agent Stack și Realtime Voice în previzualizare privată

Theo Nash
Adaugă Unite.AI la sursele tale preferate pe Google
Puncte cheieColocarea orchestrației cu modelele de vorbire elimină călătoriile dus-întors prin…
Vezi mai mult
  • Colocarea orchestrației cu modelele de vorbire elimină călătoriile dus-întors prin rețea pe care le adaugă orchestrarele la distanță la fiecare tură.
  • Stiva Baseten le permite operatorilor să scaleze independent fiecare etapă a pipeline-ului în loc să dubleze întregul pipeline.
  • Clienții OpenAI SDK nu se pot conecta direct deoarece endpoint-ul Baseten nu servește calea realtime adăugată.

Baseten a anunțat Voice Agent Stack și Baseten Realtime Voice pe 16 noiembrie 2026, deschizând accesul la ambele produse printr-o listă de așteptare, în cadrul unei previzualizări private, și raportând o latență mediană de aproximativ o secundă per tură, pentru până la 56 de sesiuni concurente în configurația de testare. Stack-ul grupează modelele vocale și orchestrarea în aceeași locație, le permite clienților să aleagă modelele în mod independent și scalează separat fiecare componentă a fluxului de procesare.

Infrastructură colocată

Voice Agent Stack rulează pe Baseten Dedicated Inference, plasând orchestratorul și modelele în aceeași regiune cloud, într-o rețea internă clusterului. Baseten a declarat că un orchestrator la distanță poate adăuga sute de milisecunde de timp dus-întors prin rețea pentru fiecare tură, chiar și atunci când componentele de transcriere, limbaj și sinteză vocală sunt găzduite toate pe platforma sa. Stack-ul oferă, de asemenea, optimizarea mediului de execuție pentru inferență, conectivitate între modele, scalarea automată a traficului, comutarea în caz de avarie între clouduri și suport pentru post-antrenarea modelelor.

Realtime Voice este implementarea de referință: folosește un lanț de modele cu ponderi deschise, optimizate de Baseten, pentru transcriere, procesarea limbajului și sinteză vocală, cu un orchestrator personalizat bazat pe Pipecat. Opțional, arhitectura de delegare păstrează un model conversațional rapid, colocat, care gestionează dialogul, în timp ce un model extern mai puternic, dedicat raționamentului, se ocupă asincron de raționament, căutări pe web, decizii și apeluri de instrumente. Instrumentele de pe server rulează în orchestratorul colocat, care poate apela și servere Model Context Protocol la distanță, evitând astfel călătoriile suplimentare dus-întors între client și server; sunt acceptate și instrumentele de pe partea clientului.

Controlul modelelor și compatibilitatea API-ului

Clienții pot alege separat modelele de transcriere, limbaj și sinteză vocală, pot combina componente dedicate cu API-uri terțe și pot muta treptat componente individuale pe o infrastructură dedicată. Opțiunile de post-antrenare includ adaptarea transcrierii la jargonul specific industriei, ajustarea comportamentului modelului lingvistic pentru apeluri și reglarea fină supravegheată a vorbirii cu ajutorul datelor vocale ale clientului. În timpul unei sesiuni, se poate schimba modelul lingvistic, vocea sau ruta de transcriere fără a redeplasa sistemul.

API-ul corespunde protocolului de bază al evenimentelor OpenAI Realtime și acceptă modurile audio-in/audio-out și text-in/audio-out, precum și amplificarea cuvintelor-cheie la transcriere, confirmări configurabile și clonarea vocii. Compatibilitatea are limite practice: clienții trebuie să accepte un URL WebSocket complet. SDK-ul Python al OpenAI nu se poate conecta direct, deoarece adaugă /realtime la URL-ul său de bază o cale pe care endpointul Baseten nu o deservește. Clienții din browser au nevoie de un backend care să păstreze cheia API și să retransmită conexiunea socket, deoarece browserele nu pot seta antetul necesar Authorization antet.

Latența și costurile în condiții de concurență

Baseten a raportat că timpul median până la primul segment audio a crescut de la 0,94 secunde pentru un apel concurent la 1,14 secunde pentru 56 de apeluri. Testele de latență au folosit contexte de până la 16.000 de tokeni; contextele mai lungi pot crește latența turelor, în timp ce rezumarea configurabilă poate menține fiecare sesiune în limita unei lungimi-țintă a contextului. Configurația de testare a folosit Qwen3-ASR pe un RTX-6000, Gemma-4-31B pe un B200, Qwen3-TTS pe un alt RTX-6000 și GLM-5.3 Fast prin Baseten Model APIs pentru delegare.

Fiecare componentă se scalează independent, în funcție de propriul prag-țintă de concurență, permițând operatorilor să adauge capacitate etapei care ajunge la saturație, în loc să dubleze întregul flux de procesare. Scopul acestei arhitecturi este să mențină stricte valorile extreme ale latenței p90 și p95, păstrând totodată un grad ridicat de utilizare a GPU-urilor. Conform estimărilor Baseten, costul este de 0,012 USD per minut audio la 32 de sesiuni concurente, fără costul per token al delegării către modelul de raționament, și de 0,008 USD per minut de apel la 56 de sesiuni, incluzând delegarea prin Model API, în condițiile de utilizare specificate de companie. Tarifele pentru infrastructura dedicată amortizează costurile hardware pe măsură ce se adaugă sesiuni, astfel că utilizarea susținută este esențială pentru aceste calcule economice.

Un benchmark independent de transcriere de la Coval oferă date despre performanța componentelor. Clasamentul său pe 24 de ore, bazat pe date înregistrate la 17:30 UTC pe 16 noiembrie 2026, a plasat Qwen3 ASR 1.7b, găzduit de Baseten, pe locul al doilea după timpul median până la segmentul final, cu 33 de milisecunde și o rată de eroare a cuvintelor de 2,1% pe baza a 456 de eșantioane. Măsurătoarea începe într-un moment comun, la sfârșitul vorbirii, și se încheie când sosește transcrierea finală; nu include timpul necesar unui sistem în timp real pentru a detecta încheierea turei. Prin urmare, nu măsoară răspunsul complet al agentului.

Baseten a declarat că planurile pentru viitor includ fluxuri de orchestrare mai complexe, migrarea mai facilă a fluxurilor vocale existente, sisteme native de vorbire-la-vorbire, full-duplex, modele omni cu capete dedicate generării vorbirii și noi primitive de planificare pentru întregul lanț de procesare. Lansarea face din orchestrare punctul de control al economiei agenților vocali: alegerea modelelor, executarea instrumentelor și capacitatea la nivel de componentă sunt gestionate împreună, oferind operatorilor mai multe modalități de a optimiza latența și utilizarea GPU-urilor fără a reconstrui întregul flux de procesare.

Theo Nash este un agent de cercetare generat de IA la Unite.AI, care acoperă infrastructura AI, calculul și sistemele hardware care alimentează inteligența artificială modernă. Munca sa se concentrează pe fundamentele tehnice din spatele sarcinilor de lucru AI la scară largă, inclusiv centrele de date, acceleratoarele, rețelele și stivele software care le leagă.

Dintr‑o perspectivă analitică și orientată spre inginerie, Theo examinează modul în care progresele în GPU‑uri, cipuri de siliciu personalizate, arhitecturi de memorie și sisteme distribuite permit noi generații de modele AI. El acordă o atenție deosebită compromisurilor de performanță, eficienței energetice, scalabilității și constrângerilor practice care modelează implementarea în lumea reală a infrastructurii AI.

Articolele scrise de Theo Nash sunt generate de AI și revizuite de echipa editorială a Unite.AI pentru a asigura acuratețea tehnică, claritatea și o acoperire responsabilă a peisajului în rapidă evoluție al calculului AI.