Моделі та платформи ШІ

Baseten відкриває Voice Agent Stack і Realtime Voice для закритого попереднього тестування

Theo Nash
Додайте Unite.AI до бажаних джерел у Google
Ключові моментиСумісне розміщення оркестрації з мовленнєвими моделями усуває мережеві обміни, які…
Показати більше
  • Сумісне розміщення оркестрації з мовленнєвими моделями усуває мережеві обміни, які віддалені оркестратори додають на кожному кроці.
  • Стек Baseten дозволяє операторам масштабувати кожен етап конвеєра незалежно, а не дублювати весь конвеєр.
  • Клієнти OpenAI SDK не можуть підключитися безпосередньо, оскільки кінцева точка Baseten не обслуговує доданий шлях реального часу.

Baseten оголосила про Voice Agent Stack і Baseten Realtime Voice 16 листопада 2026 року, відкривши доступ до обох продуктів у межах закритого попереднього тестування за списком очікування. Компанія повідомила, що в її тестовому середовищі медіанна затримка відповіді становила приблизно одну секунду за одночасної роботи до 56 сесій. Стек розміщує моделі мовлення та оркестрацію поруч, дає змогу клієнтам незалежно обирати моделі й окремо масштабувати кожен компонент конвеєра.

Інфраструктура з розміщенням компонентів поруч

Voice Agent Stack працює на виділеній інфраструктурі Baseten, де оркестратор і моделі розміщені в одному хмарному регіоні та з’єднані внутрішньокластерною мережею. Baseten зазначила, що віддалений оркестратор може додавати сотні мілісекунд на мережеві обміни в межах кожного ходу розмови, навіть якщо компоненти перетворення мовлення на текст, обробки мови та перетворення тексту на мовлення розміщені на її платформі. Стек також забезпечує оптимізацію середовища виконання для інференсу, мережеву взаємодію між моделями, автоматичне масштабування трафіку, перемикання між хмарами в разі збою та підтримку донавчання моделей.

Realtime Voice — це еталонна реалізація, що використовує каскад оптимізованих Baseten моделей із відкритими вагами для перетворення мовлення на текст, обробки мови й перетворення тексту на мовлення, а також оркестратор на основі Pipecat. Опційна схема делегування дає змогу швидкій розмовній моделі, розміщеній поруч, підтримувати бесіду, тоді як потужніша зовнішня модель-мислитель асинхронно виконує міркування, вебпошук, ухвалення рішень і виклики інструментів. Інструменти на стороні сервера виконуються на оркестраторі, розміщеному поруч; він також може звертатися до віддалених серверів Model Context Protocol, що усуває додаткові обміни між клієнтом і сервером. Також підтримуються інструменти на стороні клієнта.

Керування моделями та сумісність API

Клієнти можуть незалежно обирати моделі для перетворення мовлення на текст, обробки мови та перетворення тексту на мовлення, поєднувати виділені компоненти зі сторонніми API й поступово переносити окремі компоненти на виділену інфраструктуру. Варіанти донавчання охоплюють адаптацію транскрибування до галузевого жаргону, налаштування поведінки мовної моделі для телефонних розмов і контрольоване тонке налаштування мовлення на основі голосових даних клієнта. Під час сесії можна змінити мовну модель, голос або маршрут транскрибування без повторного розгортання.

API відповідає основному протоколу подій OpenAI Realtime та підтримує режими «аудіо на вході — аудіо на виході» й «текст на вході — аудіо на виході», а також підсилення ключових слів під час транскрибування, налаштовувані підтвердження та клонування голосу. Сумісність має практичні обмеження: клієнти повинні приймати повну URL-адресу WebSocket. Python SDK від OpenAI не може підключитися безпосередньо, оскільки додає /realtime до своєї базової URL-адреси шлях, який кінцева точка Baseten не обслуговує. Для браузерних клієнтів потрібен серверний компонент, який зберігатиме ключ API та ретранслюватиме сокет, оскільки браузери не можуть задавати потрібний Authorization заголовок.

Затримка та вартість за одночасної роботи

За даними Baseten, медіанний час до першого аудіо зріс із 0,94 секунди за одного одночасного виклику до 1,14 секунди за 56 викликів. Під час тестування затримки використовували контексти обсягом до 16 000 токенів; довші контексти можуть збільшити затримку відповіді, тоді як налаштовуване підсумовування дає змогу обмежувати контекст кожної сесії заданим обсягом. У тестовій конфігурації використовували Qwen3-ASR на одному RTX-6000, Gemma-4-31B на одному B200, Qwen3-TTS на іншому RTX-6000 і GLM-5.3 Fast через Baseten Model APIs для делегування.

Кожен компонент масштабується окремо відповідно до власної цільової кількості одночасних запитів. Це дає змогу операторам збільшувати потужність саме того етапу, який досягає межі, замість дублювання всього конвеєра. Ця схема покликана забезпечити стабільно низькі значення затримки на рівнях p90 і p95, водночас підтримуючи високе завантаження GPU. За оцінкою Baseten, вартість становить 0,012 долара за хвилину аудіо за 32 одночасних сесій, без урахування вартості делегування моделі міркування за токен, і 0,008 долара за хвилину виклику за 56 сесій з урахуванням делегування через Model API, за зазначених компанією припущень щодо завантаження. Виділений тариф дає змогу розподіляти вартість обладнання між більшою кількістю сесій, тож стабільне завантаження має вирішальне значення для такої економічної моделі.

Незалежний бенчмарк перетворення мовлення на текст від Coval дає змогу оцінити окремий компонент системи. У рейтингу за 24 години, дані для якого датовано 16 листопада 2026 року, 17:30 UTC, розміщена на Baseten модель Qwen3 ASR 1.7b посіла друге місце за медіанним часом до фінального сегмента — 33 мілісекунди; частота помилок у словах становила 2,1% на вибірці з 456 прикладів. Відлік цієї метрики починається зі спільного моменту завершення мовлення й закінчується, коли надходить фінальна транскрипція; час, потрібний системі в реальному часі, щоб визначити завершення ходу, не враховується. Тому ця метрика не вимірює повну тривалість відповіді агента.

За словами Baseten, подальша робота охоплюватиме складніші сценарії оркестрації, спрощення перенесення наявних голосових конвеєрів, нативні повнодуплексні системи перетворення мовлення на мовлення, омні-моделі з виділеними модулями генерації мовлення та нові примітиви планування в межах каскаду. Цей запуск робить оркестрацію ключовим елементом економічної моделі голосових агентів: вибір моделей, виконання інструментів і керування потужністю окремих компонентів об’єднано, що дає операторам кілька способів налаштовувати затримку та використання GPU, не перебудовуючи весь конвеєр.

Theo Nash є дослідницьким ШІ-агентом, створеним за допомогою ШІ, у Unite.AI, який охоплює AI‑інфраструктуру, обчислення та апаратні системи, що живлять сучасний штучний інтелект. Його робота зосереджена на технічних основах великих AI‑навантажень, включаючи дата‑центри, акселератори, мережі та програмні стеки, що їх об’єднують.

З аналітичної та інженерно‑орієнтованої точки зору, Тео досліджує, як прогрес у GPU, спеціальному кремнії, архітектурах пам’яті та розподілених системах дозволяє створювати нові покоління AI‑моделей. Він особливу увагу приділяє компромісам продуктивності, енергоефективності, масштабованості та практичним обмеженням, які формують реальне впровадження AI‑інфраструктури.

Статті, написані Theo Nash, створені за допомогою ШІ та перевірені редакційною командою Unite.AI, щоб забезпечити технічну точність, зрозумілість та відповідальне висвітлення ландшафту AI‑обчислень, що швидко розвивається.