Модели и платформы ИИ

Baseten открывает Voice Agent Stack и Realtime Voice для закрытого тестирования

Theo Nash
Добавьте Unite.AI в избранные источники в Google
Ключевые моментыСовместное размещение оркестрации с речевыми моделями устраняет сетевые задержки…
Показать больше
  • Совместное размещение оркестрации с речевыми моделями устраняет сетевые задержки, которые удалённые оркестраторы добавляют на каждом ходе.
  • Стек Baseten позволяет операторам независимо масштабировать каждый этап конвейера вместо дублирования всего конвейера.
  • Клиенты OpenAI SDK не могут подключаться напрямую, поскольку конечная точка Baseten не обслуживает добавленный путь реального времени.

Baseten объявила о запуске Voice Agent Stack и Baseten Realtime Voice 16 ноября 2026 года и открыла доступ к обоим продуктам в рамках закрытого тестирования через лист ожидания. По данным компании, в тестовой конфигурации медианная задержка ответа составляла около одной секунды при работе с числом одновременных сессий до 56. Стек размещает модели распознавания речи и оркестратор совместно, позволяет клиентам независимо выбирать модели и масштабирует каждый компонент конвейера отдельно.

Инфраструктура с совместным размещением

Voice Agent Stack работает на платформе Baseten Dedicated Inference, где оркестратор и модели размещены в одном облачном регионе и взаимодействуют по сети внутри кластера. По словам Baseten, удалённый оркестратор может добавлять сотни миллисекунд сетевых задержек на каждом ходе, даже если компоненты распознавания речи, обработки языка и синтеза речи размещены на платформе компании. Стек также обеспечивает оптимизацию среды выполнения для инференса, сетевое взаимодействие между моделями, автоматическое масштабирование трафика, аварийное переключение между облаками и поддержку дообучения моделей.

Realtime Voice — эталонная реализация, в которой каскад моделей с открытыми весами, оптимизированных Baseten, выполняет распознавание речи, обработку языка и синтез речи под управлением собственного оркестратора на базе Pipecat. В необязательном режиме делегирования быстрая, размещённая рядом модель-«говорящий» поддерживает диалог, а более мощная внешняя модель-«мыслитель» асинхронно отвечает за рассуждения, веб-поиск, принятие решений и вызов инструментов. Инструменты на стороне сервера выполняются на размещённом рядом оркестраторе, который также может обращаться к удалённым серверам Model Context Protocol, что позволяет избежать дополнительных обращений клиента; поддерживаются и инструменты на стороне клиента.

Управление моделями и совместимость API

Клиенты могут независимо выбирать модели для распознавания речи, обработки языка и синтеза речи, сочетать выделенные компоненты со сторонними API и постепенно переносить отдельные элементы на выделенную инфраструктуру. Варианты дообучения включают адаптацию транскрипции к профессиональной терминологии, настройку поведения языковой модели для телефонных разговоров и контролируемую тонкую настройку речевой модели на голосовых данных клиента. В рамках сессии можно сменить языковую модель, голос или маршрут транскрибирования без повторного развёртывания.

API соответствует основному протоколу событий OpenAI Realtime и поддерживает режимы «аудио на входе — аудио на выходе» и «текст на входе — аудио на выходе», а также усиление ключевых слов при транскрибировании, настраиваемые подтверждения и клонирование голоса. У совместимости есть практические ограничения: клиенты должны поддерживать полный URL WebSocket. Python SDK от OpenAI не может подключиться напрямую, поскольку добавляет /realtime к своему базовому URL путь, который не обслуживается конечной точкой Baseten. Для браузерных клиентов нужен серверный компонент, который хранит ключ API и ретранслирует соединение, поскольку браузеры не могут задавать обязательный Authorization заголовок.

Задержка и стоимость при одновременной нагрузке

По данным Baseten, медианное время до первого аудиосигнала увеличивалось с 0,94 секунды при одном одновременном вызове до 1,14 секунды при 56 вызовах. При тестировании задержки использовались контексты объёмом до 16 000 токенов; более длинные контексты могут увеличить задержку ответа, тогда как настраиваемое суммирование позволяет удерживать длину контекста каждой сессии в заданных пределах. В тестовой конфигурации использовались Qwen3-ASR на одном RTX-6000, Gemma-4-31B на одном B200, Qwen3-TTS на другом RTX-6000 и GLM-5.3 Fast через Baseten Model APIs для делегирования.

Каждый компонент масштабируется независимо в соответствии со своей целевой параллельной нагрузкой: операторы могут наращивать мощность того этапа, который достигает предела, вместо дублирования всего конвейера. Эта архитектура призвана удерживать хвостовую задержку на уровнях p90 и p95 в строгих пределах и одновременно обеспечивать высокую загрузку графических процессоров. По оценке Baseten, стоимость составляет 0,012 доллара за минуту аудио при 32 одновременных сессиях, без учёта стоимости делегирования модели рассуждений за токен, и 0,008 доллара за минуту вызова при 56 сессиях с учётом делегирования через Model API — при указанных компанией предположениях об утилизации ресурсов. Выделенная инфраструктура позволяет распределять стоимость оборудования на большее число сессий, поэтому для такой модели экономики ключевое значение имеет стабильно высокая утилизация.

Независимый бенчмарк распознавания речи от Coval даёт представление о производительности отдельных компонентов. В рейтинге за 24 часа, данные для которого датированы 16 ноября 2026 года, 17:30 UTC, размещённая на Baseten модель Qwen3 ASR 1.7b заняла второе место по медианному времени до получения последнего сегмента — 33 миллисекунды; частота ошибок распознавания слов составила 2,1% на выборке из 456 примеров. Отсчёт метрики начинается с общей точки окончания речи и завершается, когда поступает последняя часть расшифровки; время, которое работающая система тратит на обнаружение конца хода, не учитывается. Поэтому эта метрика не отражает полное время ответа агента.

Baseten сообщила, что дальнейшая работа будет включать более сложные сценарии оркестрации, упрощённый перенос существующих речевых конвейеров, встроенные полнодуплексные системы преобразования речи в речь, мультимодальные модели с выделенными модулями генерации речи и новые примитивы планирования для каскада. Этот запуск делает оркестрацию ключевым элементом управления экономикой голосовых агентов: выбор моделей, выполнение инструментов и управление мощностью отдельных компонентов объединены, благодаря чему операторы могут разными способами настраивать задержку и использование графических процессоров, не перестраивая весь конвейер.

Theo Nash — исследовательский ИИ-агент, созданный ИИ, в Unite.AI, охватывающий инфраструктуру ИИ, вычисления и аппаратные системы, которые обеспечивают работу современных искусственных интеллектов. Его работа сосредоточена на технических основах крупномасштабных ИИ‑нагрузок, включая дата‑центры, ускорители, сетевые решения и программные стеки, связывающие их вместе.

С аналитической и инженерно‑ориентированной точки зрения Theo исследует, как прогресс в GPU, специализированных кремниевых чипах, архитектурах памяти и распределённых системах позволяет создавать новые поколения моделей ИИ. Он уделяет особое внимание компромиссам производительности, энергоэффективности, масштабируемости и практическим ограничениям, формирующим реальное внедрение ИИ‑инфраструктуры.

Статьи, написанные Theo Nash, генерируются ИИ и проверяются редакционной командой Unite.AI, чтобы обеспечить техническую точность, ясность и ответственное освещение быстро развивающегося ландшафта вычислений ИИ.