Baseten привносит экспертизу в области инференса в коалицию NVIDIA Nemotron

5 ноября 2026 года Baseten сообщила о присоединении к коалиции NVIDIA Nemotron. Компания внесет в разработку моделей с открытым исходным кодом знания, полученные при работе с корпоративными нагрузками, а также экспертизу в области постобучения и инференса. Это членство расширяет сотрудничество с NVIDIA в сферах запуска моделей, обучения с подкреплением, адаптации моделей и выделенного инференса.

16 марта 2026 года NVIDIA создала коалицию, чтобы объединить исследования, экспертизу, данные и вычислительные ресурсы для работы над передовыми моделями с открытым исходным кодом. В объявлении о запуске NVIDIA сообщила, что первым проектом станет базовая модель, совместно разрабатываемая Mistral AI и NVIDIA и обучаемая на NVIDIA DGX Cloud. Ее выпустят с открытым исходным кодом, чтобы разработчики и организации могли адаптировать ее под свои задачи, а затем используют как основу для будущего семейства Nemotron 4.

Baseten с самого начала участвовала в запуске Nemotron 3.5 Super VL и Nemotron 3 Ultra. Роль компании в коалиции не ограничивается обслуживанием готовых моделей: она также включает создание сред для обучения и передачу операционных знаний, сформированных на основе корпоративного опыта. Основное внимание уделяется адаптации моделей под конкретные требования бизнеса, причем качество развертывания, стоимость и гибкость рассматриваются как взаимосвязанные факторы.

Обучение для производственных нагрузок

Компания разработала среды обучения с подкреплением для работы со сложными иерархиями инструкций: модели учатся не учитывать лишнюю информацию и следовать подробным стилистическим требованиям. Другие среды предназначены для развития долгосрочного рассуждения и планирования с помощью статистического анализа сложных биологических наборов данных, доказательства математических теорем и соревновательных игр. Эти задачи отражают то, как инструкции поступают в производственных системах: через системные запросы, определения инструментов, последующие сообщения пользователей, ответы инструментов и сообщения об ошибках.

Работа компании с мультимодальными моделями включает задачи на визуальное и пространственное рассуждение, а также многоэтапные вызовы инструментов, требующие понимания изображений. По данным Baseten, постобучение улучшило результаты на MMMU-Pro — бенчмарке мультимодального рассуждения экспертного уровня. В связанной статье, отправленной на рассмотрение 5 октября 2026 года, описан проектор с 50 млн параметров, который соединяет визуальный кодировщик Kimi K2.6 с GLM 5.2 и GLM 5.3, сохраняя при этом предобученные веса неизменными; оценка проводилась на MMMU-Pro и BLINK.

Измеримые результаты адаптации моделей

В отчете об исследовании от 11 августа 2026 года CodeRabbit описывает проект с NVIDIA и Baseten, в рамках которого Nemotron 3.5 Lightning адаптировали для распределения задач проверки кода: сначала провели дообучение с учителем, а затем обучение с подкреплением на основе проверяемых вознаграждений. В неизменяемой оценке на 1 000 задачах точное совпадение маршрутизации выросло с 75,8% у базовой модели до 80,4% после дообучения с учителем и до 80,7% после обучения с вознаграждением. Каппа Коэна — показатель согласованности сверх случайного совпадения — увеличилась с 0,429 до 0,461, а затем до 0,544.

CodeRabbit расценил итоговое изменение точности маршрутизации на 0,3 процентного пункта как отсутствие ухудшения, а не как статистически значимое улучшение, поскольку парный доверительный интервал пересекал ноль. Согласно оценке сравнения затрат на обслуживание, при предельной пропускной способности расходы снизились на 50,4%: одна и та же оценка стоила 2,34 доллара на базовой модели и 1,16 доллара на одной Baseten A100. Проверки под длительной нагрузкой и на производственном трафике остались на следующий этап.

Harvey представляет собой другой пример адаптации моделей. По данным Baseten, эта юридическая платформа на базе ИИ постобучает Nemotron на Baseten для специализированных рабочих процессов, ежедневно обслуживающих десятки тысяч юристов. В отдельном исследовании, опубликованном Harvey и Baseten 8 сентября 2026 года, виртуальную комнату данных по сделке M&A загрузили в среду Python, а управляющему агенту поручили распределить ограниченные по объему задачи проверки между подчиненными агентами. Harvey сообщила, что на 50 отложенных комнатах данных из семи моделей этот комплекс инструментов повысил среднюю долю выполненных критериев оценки с 23,3% до 62,4%.

В отчете Harvey также говорится, что обучение с подкреплением управляющей модели Qwen3.5-122B-A10B повысило долю успешно пройденных проверок на этих 50 комнатах данных с 29,9% до 63,0%. При этом компания называет эксперименты первоначальными исследованиями, а сохраняющийся разрыв до почти стопроцентного прохождения проверок — значительным.

Развертывание и голосовой ИИ

Baseten Loops связывает управляемые рабочие процессы обучения с подкреплением с выделенным инференсом, при этом обученные веса моделей остаются во владении клиентов. Loops поддерживает Nemotron 3.5 Super VL и Nemotron 3 Ultra; для Super VL доступно обучение в форматах BF16 и NVFP4.

Компании также оценивают голосовых агентов на базе Nemotron в составе полноценных приложений, учитывая в том числе качество моделей и скорость отклика. В бенчмарке распознавания речи от 4 августа 2026 года Baseten сообщила, что один NVIDIA H100 способен поддерживать до 100 одновременных потоков аудио в реальном времени по WebSocket. Задержка финализации — время от окончания речи до готовности окончательной расшифровки — увеличивалась с 98 миллисекунд при восьми потоках до 138 миллисекунд при 100 потоках.

Участие Baseten в коалиции связывает адаптацию моделей с инфраструктурой, используемой для их дальнейшего обслуживания. Результаты клиентов дают конкретные подтверждения эффективности этого подхода, тогда как оценка CodeRabbit при предельной пропускной способности и незавершенные производственные проверки, а также эксперименты Harvey на раннем этапе обозначают его пределы. Главный вопрос — насколько хорошо измеренные улучшения сохранятся при длительной эксплуатации в производственной среде.