Партнерства
Baseten залучає експертизу з інференсу до коаліції NVIDIA Nemotron
Додайте Unite.AI до бажаних джерел у Google
5 листопада 2026 року Baseten оголосила про приєднання до коаліції NVIDIA Nemotron, зробивши внесок у розробку відкритих моделей — аналітичні дані про корпоративні навантаження та експертизу з донавчання й інференсу. Участь у коаліції розширює співпрацю компанії з NVIDIA на запуск моделей, навчання з підкріпленням, адаптацію та виділений інференс.
16 березня 2026 року NVIDIA запустила коаліцію, щоб об’єднати дослідження, експертизу, дані та обчислювальні ресурси для роботи над відкритими передовими моделями. В оголошенні про запуск NVIDIA повідомила, що першим проєктом стане базова модель, спільно розроблена Mistral AI і NVIDIA, навчена на NVIDIA DGX Cloud, випущена з відкритим вихідним кодом для адаптації розробниками й організаціями та призначена стати основою майбутньої родини Nemotron 4.
Baseten була партнером запуску Nemotron із самого першого дня для Nemotron 3.5 Super VL і Nemotron 3 Ultra. Роль компанії в коаліції виходить за межі обслуговування готових моделей і охоплює навчальні середовища та практичні знання, сформовані завдяки використанню в корпоративному секторі. Практичний акцент зроблено на адаптації до конкретних бізнес-вимог, а якість розгортання, вартість і гнучкість розглядаються як взаємопов’язані чинники.
Навчання для виробничих навантажень
Компанія розробила середовища для навчання з підкріпленням, призначені для роботи зі складними ієрархіями інструкцій: вони дають змогу ігнорувати зайву інформацію та дотримуватися детальних стильових уподобань. Інші середовища охоплюють міркування й планування на тривалому горизонті за допомогою статистичного аналізу складних біологічних наборів даних, доведення математичних теорем і змагальних ігор. Ці завдання відтворюють те, як інструкції надходять у виробничих системах: через системні промпти, визначення інструментів, подальші запити користувачів, відповіді інструментів і повідомлення про помилки.
Мультимодальна робота компанії охоплює завдання на візуальне та просторове міркування, а також багатоетапні виклики інструментів, що потребують візуального розуміння. За даними Baseten, донавчання поліпшило результати на MMMU-Pro — бенчмарку мультимодального міркування експертного рівня. У пов’язаній статті, поданій 5 жовтня 2026 року, описано проєктор із 50 мільйонами параметрів, який з’єднує візуальний енкодер Kimi K2.6 із GLM 5.2 і GLM 5.3, не змінюючи попередньо навчені ваги; оцінювання проводили на MMMU-Pro і BLINK.
Вимірювані результати адаптації
У дослідженні CodeRabbit від 11 серпня 2026 року описано проєкт за участю NVIDIA і Baseten, у межах якого Nemotron 3.5 Lightning адаптували для маршрутизації перевірки коду: спочатку застосували навчання з учителем, а потім — навчання з підкріпленням на основі перевірюваних винагород. Під час оцінювання на фіксованому наборі з 1000 завдань точний збіг маршрутів зріс із 75,8% для базової моделі до 80,4% після навчання з учителем і 80,7% після навчання з винагородою. Каппа Коена — показник узгодженості понад рівень випадкового збігу — спочатку зріс із 0,429 до 0,461, а потім до 0,544.
CodeRabbit розцінила остаточну зміну узгодженості маршрутів на 0,3 відсоткового пункта як відсутність погіршення, а не як статистично переконливе поліпшення, оскільки парний довірчий інтервал охоплював нуль. За оцінкою порівняння обслуговування запитів, за гранично насиченої пропускної здатності витрати зменшилися на 50,4%: те саме оцінювання коштувало $2.34 на базовій моделі та $1.16 на одному Baseten A100. Перевірки під тривалим навантаженням і на виробничому трафіку відклали на пізніший етап.
Harvey пропонує інший приклад адаптації. За даними Baseten, юридична платформа ШІ донавчає Nemotron на Baseten для спеціалізованих робочих процесів, якими щодня користуються десятки тисяч юристів. В окремому дослідженні, опублікованому Harvey і Baseten 8 вересня 2026 року, кімнату даних для злиттів і поглинань завантажили в середовище Python, де головний агент міг делегувати обмежені за обсягом перевірки субагентам. Harvey повідомила, що на 50 відкладених кімнатах даних у семи моделях такий інструментарій підвищив середню частку проходження критеріїв рубрики з 23,3% до 62,4%.
У повідомленні Harvey також зазначено, що навчання з підкріпленням кореневої моделі Qwen3.5-122B-A10B підвищило її частку проходження з 29,9% до 63,0% на цих 50 кімнатах даних. Водночас компанія назвала експерименти початковими дослідженнями, а відстань до майже стовідсоткового проходження — значною.
Розгортання та голосовий ШІ
Baseten Loops поєднує керовані робочі процеси навчання з підкріпленням із виділеним інференсом, водночас клієнти зберігають право власності на ваги навчених моделей. Loops підтримує Nemotron 3.5 Super VL і Nemotron 3 Ultra; Super VL доступна для навчання у форматах BF16 і NVFP4.
Компанії також оцінюють голосових агентів на базі Nemotron у складі повноцінних застосунків, зокрема перевіряють якість моделі та швидкість відгуку. У бенчмарку розпізнавання мовлення Baseten від 4 серпня 2026 року повідомлялося, що одна NVIDIA H100 стабільно обробляла до 100 паралельних потоків аудіо в реальному часі через WebSocket. Затримка фіналізації — час від завершення мовлення до готовності остаточного транскрипту — зросла з 98 мілісекунд за восьми потоків до 138 мілісекунд за 100 потоків.
Участь Baseten у коаліції поєднує адаптацію моделей з інфраструктурою, яка використовується для обслуговування готових моделей. Результати клієнтів дають конкретні підтвердження ефективності такого підходу, тоді як оцінка CodeRabbit за гранично насиченої пропускної здатності та незавершені виробничі перевірки, а також ранній етап експериментів Harvey окреслюють його межі. Головне питання — наскільки добре виміряні результати збережуться за тривалого використання у виробничих умовах.
