Dream Labs привлекла $90 млн на посевном раунде, чтобы перенести ИИ для роботов на разные платформы

Dream Labs, стартап, основанный бывшими исследователями робототехники из NVIDIA, привлёк 90 млн долларов посевного финансирования и запустил общедоступный API для Dream-1 — модели, предназначенной для переноса навыков между разными роботами. Раунд возглавили B Capital и Kindred Ventures; в нём также приняли участие A.Capital, Unusual Ventures и другие инвесторы.

Компания пытается устранить дорогостоящее узкое место в робототехнике: машина, научившаяся выполнять задачу, не передаёт эти знания автоматически другой машине. Dream Labs хочет, чтобы разработчики начинали с общей модели, а затем адаптировали её, если для конкретного робота или приложения требуется более специализированное обучение.

Запуск включает API, сервис дообучения и веб-приложение Robot Playground. С его помощью пользователи могут отправлять команды физическим роботам в офисе компании в Сан-Франциско. По словам Dream Labs, привлечённые средства пойдут преимущественно на вычислительные ресурсы по мере расширения возможностей и масштабов работы модели.

Как Dream-1 преобразует видео в физические действия

Dream Labs называет Dream-1 моделью мира и действий. В техническом описании запуска систему представляют как модель, которая одновременно прогнозирует видео и действия: предвидение изменений в сцене связано с определением следующего действия робота.

Это различие важно, поскольку конструкции роботов отличаются друг от друга. Команды суставам, подходящие для одной роботизированной руки, не обязательно подойдут для другой. Вместо этого Dream-1 может прогнозировать положения исполнительных органов — желаемые координаты и ориентацию каждого захвата, а также то, должен ли он быть открыт или закрыт. Затем решатель обратной кинематики каждого робота преобразует эти целевые параметры в движения, которые могут выполнять его собственные суставы.

Такой подход обеспечивает общий интерфейс для разных машин, не требуя от них одинакового оборудования. Модель использует изображения с трёх ракурсов: один показывает сцену, а по одному приходится на каждое запястье. Видеопредставление позволяет ей анализировать руки и захваты разной конструкции, используя единый визуальный формат.

Для разработчиков продукт объединяет результаты этих исследований в довольно простой рабочий цикл. Робот передаёт изображения, своё текущее состояние и инструкцию к задаче, а модель возвращает действия. Модели работают через размещённый Dream Labs сервис, поэтому разработчикам не нужно самостоятельно создавать и эксплуатировать базовую модель для робототехники.

Возможности переноса без предварительного обучения имеют чёткие границы

Сейчас возможности компании по переносу без предварительного обучения ориентированы на двуруких роботов с параллельными захватами: машины с двумя руками и простыми захватами, которые открываются и закрываются. Перенос без предварительного обучения означает, что модель может попробовать выполнить задачу на незнакомом роботе, не обучаясь заранее на демонстрациях именно для этой машины.

В опубликованной Dream Labs оценке проверили 27 ранее не встречавшихся конфигураций роботов в симуляции, проведя по 300 прогонов для каждой. Результаты представили относительно YAM — робота, на котором обучали Dream-1. Показатели существенно различались в зависимости от оборудования, поэтому громкое заявление о переносе между роботами лучше рассматривать вместе с подробными результатами.

Эти относительные оценки не следует путать с абсолютной долей успешно выполненных задач. Перенос политики управления на другого робота также не доказывает, что он будет надёжно справляться с любой задачей. На странице исследования при оценке задач отдельно различают полное выполнение и частичный прогресс.

Интерфейс управления предполагает и определённые компромиссы. Прогноз конечного положения захвата не определяет полностью траекторию, по которой рука до него доберётся. На результат могут влиять препятствия, ограничения суставов и качество решателя обратной кинематики робота. Роботы с сильно различающимися рабочими пространствами или динамикой могут выявить дополнительные расхождения между прогнозом модели и физическими возможностями оборудования.

Дообучение позволяет выйти за рамки базовой модели

Сервис Dream Labs по дообучению как услуге даёт разработчикам ещё один вариант, если возможностей общей модели недостаточно. Они могут загрузить демонстрации, полученные на собственном роботе, и получить адаптированную модель вместо того, чтобы начинать обучение с нуля.

Компания приводит примеры адаптации на основе пяти минут данных, собранных на конкретном роботе, а также случаи, когда для незнакомых исполнительных органов требовалось значительно больше данных. Эти примеры показывают, насколько могут различаться потребности в адаптации; они не устанавливают универсальное требование обучать модель в течение пяти минут.

Это важное практическое различие. Общая модель может сократить первоначальные усилия, необходимые для запуска робота, однако для того, чтобы он эффективно работал в конкретном приложении, всё ещё могут понадобиться данные по определённым задачам. Dream Labs признаёт, что адаптированные модели по-прежнему превосходят работу без предварительного обучения.

На странице исследования указана стоимость инференса: $3 в час для Dream-1 и $2 в час для облегчённой версии Dream-1-flash. Каждый вызов модели возвращает 1,6 секунды действий. При оценке стоимости внедрения также нужно отдельно учитывать оборудование, интеграцию и любые дополнительные расходы на обслуживание.

От исследовательских демонстраций к повторяемой работе

Ранее команда стартапа работала над DreamZero и исследованиями NVIDIA GR00T в области робототехники. Теперь, создавая Dream-1, она превращает результаты этих исследований в сервис, который разработчики могут проверять на собственных машинах.

Доступность — важная часть этого анонса. Публичный API позволяет производителям роботов и небольшим командам напрямую оценивать поведение системы, в том числе выявлять ситуации, в которых она даёт сбой, вместо того чтобы полагаться только на отобранные демонстрации. Интерактивная площадка Playground позволяет проще познакомиться с системой тем, у кого нет робота.

Dream-1 по-прежнему находится на стадии исследовательского бета-тестирования, и Dream Labs заявляет, что система не прошла проверку для применения в критически важных с точки зрения безопасности задачах. Сейчас её основное назначение — манипуляции с помощью двухруких систем с параллельными захватами; расширение поддержки мобильных роботов и роботизированных систем с высокой ловкостью остаётся частью работы над продуктом.

Коммерческий вопрос заключается в том, сможет ли модель, переносимая с одной машины на другую, обеспечивать стабильно воспроизводимые результаты и при выполнении задач, автоматизацию которых люди готовы оплачивать. Раунд финансирования на $90 млн даёт Dream Labs ресурсы для достижения этой цели. Самой серьёзной проверкой станет то, сколько специализированных данных и инженерной работы по-прежнему потребуется разработчикам после подключения нового робота.