Dream Labs залучила $90 млн посівного фінансування, щоб перенести ШІ для роботів на різні машини

Dream Labs, стартап, заснований колишніми дослідниками робототехніки з NVIDIA, залучив $90 млн посівного фінансування та відкрив публічний API для Dream-1 — моделі, покликаної переносити навички між різними роботами. Раунд очолила B Capital спільно з Kindred Ventures; у ньому також узяли участь A.Capital, Unusual Ventures та інші інвестори.

Компанія береться за усунення дорогого вузького місця в робототехніці: машина, яка навчилася виконувати завдання, не передає ці знання іншій машині автоматично. Dream Labs хоче, щоб розробники починали зі спільної моделі, а потім адаптували її, якщо конкретний робот або застосунок потребує спеціалізованішого навчання.

Запуск охоплює API, сервіс тонкого налаштування та браузерний Robot Playground. За допомогою останнього користувачі можуть надсилати інструкції фізичним роботам в офісі компанії в Сан-Франциско. Dream Labs повідомляє, що залучені кошти підуть переважно на обчислювальні ресурси в міру розширення можливостей і потужностей моделі.

Як Dream-1 пов’язує відео з фізичними діями

Dream Labs називає Dream-1 моделлю світу та дій. У технічному описі запуску система представлена як така, що спільно прогнозує відео й дії: передбачення змін у сцені пов’язане з визначенням того, що робот має робити далі.

Ця відмінність важлива, адже конструкції роботів різняться. Команди для суглобів, які працюють з однією рукою, не обов’язково працюватимуть з іншою. Натомість Dream-1 може прогнозувати пози кінцевого робочого органа — бажане положення й орієнтацію кожного захвата, а також те, чи має він бути відкритим або закритим. Розв’язувач оберненої кінематики кожного робота перетворює ці цільові параметри на рухи, які можуть виконувати його суглоби.

Це забезпечує спільний інтерфейс для різних машин, не вимагаючи від них однакового обладнання. Модель використовує зображення з трьох ракурсів камер: одна камера спрямована на сцену, а по одній розміщено на кожному зап’ясті. Завдяки представленню відео модель може аналізувати руки й захвати різної форми, використовуючи той самий візуальний формат.

Для розробників продукт перетворює ці дослідження на досить простий робочий цикл. Робот передає зображення, свій поточний стан і інструкцію із завданням; модель повертає дії. Моделі працюють через хостований сервіс Dream Labs, тож кожному розробникові не потрібно самостійно створювати й обслуговувати базову модель для робототехніки.

Можливості перенесення без попереднього навчання мають чіткі межі

Поточна здатність компанії до перенесення без попереднього навчання стосується дворуких роботів із паралельними захватами — машин із двома руками та простими захватами, які відкриваються й закриваються. Перенесення без попереднього навчання означає, що модель може спробувати виконати завдання на незнайомому роботі, не навчаючись спершу на демонстраціях саме з цією машиною.

У своїй опублікованій оцінці Dream Labs протестувала в симуляції 27 раніше не бачених конфігурацій роботів, виконавши по 300 циклів тестування для кожної. Результати наведено у порівнянні з YAM — роботом, на якому навчали Dream-1. Показники істотно різнилися залежно від обладнання, тому гучну заяву про перенесення між роботами варто розглядати разом із докладними результатами.

Ці відносні показники не слід плутати з абсолютними частками успішного виконання завдань. Так само перенесення політики керування на іншого робота не доводить, що він надійно виконуватиме кожне завдання. На сторінці дослідження в оцінках завдань окремо розрізняють повне виконання та частковий прогрес.

Інтерфейс керування також передбачає певні компроміси. Прогнозування кінцевого положення захвата не визначає повністю шлях, яким рука дістанеться до нього. На результат можуть впливати перешкоди, обмеження суглобів і якість розв’язувача оберненої кінематики робота. Роботи з дуже відмінними робочими зонами або динамічними характеристиками можуть виявити й інші розбіжності між прогнозом моделі та тим, що обладнання здатне фізично виконати.

Тонке налаштування відкриває шлях за межі базових можливостей

Сервіс Dream Labs із тонкого налаштування як послуги дає розробникам ще один варіант, коли загальна модель не виправдовує очікувань. Вони можуть завантажити демонстрації роботи власного робота й отримати адаптовану модель, замість того щоб починати навчання з нуля.

Компанія наводить приклади адаптації за допомогою п’яти хвилин даних, зібраних на конкретному роботі, а також приклади, для яких потрібно значно більше даних через незнайомі кінцеві робочі органи. Ці демонстрації показують різний обсяг потреб в адаптації, але не встановлюють універсальної вимоги навчати модель протягом п’яти хвилин.

Це важлива практична відмінність. Спільна модель може скоротити початкові зусилля, потрібні, щоб робот почав рухатися, але для корисної роботи в конкретному застосунку все одно можуть знадобитися дані для спеціалізованого навчання. Dream Labs визнає, що адаптовані моделі й далі перевершують роботу без попереднього навчання.

На сторінці дослідження вказано вартість виконання моделей: $3 за годину для Dream-1 і $2 за годину для компактнішої Dream-1-flash. Кожен виклик моделі повертає дії тривалістю 1,6 секунди. Оцінюючи вартість упровадження, слід також окремо враховувати обладнання, інтеграцію та будь-які додаткові витрати на послуги.

Від демонстрацій досліджень до відтворюваної роботи

Раніше команда стартапу працювала над DreamZero та дослідженнями NVIDIA з робототехніки GR00T. Тепер із Dream-1 вона перетворює ці дослідження на сервіс, який розробники можуть випробувати на власних машинах.

Доступність — важлива частина анонсу. Публічний API дає змогу виробникам роботів і невеликим командам безпосередньо оцінювати поведінку системи, зокрема з’ясовувати, де вона дає збій, замість того щоб покладатися лише на вибрані демонстрації. Доступне онлайн середовище Playground дає змогу простіше ознайомитися з технологією тим, хто не має робота.

Dream-1 залишається дослідницькою бета-версією, і Dream Labs зазначає, що її не перевіряли для використання в критичних для безпеки ситуаціях. Наразі основна увага приділяється маніпуляційним завданням із використанням систем із двома руками та паралельними захватами; підтримка мобільних роботів і спритних роботизованих маніпуляторів і надалі залишається частиною роботи над розробкою.

Комерційне питання полягає в тому, чи здатна модель, що переноситься з однієї машини на іншу, стабільно виконувати завдання, автоматизацію яких готові оплачувати. Раунд фінансування на $90 млн дає Dream Labs ресурси для досягнення цієї мети. Найважливішим випробуванням стане те, скільки спеціально зібраних даних і інженерної роботи розробникам усе ще знадобиться після підключення нового робота.