Dream Labs pozyskuje 90 mln dolarów w rundzie zalążkowej, by udostępnić sztuczną inteligencję robotom różnych typów

Dream Labs, startup założony przez byłych badaczy robotyki z NVIDIA, pozyskał 90 mln dolarów finansowania zalążkowego i uruchomił publiczne API dla Dream-1 — modelu zaprojektowanego tak, by przenosić umiejętności między różnymi robotami. Rundzie przewodził B Capital, a udział w niej wzięły także Kindred Ventures, A.Capital, Unusual Ventures i inni inwestorzy.

Firma mierzy się z kosztownym wąskim gardłem w robotyce: maszyna, która nauczy się wykonywać dane zadanie, nie przekazuje automatycznie tej wiedzy innej maszynie. Dream Labs chce, by programiści zaczynali od wspólnego modelu, a następnie dostosowywali go, gdy konkretny robot lub zastosowanie wymaga bardziej specjalistycznego treningu.

W ramach premiery udostępniono API, usługę dostrajania modelu i przeglądarkowe środowisko Robot Playground. To ostatnie pozwala użytkownikom wysyłać instrukcje do fizycznych robotów w biurze firmy w San Francisco. Dream Labs informuje, że pozyskane środki przeznaczy przede wszystkim na moc obliczeniową, aby rozwijać możliwości modelu i zwiększać jego wydajność.

Jak Dream-1 łączy obraz wideo z działaniami fizycznymi

Dream Labs określa Dream-1 jako model świata i działania. Techniczny opis premiery przedstawia system, który wspólnie przewiduje obraz wideo i działania: przewidywanie zmian w scenie wiąże się z decyzją o tym, co robot powinien zrobić dalej.

To rozróżnienie ma znaczenie, ponieważ roboty mają różną budowę. Polecenia dotyczące ruchu stawów, które działają w przypadku jednego ramienia, niekoniecznie sprawdzą się w innym. Zamiast tego Dream-1 może przewidywać pozy efektora końcowego — położenie i orientację każdego chwytaka, a także to, czy powinien być otwarty, czy zamknięty. Moduł kinematyki odwrotnej każdego robota przekształca te cele w ruchy, które mogą wykonać jego własne stawy.

Zapewnia to wspólny interfejs dla różnych maszyn, bez konieczności stosowania identycznego sprzętu. Model wykorzystuje trzy ujęcia z kamer: jedno pokazujące scenę oraz po jednym na każdym nadgarstku. Reprezentacja wideo pozwala mu rozumować o ramionach i chwytakach o różnym wyglądzie, korzystając z tego samego medium wizualnego.

Programistom produkt udostępnia wyniki tych badań w postaci stosunkowo prostego procesu. Robot przekazuje obrazy, swój aktualny stan i instrukcję wykonania zadania, a model zwraca działania. Modele działają za pośrednictwem hostowanej usługi Dream Labs, dzięki czemu programiści nie muszą samodzielnie tworzyć i obsługiwać bazowego modelu robotycznego.

Transfer bez wcześniejszego treningu ma określony zakres

Obecne możliwości Dream Labs w zakresie działania bez wcześniejszego treningu dotyczą robotów dwuręcznych wyposażonych w chwytaki równoległe, czyli maszyn mających dwa ramiona i proste chwytaki, które otwierają się i zamykają. Działanie w trybie zero-shot oznacza, że model może próbować wykonywać zadania na nieznanym robocie, nie ucząc się wcześniej na przykładach pochodzących z tej konkretnej maszyny.

W opublikowanej przez Dream Labs ewaluacji przetestowano w symulacji 27 nieznanych wcześniej konstrukcji robotów, przeprowadzając po 300 przebiegów dla każdej z nich. Wyniki przedstawiono w odniesieniu do YAM — robota, na którym trenowano Dream-1. Skuteczność znacznie różniła się w zależności od sprzętu, dlatego główne twierdzenie o przenoszeniu umiejętności między robotami warto rozpatrywać łącznie ze szczegółowymi wynikami.

Tych wyników względnych nie należy mylić z bezwzględnym odsetkiem pomyślnie wykonanych zadań. Samo przeniesienie strategii działania na innego robota nie dowodzi też, że będzie on niezawodnie wykonywać każde zadanie. Na stronie poświęconej badaniom w osobny sposób uwzględniono pełne wykonanie zadania i częściowe postępy w jego realizacji.

Interfejs sterowania wiąże się również z pewnymi kompromisami. Przewidzenie położenia, do którego ma dotrzeć chwytak, nie określa w pełni drogi, jaką ramię pokona, by tam dotrzeć. Na skuteczność mogą wpływać przeszkody, ograniczenia stawów i jakość modułu kinematyki odwrotnej robota. Roboty o bardzo odmiennym obszarze roboczym lub charakterystyce dynamicznej mogą ujawnić kolejne rozbieżności między przewidywaniami modelu a tym, co sprzęt jest fizycznie w stanie wykonać.

Dostrajanie modelu pozwala wyjść poza podstawowe możliwości

Usługa dostrajania modelu Dream Labs umożliwia programistom skorzystanie z dodatkowego rozwiązania, gdy ogólny model nie spełnia oczekiwań. Mogą przesłać przykłady działania pochodzące z własnego robota i otrzymać dostosowany model, zamiast rozpoczynać projekt treningowy od zera.

Firma pokazuje przykłady dostosowania modelu z wykorzystaniem pięciu minut danych z konkretnego robota, a także przypadki, w których nieznane wcześniej efektory końcowe wymagają znacznie większej ilości danych. Przykłady te obrazują różny zakres potrzeb związanych z dostosowaniem; nie dowodzą, że trening zawsze musi trwać pięć minut.

To ważne rozróżnienie z praktycznego punktu widzenia. Wspólny model może ograniczyć nakład początkowej pracy potrzebnej do uruchomienia robota, ale do uzyskania zachowania przydatnego w konkretnym zastosowaniu nadal mogą być konieczne dane dotyczące danego zadania. Dream Labs przyznaje, że dostosowane modele wciąż osiągają lepsze wyniki niż modele działające bez wcześniejszego treningu.

Na stronie poświęconej badaniom podano, że korzystanie z Dream-1 kosztuje 3 dolary za godzinę, a z lżejszego Dream-1-flash — 2 dolary za godzinę. Każde wywołanie modelu zwraca działania obejmujące 1,6 sekundy. Przy szacowaniu kosztu wdrożenia trzeba osobno uwzględnić sprzęt, integrację i ewentualne dodatkowe opłaty za usługi.

Od demonstracji badawczych do powtarzalnej pracy

Zespół startupu pracował wcześniej nad DreamZero i badaniami NVIDIA nad robotyką GR00T. Dzięki Dream-1 przekształca te badania w usługę, którą programiści mogą testować na własnych maszynach.

Dostępność to istotny element ogłoszenia. Publiczne API pozwala producentom robotów i mniejszym zespołom bezpośrednio oceniać działanie systemu, także w sytuacjach, w których zawodzi, zamiast polegać wyłącznie na wybranych demonstracjach. Dostępne na żywo środowisko Playground stanowi bardziej przystępne wprowadzenie dla osób, które nie mają robota.

Dream-1 pozostaje wersją beta w fazie badań, a Dream Labs informuje, że nie została ona zweryfikowana pod kątem zastosowań krytycznych dla bezpieczeństwa. Obecnie koncentruje się na manipulacji z wykorzystaniem systemów dwuramiennych z chwytakami równoległymi; rozszerzenie obsługi robotów mobilnych i sprzętu umożliwiającego precyzyjne manipulowanie pozostaje częścią prac rozwojowych.

Pytanie z biznesowego punktu widzenia brzmi, czy model, który można przenosić między maszynami, zapewni również powtarzalne wyniki w zadaniach, których automatyzację ludzie będą skłonni opłacić. Runda finansowania w wysokości 90 mln dolarów daje Dream Labs środki na realizację tego celu. Najważniejszym sprawdzianem będzie to, ile własnych danych i prac inżynieryjnych deweloperzy nadal będą potrzebować po podłączeniu nowego robota.