Nauczylismy roboty poruszać się. Teraz uczymy je żyć

Współczesna robotyka osiągnęła punkt, w którym ruch nie jest już głównym wyzwaniem – maszyny mogą już nawigować, chwytać i działać w przestrzeni z imponującą precyzją. Jednak umożliwienie im prawdziwego „życia” i funkcjonowania w świecie rzeczywistym pozostaje nierozwiązanym problemem.

W tym procesie kluczową rolę odgrywa to, co można by nazwać „rdzeniem kręgosłupa”: system odpowiedzialny za podstawowe reakcje, zachowanie i interakcję ze środowiskiem.

Gdy spoglądamy na ewolucję robotów przez tę pryzmat, staje się jasne, że ta sekwencja etapów – gdzie system uczy się czegoś nowego na każdym kroku, od prostego ruchu do złożonych, kontekstowo-świadomych działań – ściśle przypomina rozwój ludzki.

I to właśnie w tej ewolucji – od „pustego” sprzętu do znaczącego zachowania – główna zmiana w fizycznej sztucznej inteligencji ma miejsce dzisiaj. Ciekawe, aby dowiedzieć się więcej o tym.

Podstawa robotyki: etap rzadko dyskutowany

Co to jest robot w praktyce? To urządzenie fizyczne początkowo stworzone jako uniwersalna platforma. W istocie jest to „pusta” kartka, którą trzeba następnie dostosować do określonych zadań, nauczyć działać w danym środowisku i nauczyć wykonywać wymagane czynności.

Jeśli wyjdziemy poza codzienne scenariusze i rozważymy bardziej realistyczne aplikacje w najbliższej przyszłości, staje się jasne, że pełne przyjęcie robotów będzie miało miejsce głównie w środowiskach przemysłowych i potencjalnie niebezpiecznych. To z kolei oznacza znacznie wyższe wymagania dotyczące ich zachowania, wytrzymałości i jakości szkolenia.

Proces zaczyna się od najbardziej podstawowego kroku – budowy samej maszyny. Robot składa się z wielu komponentów, w tym siłowników, silników, czujników, kamer, lidarów. Może być humanoidalny, kołowy, dwunożny lub czworonożny – kształt jest drugorzędny. Liczy się to, że na tym etapie mamy do czynienia z funkcjonalnym, ale nadal „pustym” urządzeniem.

Następny etap to instalacja modelu podstawowego, który służy jako podstawa dla jego zachowania. W szerokim sensie „model” to cała warstwa sterowania funkcjonalnego. Jest odpowiedzialny za podstawowe możliwości: utrzymanie równowagi, stanie i poruszaniu, nawigowaniu z punktu A do punktu B, unikaniu przeszkód, nieuszkadzaniu środowiska i bezpiecznej interakcji z ludźmi.

To tutaj wkracza uczenie wzmacnianie. W takich systemach prowadzone są miliardy symulacji. Często widzimy filmy, na których roboty „uczą się” w złożonych środowiskach: większość z nich upada, traci równowagę lub nie jest w stanie wykonać zadania. Ale ci, którzy udaje się utrzymać pozycję i kontynuować ruch, to ci, którzy postępują.

To jest istota uczenia wzmacniania: wybór udanego zachowania. Algorytmy tych, którzy „przeżyją”, stają się podstawą dla następnych iteracji. W efekcie, po ogromnej liczbie przebiegów, powstaje model, który może pewnie radzić sobie z przeszkodami. Ten algorytm jest następnie przenoszony na urządzenie fizyczne.

Jest to ugruntowana, ale krytycznie ważna faza – często niezwiązana z komputerowym widzeniem, które nie jest wymagane na tym etapie. Mamy do czynienia z podstawową fizyką i mechaniką, które muszą być wbudowane w system od samego początku.

Jak roboty zaczynają „czuć” świat

Mamy już „sprzęt” – robota z zainstalowanym modelem podstawowym: może stać, chodzić i utrzymywać równowagę. Ale czy to wystarczy do zadań w świecie rzeczywistym, na przykład w środowiskach przemysłowych? Oczywiście nie.

Następny poziom zaczyna się tutaj. Wbudowujemy czujniki i trenujemy model, aby działał na podstawie danych sensorycznych. Pojawia się nowa warstwa podstawowych umiejętności – znacznie bardziej złożonych niż proste ruchy.

Analogia z rozwojem ludzkim jest tutaj przydatna. Na pierwszym etapie doprowadziliśmy system do poziomu około rocznego dziecka: może stać, robić pierwsze kroki i utrzymywać równowagę bez upadku. Następny krok to poziom około ośmioletniego dziecka.

W tym wieku dziecko aktywnie używa swoich „czujników”: może postrzegać ryzyko i oceniać konsekwencje swoich działań. Wie, że nie powinno dotykać czegoś gorącego lub wkładać czegoś bardzo zimnego do ust. Może wchodzić na stół, jeździć na rowerze i wchodzić w interakcje z przedmiotami. Potrafi chwytać, nosić i manipulować przedmiotami oraz wykonywać podstawowe czynności pielęgnacyjne.

Nazywamy to stadium wstępnym treningiem. I na tym etapie same symulacje już nie wystarczają.

Tak, niektóre scenariusze można nadal skutecznie modelować: jak podnieść szklankę, lub wymienić baterię, na przykład, usuwając jeden komponent, umieszczając go na ładowarce, biorąc inny i instalując go z powrotem.

Ale ogólnie rzecz biorąc, równowaga przesuwa się: około 80% treningu może nadal odbywać się w symulacji, podczas gdy około 20% danych musi pochodzić ze świata rzeczywistego. I to tutaj zaczynamy dyskutować o danych egocentrycznych.

Dane egocentryczne jako podstawa zrozumienia środowiska

Dziś dane egocentryczne są zbierane na masową skalę na całym świecie – ponieważ bez nich nie można przejść od podstawowej mechaniki do znaczącej interakcji ze światem rzeczywistym. Mój kolega, który prowadzi sieć warsztatów samochodowych, ma pracowników, którzy używają kamer zamontowanych na głowie, aby nagrywać cały proces naprawy samochodu. Właściciel budynku w Nowym Jorku wdrożył podobne podejście: personel sprzątający nosi kamery zamontowane na czole, które rejestrują, jak utrzymują czystość przestrzeni i obszary sanitarne.

Wraz z czasem te nagrania stają się samodzielnym produktem – są pakowane i sprzedawane. Ich kluczowa wartość leży w ich przydatności do stadium wstępnego treningu, pomagając zbudować podstawowe zrozumienie środowiska i sekwencji działań.

Dlaczego jest to takie ważne? Ponieważ takie dane dostarczają czegoś, czego nie może dostarczyć sama symulacja – różnorodności środowisk rzeczywistych. Biura, warsztaty samochodowe, place budowy, restauracje i hotele – każde z nich dodaje swój kontekst, scenariusze i niuanse. Razem tworzą zbiór danych, który pozwala systemowi nie tylko „widzieć”, ale stopniowo zacząć rozumieć dynamikę świata rzeczywistego.

Na tym etapie celem nie jest już nauczyć robota wykonywać idealnie określoną czynność. Liczy się umożliwienie mu zorientowania się w swoim otoczeniu najpierw.

Dziś prawie wszystkie firmy zajmujące się robotyką – od Tesli do Unitree Robotics i Figure AI – koncentrują się na tym exact stadium. Ich celem jest zbudowanie modelu podstawowego, którego możliwości najpierw przypominają te „ośmioletniego dziecka”, a następnie postępują w kierunku „dwunastolatka”. To również to, na czym się koncentrujemy w Introspector – przygotowujemy dane wymagane do wstępnego treningu, najbardziej krytycznej fazy w „dojrzewaniu” nowoczesnej robotyki.

Ostatni mil robota: gdzie uniwersalność kończy się, a specjalizacja zaczyna

Wyobraźmy sobie, że robot już ukończył wstępny trening i jest wyprodukowany od samego początku z podstawowym zrozumieniem świata i zestawem umiejętności porównywalnym do tego, co ma nastolatek. Ale nawet to nie jest wystarczające do rzeczywistych przypadków użycia w biznesie. Firmy nie potrzebują tylko „uniwersalnego” robota – potrzebują specjalisty.

Weźmy na przykład produkcję samochodów. Niektóre zadania są nadal wykonywane przez ludzi, ponieważ wymagają wrażliwości, precyzji i ciągłej kontroli wzrokowej. Tradycyjna automatyzacja nie radzi sobie tutaj. Przemysłowi manipulatorzy excelowują w powtarzalnych, sztywnych zadaniach – „chwyć, przenieś, umieść”. Ale zadania, które wymagają adaptacyjności, wrażliwości na nacisk i dostosowań w czasie rzeczywistym, pozostają w dziedzinie ludzkiej.

To tutaj pojawia się nowe zapotrzebowanie: nauczyć robota wykonywać określoną operację dokładnie tak, jak to robi wykwalifikowany pracownik. Innymi słowy, po treningu podstawowym następuje kolejny poziom: trening do określonej profesji i scenariusza.

Na tym etapie pojawia się praktyczne pytanie: co dokładnie jest wymagane do tego poziomu treningu? Jeśli chcemy, aby robot naśladował ludzkie wykonanie, musimy uchwycić to ludzkie zachowanie tak precyzyjnie, jak to możliwe. Na przykład specjalista na podłodze fabrycznej musiałby nosić kamerę i przez dłuższy czas, miesiące lub nawet rok, nagrywać, jak wykonuje zadanie.

Co jest wymagane, aby roboty „żyły” w świecie ludzkim

Kamera sama w sobie nie jest wystarczająca. Konieczne jest uchwycenie nie tylko perspektywy wizualnej, ale także fizyki ruchu. To jest robione za pomocą specjalnych rękawic z czujnikami dotyku, które mierzą nacisk, siłę i naturę interakcji z obiektami. To jest szczególnie ważne, ponieważ same obiekty mogą się znacznie różnić. Na przykład uszczelki mogą się różnić sztywnością w zależności od modelu samochodu, co bezpośrednio wpływa na sposób wykonania zadania.

Następnie następuje śledzenie kinematyczne. Markery – wizualne lub oparte na czujnikach – są umieszczane na nadgarstkach, łokciach i czasem barkach. Mogą to być na przykład bransoletki z identyfikowalnymi markerami (podobnymi do kodów QR), które pozwalają systemowi śledzić położenie ręki w przestrzeni z filmu. Dodatkowe czujniki, takie jak żyroskopy, są używane do uchwycenia ruchów stawów.

Ostatecznym celem jest pełne odtworzenie mechaniki ruchu: jak porusza się bark, jak zginają się łokcie, jak obracają się nadgarstki. Wszystko to staje się niezbędne do następnego etapu – treningu pośredniego.

Jeśli podczas treningu wstępnego mogliśmy jeszcze częściowo polegać na symulacji, na tym etapie już to nie działa. Ten „ostatni mil” jest prawie niemożliwy do dokładnego modelowania. Nie można w pełni symulować, na przykład, jak kucharz rozwałkowuje ciasto – jakie siły są stosowane, jak nacisk jest rozłożony, jak materiał jest odczuwany.

Dlatego podczas treningu pośredniego prawie wszystkie dane muszą pochodzić ze świata rzeczywistego. I to tutaj staje się jasne: główne wyzwanie przenosi się do dziedziny praktycznej – jak uzyskać takie dane w rzeczywistości. Zbieranie danych egocentrycznych na tym poziomie jest złożonym, wieloetapowym procesem, który wymaga dostępu do środowisk, specjalistycznego sprzętu, udziału wykwalifikowanych pracowników i następczej przygotowania danych.

Poza teorią, to tutaj roboty naprawdę „przyjmują życie” – po tym, jak udaje nam się zorganizować ten proces, pokonać ograniczenia, z którymi zespoły spotykają się w różnych branżach, i opisać takie zestawy danych w skali. To zostanie omówione w następnej części, gdzie przyjrzymy się wszystkim wyzwaniom, które pojawiają się podczas ich oznaczania i przygotowania.