Prawdziwy koszt szkolenia robotów

W pierwszej części omawialiśmy, jak roboty ewoluują od podstawowych mechanizmów do zrozumienia swojego otoczenia. Na etapie “ostatniej mili” – gdy roboty przechodzą szkolenie w celu wykonania określonych, niestandardowych zadań – pojawia się nieoczekiwana bariera. Jest to związane z danymi: ich zbieraniem, organizacją i skalowaniem w warunkach rzeczywistych.

To właśnie na tym etapie różnica między koncepcją a implementacją staje się najbardziej widoczna. Jakie są kluczowe wąskie gardła, i jak można je pokonać z minimalnymi stratami?

Dlaczego tysiące godzin danych przekształcają się w lata pracy

Wyobraźmy sobie, że mamy już wytrenowanego robota, który przeszedł pre-trenowanie. Potrafi on nawigować w swoim otoczeniu, poruszać się, unikać przeszkód i wchodzić w interakcje z obiektami. To jak “dziesięcioletnie dziecko”, które jest ogólnie zdolne do samodzielnego działania. Następnym krokiem jest nauczenie go wykonywania konkretnych czynności w konkretnych warunkach, na przykład montażu szyb i uszczelnień w linii produkcyjnej samochodów.

Na pierwszy rzut oka zadanie wydaje się prostsze. Wymaga opanowania jednego scenariusza, a objętość danych wymaganych jest znacznie mniejsza niż podczas pre-trenowania. Podczas gdy szkolenie podstawowe może wymagać setek tysięcy godzin, szkolenie końcowe może wymagać tylko kilku tysięcy. Ale te liczby są mylące.

Gdy przetłumaczy się je na czas rzeczywisty, proces ujawnia swoją prawdziwą złożoność. W standardowym rozkładzie pracy osoba pracuje około 160 godzin w miesiącu. Nie oznacza to jednak, że cały ten czas może być wykorzystany do nagrywania.

W praktyce występują ciągłe przerwy: baterie się rozładowują, kamery są przesuwane, sensory ulegają awarii. Im bardziej skomplikowane jest urządzenie, tym wyższe jest prawdopodobieństwo problemów. Nawet prosta awaria, taka jak sensory na rękawicy przestają działać, może zahamować proces i skutkować straconym czasem.

W efekcie rzeczywista szybkość zbierania danych jest 2-3 razy niższa. Jedna godzina nagrania o wysokiej jakości może wymagać do trzech godzin pracy. To radykalnie zmienia obliczenia: 5 000 godzin danych przekłada się na około 15 000 godzin pracy.

Warstwy po warstwach złożoności

Podczas pre-trenowania może być wystarczające, aby dać osobie kamerę i poprosić ją o nagranie codziennych czynności. Na tym etapie jednak wymagany jest dostęp do określonego środowiska, takiego jak fabryka, plac budowy lub specjalistyczne zakład produkcyjny.

To natychmiast wprowadza praktyczne ograniczenia. Na przykład na placu budowy pracownicy muszą nosić hełmy ochronne, co oznacza, że muszą być opracowane specjalistyczne urządzenia: hełmy z wbudowanymi kamerami, odporne na kurz, wilgoć i uderzenia.

Następnie pojawia się kwestia dostępu do samej placówki. Muszą być zawarte umowy z właścicielami placówki, uzyskane pozwolenia i negocjowane warunki. To prawie zawsze wiąże się z dodatkowymi kosztami: firmy oczekują rekompensaty, a pracownicy oczekują wynagrodzenia za udział.

Ubezpieczenie i zgodność z przepisami bezpieczeństwa stają się również kluczowymi problemami. Jeśli urządzenie nie spełnia wymaganych norm, ubezpieczenie może zostać unieważnione, co zmusza do restrukturyzacji całego procesu.

Nawet na poziomie codziennych operacji, wyzwania się utrzymują. Kamery muszą być włączane, monitorowane i konserwowane. Pracownicy pracują w rękawicach i trudnych warunkach. Urządzenia się brudzą, zużywają się i ulegają awariom. Kamera może wyłączyć się po kilku minutach, a osoba może nawet nie zauważyć.

To tworzy potrzebę, aby uczestnicy szkolenia sami się szkolili – muszą zrozumieć, jak używać urządzeń. Co więcej, wymagana jest ciągła nadzór – ktoś musi zapewnić, że nagrywanie jest w toku, a urządzenia funkcjonują prawidłowo.

Od surowego wideo do danych szkoleniowych

Po nagraniu następuje kolejny etap: zbieranie danych, przesyłanie, strukturyzacja, walidacja jakości i oznaczanie.

Każde surowe dane składają się z sygnałów wideo i sensorycznych. Aby przekształcić je w materiał szkoleniowy, muszą one być zorganizowane: obiekty muszą być zidentyfikowane, akcje zarejestrowane, a stany, ruchy i interakcje ze środowiskiem opisane. To właśnie tutaj pojawia się annotacja. Logiczne pytanie brzmi – jaki jest standard złoty dla takiego przepływu pracy annotacji?

W niektórych przypadkach wystarczające są proste pola ograniczające, aby zidentyfikować obiekty w klatce. W innych przypadkach wymagana jest annotacja czasowa, aby opisać sekwencje akcji w czasie. W pewnych scenariuszach używa się punktów kluczowych i modeli szkieletowych, aby uchwycić ruch ciała. W bardziej złożonych przypadkach używa się siatek 3D lub śledzenia położenia ręki, aby dokładnie oddać mechanikę interakcji. Często integruje się dodatkowe sensory, takie jak akcelerometry, aby uchwycić dynamikę ruchu i siłę.

Projekty takie często wymagają skalowania zespołu. Oznaczanie jest dużym i złożonym zadaniem, wymagającym czasu, ekspertyzy i znacznych zasobów ludzkich. To właśnie tutaj pojawiają się dostawcy rozwiązań danych z zespołami anotacyjnymi. Takimi jak Keymakr, który okazał się szczególnie skuteczny dzięki możliwości skalowania zespołów do dowolnej objętości danych, od jednego specjalisty do setek anotatorów.

Nie ma jeszcze jednej słusznej metody szkolenia

Przemysł jest nadal w fazie eksploracyjnej, ponieważ nie ma konsensusu co do tego, jaka kombinacja danych daje najlepsze wyniki. Wiele podejść jest walidowanych empirycznie, ponieważ działają w określonych eksperymentach. W efekcie różne zespoły nadal polegają na różnych technologiach, ukształtowanych przez ich własne doświadczenie, zadania i ograniczenia.

Na poziomie akademickim i stosowanym prowadzi to do fragmentacji: laboratoria i firmy idą w różnych kierunkach. Sytuacja przypomina wczesne dni jazdy autonomicznej, kiedy Tesla postawiła na podejście oparte wyłącznie na wizji, bez LiDAR, podczas gdy większość innych graczy wybrała LiDAR jako podstawowy sensor.

Dziś systemy oparte na LiDAR wykazują się bardziej stabilnymi wynikami, ale podejście Tesli nadal ewoluuje. Różnica polega na tym, że w przypadku jazdy autonomicznej rynek w dużej mierze dojrzał: pojawiły się stabilne architektury, ograniczenia są dobrze zrozumiane, a znaczne doświadczenie zostało zgromadzone.

W przeciwieństwie do tego, w przypadku sztucznej inteligencji fizycznej i podobnych modeli szkoleniowych ten poziom dojrzałości jeszcze nie został osiągnięty. Rynek nadal się kształtuje, brakuje standardów, a wiele postępu jest napędzane przez eksperymenty. Nowe metody szkolenia modeli, poprawy wydajności i adaptacji do rzeczywistych scenariuszy nadal pojawiają się, co sugeruje, że najważniejsze przełomy w tej dziedzinie jeszcze przed nami.

Człowiek jako system wzmocnienia

Oznaczanie nie istnieje w izolacji, ani dla samego modelu. Służy ono jako narzędzie dla inżyniera budującego ten model. Przez niego inżynier formalizuje rzeczywistość, identyfikuje kluczowe parametry i definiuje reguły behawioralne systemu.

Zadanie inżyniera polega na nauczeniu systemu, aby wykonywał akcje poprawnie w warunkach rzeczywistych. Na przykład podstawowy scenariusz może składać się z czterech akcji: podniesienia szklanki, włączenia kranu, napełnienia ją i wyłączenia kranu. Ale w rzeczywistości pojawia się odchylenie – szklanka przelewa się.

W tym momencie model jest oczekiwany, aby dokończyć scenariusz i wykonać dodatkowe akcje: zatrzymać przepływ wody, dostosować poziom wody i zapobiec rozlaniu. To jest logika behawioralna oparta na zrozumieniu kontekstu.

Inżynier podąża za cyklem: oznacza dane, trenuje model, testuje go. Jeśli system działa, hipoteza jest potwierdzona. Jeśli nie, rozpoczyna się analiza.

W pewnym momencie może się okazać, że model brakuje ważnego parametru, takiego jak poziom napełnienia szklanki. Poprzednio dane mogły zawierać oznaczenia dla obiektów (szklanki, kranu, uchwytu) i akcji (otwierania, napełniania, zamykania), ale brakowało oznaczeń dla stanu, takiego jak stopień pełności.

Wtedy dodawana jest nowa warstwa do procesu: oznaczenie poziomu napełnienia, po której następuje formalizacja, na przykład definicja wszystkiego, co przekracza 85%, jako stan krytyczny.

To prowadzi do następnej iteracji szkolenia. Można mieć setki takich iteracji.

Nikt nie zakłada, że system będzie działał poprawnie od razu. Wręcz przeciwnie, proces jest zbudowany wokół sukcesywnych aproksymacji: najpierw tworzy się wersję bazową; następnie testuje się ją w warunkach rzeczywistych lub prawie rzeczywistych; identyfikuje się luki; i system jest udoskonalany. To jest coś, o czym często rozmawiam z klientami w Introspector, z którymi przechodzimy przez całą drogę sztucznej inteligencji fizycznej.

W pewnym momencie osiąga się pożądany wynik. Ale jego wartość nie leży tylko w tym, że system zaczyna działać, ale w zgromadzonym doświadczeniu, które pozwala ten wynik powtarzać w sposób bardziej przewidywalny.

Ekonomia, o której wszyscy zapominają

W ciągu ostatniego roku lub dwóch zauważyłem, że największy błąd, jaki popełniają firmy przy pracy z danymi egocentrycznymi, ma niewiele wspólnego z technologią.

Podstawowym problemem jest tak naprawdę niedoszacowanie ekonomiki projektu.

Na etapie pomysłu technologia zajmuje centralne miejsce – jakie modele użyć, jak je trenować i jakie podejścia zastosować. Studiuje się, prowadzi badania, dyskutuje się o architekturach i testuje hipotezy. To jest naturalne: technologia wydaje się najbardziej namacalnym i oczywistym elementem problemu.

Ale znacznie rzadziej na tym etapie zespoły zadają sobie bezpośrednie i praktyczne pytanie: ile to będzie kosztować?

Gdy projekt przechodzi z fazy teoretycznej do implementacji, staje się jasne, że za każdym modelem stoi dziesiątki tysięcy godzin danych. Zbieranie tych danych wymaga czasu, dostępu do rzeczywistych środowisk i udziału specjalistów. Oznaczanie dodaje kolejną warstwę złożoności i kosztów. W efekcie końcowe liczby są często o kilka rzędów wielkości wyższe niż oczekiwano.

To nie oznacza, że takie projekty nie powinny być realizowane. Wręcz przeciwnie, to one napędzają przemysł do przodu.

Ale to, co się liczy, to zrozumienie skali wyzwania od samego początku. Rozpoznanie, że w szkoleniu modelu za każdym niesamowitym algorytmem stoi złożona, wymagająca zasobów praca z danymi.

Nawet silne pomysły nie osiągają pełnej implementacji, gdy koszty danych zaczynają przekraczać kilka milionów.

A może najważniejsza zmiana, jaka zachodzi obecnie w robotyce, jest związana z tym zrozumieniem. Przyszłość tych systemów będzie określona przez to, jak “inteligentne” one są i jak skutecznie i precyzyjnie cały pipeline danych jest zbudowany – od zbierania danych do końcowej interpretacji.