mimic robotics Wprowadza FLUX-mimic, aby Przynieść Modele Video-Akcji na Podłogę Fabryczną Audi

mimic robotics wprowadził FLUX-mimic, nowy model video-akcji zaprojektowany do pomocy robotom przemysłowym w nauce złożonych zadań manipulacji przy użyciu znacznie mniejszych ilości danych demonstracyjnych.

Został opracowany we współpracy z firmą Black Forest Labs, specjalizującą się w sztucznej inteligencji wizualnej, system jest już testowany i wdrożony z Audi w zadaniach produkcyjnych, które historycznie były trudne do zautomatyzowania, w tym pracach z materiałami elastycznymi, zmieniającymi się konfiguracjami części i precyzyjną manipulacją.

Ogłoszenie wskazuje na potencjalną zmianę w sztucznej inteligencji fizycznej. Zamiast polegać głównie na dużych zbiorach demonstracji robota, FLUX-mimic próbuje przenieść wiedzę już poznane przez generatywny model wideo do systemu zdolnego do kontrolowania maszyn fizycznych.

Nowe Podejście do Nauki Robotów

Wiele dzisiejszych systemów robotyki ogólnego przeznaczenia opartych jest na modelach wizji-języka-akcji, powszechnie znanych jako VLA. Systemy te łączą model szkolony na obrazach i języku z dodatkowym komponentem, który przewiduje ruchy, które robot powinien wykonać.

Podejście to daje robotom pewien stopień zrozumienia semantycznego, takiego jak rozpoznawanie obiektu lub interpretacja napisanej instrukcji. Jednak statyczne obrazy nie oddają w pełni, jak obiekty gięte, poruszają się, zderzają się lub reagują na kontakt fizyczny.

Brakująca wiedza musi być więc poznana z demonstracji robota, co może być kosztowne i czasochłonne. Każda demonstracja wymaga fizycznego robota, operatora, odpowiedniej przestrzeni roboczej i starannie zarejestrowanych danych akcji.

FLUX-mimic idzie inną drogą. Używa przedstawień wizualnych wytworzonych przez model FLUX 3 firmy Black Forest Labs jako podstawy do przewidywania, jak zadanie powinno się rozwinąć w czasie. Black Forest Labs opisuje FLUX 3 jako multimodalny model, który może generować obrazy, wideo, dźwięk i akcję, a nie system ograniczony do generacji statycznych obrazów.

Dekoder akcji następnie tłumaczy przewidywanie modelu wizualnego na polecenia, które robot może wykonać. W praktyce system najpierw szacuje, jak powinno wyglądać pomyślne wykonanie zadania, a następnie określa, jakie ruchy fizyczne są potrzebne do osiągnięcia tego wyniku.

Budowanie na Architekturze mimic-video

FLUX-mimic buduje na mimic-video, wcześniejszych badaniach firmy nad używaniem wstępnie wyszkolonych modeli wideo jako podstawy dla sterowania robotami.

Zamiast prosić konwencjonalny model wizji-języka o wnioskowanie o ruchu z poszczególnych klatek, mimic-video tworzy ukryty plan wizualny reprezentujący, jak zadanie może się rozwinąć. Oddzielny dekoder akcji używa tego wewnętrznego przedstawienia do generowania ruchów robota.

W swoim artykule badawczym firma zgłosiła, że mimic-video osiągnęło około dziesięciokrotnie większą wydajność próbkowania i dwukrotnie szybszą konwergencję szkolenia w porównaniu z porównywalną architekturą VLA w swoich ocenach. Rzeczywisty system został wyszkolony przy użyciu około 500 trajektorii z dwuręcznego robota.

FLUX-mimic rozszerza ten koncept, używając architektury za FLUX 3 i projektu stworzonego specjalnie dla sztucznej inteligencji fizycznej.

Zdaniem mimic robotics zadania, które wcześniej mogły wymagać 30 godzin lub więcej demonstracji robota, mogą osiągnąć gotowość produkcyjną z już 30 minut danych. Ta liczba reprezentuje wyniki zgłoszone przez firmę i ostatecznie będą musiały być ocenione w szerszym zakresie fabryk, konfiguracji sprzętu i warunków produkcji.

Nawet tak, redukcja wymogu danych o tym stopniu mogłaby znacząco zmienić ekonomikę robotyki przemysłowej. Koszty wdrożenia często sięgają daleko poza samego robota, z znacznymi zasobami poświęconymi na programowanie, integrację, symulację, testowanie i ponowne inżynierowanie, gdy produkt lub proces ulega zmianie.

Audi Zapewnia Wymagający Przemysłowy Test

Audi współpracuje z mimic robotics, aby ocenić FLUX-mimic w rzeczywistych środowiskach produkcyjnych, gdzie systemy automatyki muszą radzić sobie z zmiennością produktów, ścisłymi wymogami produkcyjnymi i zadaniami, które nie zawsze mogą być zredukowane do ruchów powtarzalnych.

Producent samochodów mówi, że roboty wykonały złożoną pracę manipulacji ciałem miękkim, co byłoby bardzo trudne do rozwiązania przy użyciu konwencjonalnej robotyki. Materiały miękkie są szczególnie wyzwaniem, ponieważ ich kształt ulega zmianie podczas obsługi, co utrudnia określenie każdego ruchu za pomocą stałych współrzędnych lub reguł.

Szersze badania automatyki Audi ilustrują, dlaczego adaptacyjność staje się coraz bardziej ważna. W swoim zakładzie Böllinger Höfe firma testuje sztuczną inteligencję, roboty mobilne, wizję komputerową i nowe technologie pobierania w laboratoryjnym środowisku rzeczywistym. Audi zauważyło, że wysoki poziom personalizacji w pojazdach, takich jak e-tron GT, tworzy złożone procesy logistyczne, w których biorą udział duże ilości różnych części.

Tradycyjne roboty przemysłowe pozostają bardzo skuteczne, gdy środowisko jest uporządkowane, a każdy obiekt pojawia się w przewidywalnej pozycji. Stają się mniej ekonomiczne, gdy części, materiały lub warianty produktów zmieniają się często enough, aby wymagać powtarzających się prac inżynierskich.

Systemy oparte na uczeniu mogą uczynić te procesy o niższej objętości i wyższej zmienności bardziej praktycznymi do zautomatyzowania. Zamiast pisać nowy program dla każdego zadania, producenci mogliby zademonstrować pożądane zachowanie i pozwolić systemowi nauczyć się, jak je odtworzyć.

Kombinowanie Modeli, Sprzętu i Demonstracji Ludzkich

Model jest częścią szerszej platformy robotyki pełnej warstwy rozwijanej przez mimic robotics.

Firma buduje własne dexterous roboticzne ręce, noszące urządzenia do zbierania danych, modele uczenia robota i infrastrukturę wdrożeniową. Ich noszący system jest zaprojektowany do rejestrowania ruchów rąk ludzkich w formacie, który może być przeniesiony bardziej bezpośrednio na ręce robota firmy.

Skupienie się na rękach zamiast na pełnych robotach humanoidalnych odzwierciedla bardziej ukierunkowane podejście do automatyki przemysłowej. Ręce dexterous mogą być przymocowane do konwencjonalnych ramion robota już używanych w fabrykach, redukując potrzebę wprowadzenia całkowicie nowej postaci robota. ETH Zurich opisuje to podejście jako łączenie ludzkiej manipulacji z ustalonym sprzętem przemysłowym w celu rozwiązania zadań, które wymagają adaptacyjności i samokorekty.

Założona jako spin-off ETH Zurich w 2024 roku, mimic robotics rozrosła się do ponad 50 pracowników w Zurychu i San Francisco. Zespół obejmuje badania modeli, robotykę, rozwój sprzętu, operacje danych i wdrożenie przemysłowe.

Szersze Implikacje dla Automatyki Fabrycznej

Znaczenie FLUX-mimic będzie zależało mniej od izolowanych demonstracji niż od tego, czy technologia może utrzymać wysokie wskaźniki sukcesu przez tysiące cykli produkcyjnych.

Fabryki wymagają spójnej wydajności, przewidywalnych czasów cyklu, bezpiecznej eksploatacji wokół pracowników, szybkiego odzyskiwania po błędach i integracji z istniejącymi systemami produkcyjnymi. Model, który uczy się szybko, ale zachowuje się nieprzewidywalnie, oferowałby niewielką przewagę nad konwencjonalną automatyką.

Jednak jeśli modele video-akcji mogą zachować swoją zgłoszoną wydajność danych, jednocześnie spełniając wymagania niezawodności przemysłowej, mogłyby rozszerzyć robotykę na kategorie pracy, które pozostały ręczne, ponieważ były zbyt zmiennymi lub kosztownymi do zaprogramowania.

Mogłoby to obejmować montaż elastycznych komponentów, obsługę mieszanych zapasów, sortowanie nieregularnych obiektów, pakowanie często zmieniających się produktów i wspieranie pracowników w procesach fizycznie wymagających.

Długoterminowa możliwość nie jest po prostu bardziej zdolną ręką robota. Jest to inny model wdrożeniowy, w którym producenci uczą maszyny przez demonstrację, a nie określają każdego ruchu z wyprzedzeniem.

Udział Audi daje FLUX-mimic okazję do udowodnienia, że to podejście może wyjść poza kontrolowane środowiska badawcze. Sukces na podłodze fabryki samochodowej Audi byłby ważnym wskaźnikiem, że generatywne modele wideo mogą stać się czymś więcej niż tylko narzędziami do tworzenia mediów cyfrowych, służąc zamiast tego jako część warstwy inteligentnej, która kontroluje maszyny w świecie fizycznym.