Společnost mimic robotics představuje FLUX-mimic, aby přinesla video-akční modely na výrobní plochu Audi

Společnost mimic robotics představila FLUX-mimic, nový video-akční model, který má pomoci průmyslovým robotům naučit se složitým manipulačním úkonům z podstatně menších množství demonstračních dat.

Společnost vyvinula tento systém ve spolupráci s firmou Black Forest Labs, která se specializuje na umělou inteligenci. Systém je již testován a nasazován ve spolupráci s firmou Audi v rámci výrobních úkolů, které byly historicky obtížně automatizovatelné, včetně práce s flexibilními materiály, měnícími se konfiguracemi dílů a přesnou manipulací.

Oznámení naznačuje potenciální posun v fyzické umělé inteligenci. Místo toho, aby se spoléhala primárně na velké sbírky demonstračních dat robotů, FLUX-mimic se snaží přenést znalosti, které již byly získány generativním video modelem, do systému, který je schopen ovládat fyzické stroje.

Nový přístup k učení robotů

Mnoho dnešních obecných robotických systémů je založeno na modelech Vision-Language-Action, běžně známých jako VLA. Tyto systémy obvykle kombinují model, který byl vyškolován na obrazech a jazyku, s další komponentou, která předpovídá pohyby, které by robot měl udělat.

Tento přístup dává robotům určitou úroveň sémantického porozumění, jako je rozpoznání objektu nebo interpretace psané instrukce. Nicméně, statické obrázky plně nezachycují, jak se objekty ohýbají, pohybují, srážejí nebo reagují na fyzický kontakt.

Chybějící znalosti musí být proto získány z demonstračních dat robotů, což může být nákladné a časově náročné. Každá demonstrace vyžaduje fyzického robota, operátora, vhodný pracovní prostor a pečlivě zaznamenaná akční data.

FLUX-mimic zvolil jinou cestu. Používá vizuální reprezentace, které jsou generovány modelem FLUX 3 od Black Forest Labs, jako základ pro předpověď, jak by úkol měl probíhat v čase. Black Forest Labs popisuje FLUX 3 jako multimodální model, který je schopen generovat obrázky, videa, audio a akce, spíše než systém, který je omezen na generování statických obrázků.

Decodér akcí poté překládá vizuální předpověď modelu do příkazů, které může robot vykonat. V praktickém slova smyslu systém nejdříve odhadne, jak by úspěšné dokončení úkolu mělo vypadat, a poté určí, které fyzické pohyby jsou potřebné k dosažení tohoto výsledku.

Vývoj na základě architektury mimic-video

FLUX-mimic staví na mimic-video, dřívějším výzkumu společnosti, který se zabýval používáním předškolených video modelů jako základu pro robotické řízení.

Rather než žádat konvenční model Vision-Language, aby odvodil pohyb z jednotlivých snímků, mimic-video vytváří latentní vizuální plán, který reprezentuje, jak by úkol mohl probíhat. Samostatný decodér akcí poté používá tuto interní reprezentaci k generování pohybů robota.

V svém výzkumném článku společnost uvedla, že mimic-video dosáhlo přibližně desetinásobné účinnosti vzorků a dvojnásobné rychlosti konvergence školení ve srovnání s podobnou architekturou VLA. Skutečný systém byl vyškolován pomocí přibližně 500 trajektorií z dvourukého robota.

FLUX-mimic rozšiřuje tento koncept pomocí architektury FLUX 3 a designu, který byl vytvořen speciálně pro fyzickou umělou inteligenci.

Podle společnosti mimic robotics úkoly, které by dříve vyžadovaly 30 hodin nebo více demonstračních dat robotů, mohou nyní dosáhnout produkční připravenosti s pouhými 30 minutami dat. Tento údaj představuje výsledky, které společnost uvádí, a bude nakonec muset být vyhodnocen napříč širším spektrem továren, hardwarových konfigurací a výrobních podmínek.

Přesto může snížení požadavků na data tímto způsobem materiálně změnit ekonomiku průmyslové robotiky. Náklady na nasazení se často rozšiřují daleko za samotného robota, s významnými zdroji, které jsou věnovány programování, integraci, simulaci, testování a opětovnému inženýrství, kdykoli se změní produkt nebo proces.

Audi poskytuje náročný průmyslový test

Audi spolupracuje se společností mimic robotics na testování a nasazování FLUX-mimic v reálných výrobních prostředích, kde systémy automatizace musí čelit produkční variabilitě, těsným výrobním požadavkům a úkolům, které nelze vždy redukovat na opakující se pohyby.

Automobilka uvádí, že roboti provedli složitou manipulaci s měkkými těly, která by byla extrémně obtížná pro konvenční robotiku. Měkké materiály jsou zvláště náročné, protože jejich tvar se mění během manipulace, což činí obtížným definovat každý pohyb pomocí pevných souřadnic nebo pravidel.

Širší výzkum automatizace Audi ilustruje, proč se adaptabilita stává stále důležitější. Ve svém zařízení Böllinger Höfe testuje umělou inteligenci, mobilní roboty, počítačové vidění a nové technologie pro manipulaci v reálném laboratorním prostředí. Audi poznamenala, že vysoká úroveň přizpůsobení vozidel, jako je e-tron GT, vytváří komplexní logistické procesy, které zahrnují velké množství různých dílů.

Tradiční průmyslové roboty zůstávají vysoce efektivní, když je prostředí strukturované a každý objekt přichází do předvídatelné pozice. Stávají se méně ekonomickými, když se části, materiály nebo produktové varianty mění často enough, aby vyžadovaly opakované inženýrské práce.

Systémy založené na učení by mohly učinit tyto nižší objemy a vyšší variace procesů více prakticky automatizovatelnými. Místo psaní nového programu pro každý úkol by výrobci mohli demonstrovat požadované chování a umožnit systému naučit se, jak jej reprodukovat.

Kombinace modelů, hardwaru a demonstrací lidí

Model je součástí širší platformy pro robotiku, kterou vyvíjí společnost mimic robotics.

Společnost vyvíjí vlastní dexteritní robotickou ruku, nositelné zařízení pro sběr dat, modely učení robotů a infrastrukturu pro nasazení. Jejich nositelné zařízení je navrženo tak, aby zaznamenávalo pohyby lidských rukou ve formátu, který lze přenést přímo do robotických rukou společnosti.

Tento důraz na ruce spíše než na kompletní humanoidní roboty odráží cílenější přístup k průmyslové automatizaci. Dexteritní ruce lze připojit k běžným robotickým ramenům, která se již používají ve výrobních závodech, což snižuje potřebu zavádět zcela nový robotický formát. ETH Zurich popisuje tento přístup jako kombinaci lidské manipulace s etablovaným průmyslovým hardwarem pro řešení úkolů, které vyžadují adaptabilitu a sebeopravu.

Společnost mimic robotics byla založena jako spin-off ETH Zurich v roce 2024 a od té doby vyrostla na více než 50 zaměstnanců v Curychu a San Francisku. Jejich tým zahrnuje výzkum modelů, robotiky, hardwarového vývoje, operací s daty a průmyslového nasazení.

Širší implikace pro automatizaci továren

Význam FLUX-mimic bude záviset méně na izolovaných demonstracích než na tom, zda technologie může udržet vysoké míry úspěchu během tisíců výrobních cyklů.

Továrny vyžadují konzistentní výkon, předvídatelné časy cyklů, bezpečnou operaci kolem zaměstnanců, rychlou obnovu z chyb a integraci se stávajícími výrobními systémy. Model, který se učí rychle, ale chová nepředvídatelně, by nabídl málo výhod oproti konvenční automatizaci.

Nicméně, pokud video-akční modely mohou zachovat svou hlášenou účinnost dat, zatímco splňují požadavky na průmyslovou spolehlivost, mohly by expandovat robotiku do kategorií práce, které zůstaly manuální, protože byly příliš variabilní nebo nákladné na programování.

To by mohlo zahrnovat montáž flexibilních komponent, manipulaci s mixovaným inventářem, třídění nepravidelných objektů, balení často se měnících produktů a podporu pracovníků s fyzicky náročnými procesy.

Dlouhodobá příležitost není jen více schopná robotická ruka, ale odlišný model nasazení, ve kterém výrobci učí stroje prostřednictvím demonstrace, spíše než specifikují každý pohyb předem.

Zapojení Audi poskytuje FLUX-mimic příležitost prokázat, že tento přístup může jít za hranice kontrolovaných výzkumných prostředí. Úspěch na výrobní ploše automobilky by nabídl důležitou indikaci, že generativní video modely mohou být více než nástroji pro vytváření digitálního obsahu, ale mohou sloužit jako součást inteligentní vrstvy, která řídí stroje ve fyzickém světě.