AGIBOT vydává dataset fyzického uvažování, který má roboty naučit, co mají udělat dál

Robot může lahev dokonale uchopit, a přesto selhat při doplňování zásob v minibaru. Může v něm nechat prázdnou lahev, doplnit jich příliš mnoho nebo zopakovat krok, který už dokončil. Chybí mu schopnost vyhodnotit, co situace vyžaduje, ještě než zvolí další pohyb.

AGIBOT se tuto mezeru snaží zaplnit datasetem pro fyzické uvažování, který 22. října oznámil jako 4. vydání AGIBOT WORLD 2026. Toto vydání propojuje cíle úkolů, proměnlivé podmínky scény, historii provádění a skutečné činnosti robotů. Jeho hlavní myšlenkou je shromažďovat různé cesty ke stejnému cíli a poskytnout tak výzkumníkům materiál pro trénování robotů, aby dokázali přizpůsobovat svá rozhodnutí průběhu úkolu.

Jeden cíl, několik správných posloupností úkonů

4. vydání přesouvá důraz při navrhování úkolů od náročných pohybů k náročným rozhodnutím. AGIBOT místo shromažďování ukázek jediné pevně dané posloupnosti mění počet objektů, překážky, dostupný prostor i postup plnění úkolu. Tyto změny mohou způsobit, že dříve správný úkon přestane být vhodný, i když se požadavek uživatele nezmění.

Uvažujme příklad s minibarem. Dosáhnout cíle tří plných lahví vyžaduje určit, které lahve jsou prázdné, spočítat již přítomné plné lahve a rozhodnout, které lahve odstranit a doplnit. Úspěšné uchopení je jen jednou částí úkolu. Robot také potřebuje znázornění požadovaného konečného stavu a způsob, jak jej porovnat s aktuálním stavem.

Další scénář se týká vytažení klíče, který leží za krabicí. Pokud je dostatek místa, může stačit klíč přímo uchopit. Když krabice brání v přístupu, je nutné ji nejprve přesunout. Prohledávání zásuvek přináší další problém s pamětí: samotný obraz z kamery systému neřekne, které zásuvky už prohledal.

Tyto příklady ukazují praktickou výzvu, kterou představuje fyzická umělá inteligence. Politika, která napodobuje viditelné pohyby experta, se přesto může rozhodnout špatně, pokud nezná souvislosti, díky nimž byly tyto pohyby vhodné. Cílem datasetu je zpřístupnit tyto závislosti pro trénování tím, že mění podmínky při zachování společného cíle.

Devět schopností uvažování se vzrůstající složitostí

AGIBOT uspořádává toto vydání kolem devíti schopností: výběru objektů podle vlastností, volby podle kontextu, posuzování proveditelnosti manipulace, uvažování o předpokladech pro provedení úkonu, hledání cesty k cíli, sledování stavů a množství, plánování delších posloupností, uchovávání informací v paměti a řazení dílčích úkolů.

Při běžné práci se tyto schopnosti překrývají. Doplňování zásob vyžaduje rozpoznávání, počítání a sledování průběhu. Hledání předmětu spojuje strategii hledání se záznamem předchozích pokusů. Delší úklidový úkol může vyžadovat několik takových úsudků za sebou, přičemž každý úkon mění podmínky pro ten následující.

Dataset rozděluje úkoly na snadnou, střední a obtížnou úroveň. Jednodušší jsou jednotlivé úsudky při výběru; omezení týkající se množství a nezbytné předpoklady zvyšují složitost; delší úkoly kombinují více cílů, paměť a požadavky vyplývající z kontextu. Tato struktura dává výzkumníkům možnost zkoumat jednotlivé dovednosti, než ověří, jak dobře fungují společně.

Zaznamenávají se také výsledky provádění úkolů, včetně výběru objektu, jeho umístění a toho, zda bylo dosaženo požadovaného množství. Vydání obsahuje úspěšné i chybné příklady, které podporují výzkum rozpoznávání odchylek a přizpůsobování následných rozhodnutí.

Propojení pokynů s fyzickými úkony

Technický přínos spočívá ve způsobu, jakým anotace propojují různé úrovně úkolu. Pokyn na vysoké úrovni stanoví celkový cíl. Rámce úkolu, segmenty dílčích úkolů a jednotlivé kroky úkonů popisují jeho strukturu a průběh. Výzkumníci mohou tyto vztahy využít ke zkoumání toho, který dílčí cíl je právě aktivní a co by se mělo stát dál.

Anotace Dense Prompt společnosti AGIBOT na úrovni pohybu určují cílový objekt, oblast manipulace, role obou ramen, pohyb, stav úchopových mechanismů a očekávaný výsledek. Ohraničující rámečky, body a čáry trajektorie propojují jazyk s místy a dráhami pohybu. Učícímu se systému tak poskytují konkrétnější vodítka k tomu, čeho se pokyn týká a jak je znázorněno jeho provedení.

Společnost také popisuje segmenty úspěšných a adversariálních příkladů, které slouží k rozlišování cílových objektů od rušivých a ke kontrole výsledků. Zde se adversariální příklady týkají interpretace a provádění úkolů. Pomáhají formulovat otázky, například zda robot vybral správný objekt nebo zda požadovaný krok skutečně dokončil.

Účelem těchto anotací je společně podpořit trénování, které propojuje model rozhodování s politikou úkonů. Model rozhodování vybírá dílčí cíl, politika provádí manipulaci a výsledný stav poskytuje informace pro další rozhodnutí. Tato zpětná vazba je důležitá vždy, když robot musí napravit nepovedený pokus nebo reagovat na změnu scény.

Jak toto vydání zapadá do robotické platformy AGIBOT

Širší repozitář AGIBOT WORLD 2026 popisuje data z reálného světa shromážděná na platformě G2 této společnosti. Zdokumentovaný formát vychází z konvencí LeRobot a zahrnuje data o jednotlivých epizodách, metadata a samostatné videozáznamy z kamer umístěných na hlavě a zápěstí. To poskytuje užitečný kontext vývojářům, kteří propojují vizuální pozorování se zaznamenaným chováním robota.

Stránka produktu G2 společnosti AGIBOT představuje hardware určený pro vtělenou inteligenci a manipulaci řízenou silou, doplněný o interaktivní funkce. Release 4 se zaměřuje na vrstvu rozhodování a paměti úloh navazující na tyto fyzické schopnosti. Rozšiřuje také datovou infrastrukturu, o níž se psalo v dřívějším článku Unite.AI věnovaném robotické platformě AGIBOT.

Repozitář uvádí licenci Creative Commons Attribution–NonCommercial–ShareAlike 4.0. Podmínka nekomerčního využití je důležitým rozdílem pro vývojáře, kteří zvažují, jak uvolněná data použít ve svém produktu.

Co může změnit fyzické uvažování

V pohostinství, domácích službách a maloobchodním provozu je přitažlivá představa robota, který dokáže směřovat k určitému výsledku i při měnících se podmínkách. Uvedení stolu do pořádku nebo doplnění zboží na polici vyžaduje zkontrolovat, co už na místě je, pamatovat si, které úkoly byly dokončeny, a rozpoznat, kdy už není třeba podnikat další kroky. Tyto úsudky nabývají na důležitosti, jakmile roboti přecházejí od izolovaných ukázek k uceleným pracovním postupům.

Vydání 4 poskytuje výukový materiál pro tento směr. Samo o sobě však nedokládá, že konkrétní model dokáže tyto pracovní postupy spolehlivě zvládat v neznámém prostředí. AGIBOT uvádí, že data již posloužila jako podklad pro připravovaný agentní rámec a základní model nové generace; výsledky výkonnosti těchto systémů jsou však samostatnou otázkou.

Užitečný posun spočívá v trénování robotů, aby chápali vztah mezi cílem, aktuální situací a důsledky předchozích akcí. Výzkumníci mohou tento přístup zkoumat prostřednictvím projektu AGIBOT WORLD a souvisejících zdrojů datových sad.