AGIBOT lanserar datamängd för fysiskt resonemang som ska lära robotar vad de ska göra härnäst

En robot kan plocka upp en flaska helt felfritt och ändå misslyckas med att fylla på en minibar. Den kanske låter en tom flaska stå kvar, fyller på med för många flaskor eller upprepar ett steg som den redan har utfört. Det som saknas är förmågan att avgöra vad situationen kräver innan nästa rörelse väljs.

AGIBOT vill åtgärda den bristen med datamängden Physical Reasoning, som tillkännagavs den 22 oktober som Release 4 av AGIBOT WORLD 2026. I lanseringen kopplas uppgiftsmål, föränderliga förhållanden i omgivningen, genomförandets historik och verkliga robotåtgärder samman. Grundtanken är att samla in olika vägar till samma mål, så att forskare får underlag för att träna robotar att anpassa sina beslut medan en uppgift pågår.

Ett mål, flera korrekta handlingssekvenser

Med Release 4 flyttas fokus i uppgiftsutformningen från svåra rörelser till svåra beslut. I stället för att enbart samla in demonstrationer av en fast sekvens varierar AGIBOT antalet föremål, hindren, det tillgängliga utrymmet och hur långt uppgiften har kommit. Sådana förändringar kan göra en tidigare korrekt åtgärd olämplig, även när användarens önskemål är detsamma.

Tänk på exemplet med minibaren. För att nå målet om tre fulla flaskor måste roboten identifiera vilka flaskor som är tomma, räkna hur många fulla flaskor som redan finns och avgöra vad som ska tas bort och fyllas på. Ett lyckat grepp är bara en del av arbetet. Roboten behöver också ha en representation av det önskade slutläget och kunna jämföra det med det aktuella läget.

Ett annat scenario handlar om att hämta en nyckel som ligger bakom en låda. Ett direkt grepp kan fungera om det finns tillräckligt med utrymme. Om lådan blockerar åtkomsten måste den flyttas först. Att söka igenom lådor innebär dessutom en minnesutmaning: en kamerabild räcker inte i sig för att systemet ska kunna avgöra vilka lådor det redan har kontrollerat.

De här exemplen visar på en praktisk utmaning för fysisk AI. En policy som härmar en experts synliga rörelser kan ändå fatta fel beslut om den saknar sammanhanget som gjorde rörelserna lämpliga. Genom att variera förhållandena kring ett gemensamt mål är avsikten att datamängden ska göra dessa beroenden tillgängliga för träning.

Nio förmågor inom resonemang, med ökande komplexitet

AGIBOT har strukturerat lanseringen kring nio förmågor: att välja föremål utifrån egenskaper, välja utifrån sammanhang, bedöma om en manipulation är genomförbar, resonera kring vilka förutsättningar som krävs för en åtgärd, söka mot ett mål, hålla reda på tillstånd och antal, planera längre sekvenser, upprätthålla minne och ordna deluppgifter i rätt följd.

I vardagliga arbetsuppgifter överlappar dessa förmågor. Påfyllning kräver igenkänning, räkning och uppföljning av hur arbetet fortskrider. Att hitta ett föremål kombinerar en sökstrategi med en registrering av tidigare försök. En längre städuppgift kan kräva flera av dessa bedömningar efter varandra, där varje åtgärd förändrar förutsättningarna för nästa.

Datamängden delar in uppgifterna i nivåerna Lätt, Medel och Svår. Enskilda urvalsbedömningar hör till den enklare nivån; mängdbegränsningar och förutsättningar gör uppgifterna mer komplexa; längre uppgifter kombinerar flera mål, minne och krav på att ta hänsyn till sammanhanget. Den strukturen ger forskare möjlighet att studera enskilda förmågor innan de testar hur väl de fungerar tillsammans.

Även resultaten av genomförandet annoteras, däribland val av föremål, placering och huruvida det angivna antalet uppnåddes. Lanseringen omfattar både lyckade och felaktiga exempel, vilket stöder forskning om hur avvikelser kan identifieras och efterföljande beslut anpassas.

Att koppla instruktioner till fysiska handlingar

Det tekniska bidraget ligger i hur annoteringarna kopplar samman olika nivåer av en uppgift. En instruktion på hög nivå anger det övergripande målet. Uppgiftsramar, deluppgiftssegment och handlingssteg beskriver uppgiftens struktur och förlopp. Forskare kan använda dessa samband för att studera vilket delmål som är aktuellt och vad som bör ske härnäst.

På rörelsenivå anger AGIBOT:s Dense Prompt-annoteringar målföremålet, manipulationsområdet, de två armarnas roller, rörelsen, griparens tillstånd och det förväntade resultatet. Begränsningsrutor, punkter och banlinjer kopplar språket till platser och rörelsebanor. Det ger ett inlärningssystem tydligare vägledning om vad en instruktion syftar på och hur genomförandet representeras.

Företaget beskriver också segment med lyckade och adversariella exempel för att skilja målföremål från distraktioner och kontrollera resultaten. Här gäller de adversariella exemplen tolkningen och genomförandet av uppgiften. De hjälper till att formulera frågor som om roboten valde rätt föremål eller faktiskt slutförde det begärda steget.

Tillsammans är dessa annoteringar avsedda att stödja träning som kopplar en beslutsmodell till en handlingspolicy. Beslutsmodellen väljer ett delmål, policyn utför manipulationen och det resulterande tillståndet ligger till grund för nästa beslut. Den återkopplingen är viktig när en robot måste återhämta sig efter ett mindre lyckat försök eller reagera på en förändrad omgivning.

Så passar lanseringen in i AGIBOT:s robotplattform

Det bredare AGIBOT WORLD 2026-arkivet beskriver verkliga data som samlats in med företagets G2-plattform. Det dokumenterade formatet följer LeRobot-konventionerna och omfattar episoddata, metadata och separata videoströmmar från huvud- och handledskameror. Det ger utvecklare som kopplar samman visuella observationer med registrerat robotbeteende ett användbart sammanhang.

På AGIBOT:s produktsida för G2 presenteras hårdvaran som avsedd för förkroppsligad intelligens och kraftstyrd manipulation, med interaktiva funktioner som komplement. Release 4 behandlar besluts- och uppgiftsminneslagret kring dessa fysiska förmågor. Den bygger också vidare på den datainfrastruktur som beskrivs i Unite.AI:s tidigare bevakning av AGIBOT:s robotplattform.

I arkivet anges licensen Creative Commons Attribution–NonCommercial–ShareAlike 4.0. Villkoret om icke-kommersiell användning är en viktig skillnad för utvecklare som överväger hur de kan använda de publicerade datauppgifterna i en produkt.

Vad fysisk resonemangsförmåga kan förändra

Inom besöksnäringen, hushållstjänster och detaljhandeln ligger lockelsen i en robot som kan arbeta mot ett mål även när förhållandena förändras. Att ställa i ordning ett bord eller fylla på en hylla kräver att roboten kontrollerar vad som redan finns där, kommer ihåg vad den har gjort och inser när det inte behövs fler åtgärder. Sådana bedömningar blir viktigare när robotar går från fristående demonstrationer till kompletta arbetsflöden.

Release 4 tillhandahåller träningsmaterial för den utvecklingen. I sig visar det inte att en viss modell på ett tillförlitligt sätt kan utföra dessa arbetsflöden i obekanta miljöer. AGIBOT uppger att datauppgifterna redan har bidragit till företagets kommande agentramverk och nästa generations grundmodell; hur systemen presterar är fortfarande en separat fråga.

Den värdefulla förskjutningen går mot att träna robotar i sambandet mellan ett mål, den aktuella situationen och följderna av tidigare handlingar. Forskare kan utforska det tillvägagångssättet genom AGIBOT WORLD-projektet och de tillhörande datasetresurserna.