AGIBOT brengt dataset voor fysiek redeneren uit om robots te leren wat ze vervolgens moeten doen

Een robot kan een fles perfect oppakken en toch niet in staat zijn een minibar bij te vullen. Misschien laat hij een lege fles staan, vult hij te veel flessen bij of herhaalt hij een stap die hij al heeft uitgevoerd. Wat ontbreekt, is het vermogen om te bepalen wat de situatie vereist voordat de robot een volgende beweging kiest.

AGIBOT wil die leemte opvullen met de dataset voor fysiek redeneren, die op 22 oktober werd aangekondigd als release 4 van AGIBOT WORLD 2026. De release brengt taakdoelen, veranderende omstandigheden in de omgeving, de uitvoeringsgeschiedenis en de werkelijke acties van robots met elkaar in verband. Het centrale idee is om verschillende routes naar hetzelfde doel te verzamelen, zodat onderzoekers materiaal krijgen om robots te trainen hun beslissingen aan te passen naarmate een taak vordert.

Eén doel, meerdere juiste actiereeksen

Release 4 verlegt de nadruk bij het ontwerpen van taken van moeilijke bewegingen naar moeilijke beslissingen. In plaats van alleen demonstraties van een vaste reeks stappen te verzamelen, varieert AGIBOT het aantal objecten, obstakels, de beschikbare ruimte en de voortgang van de taak. Door die veranderingen kan een handeling die eerder juist was, ongeschikt worden, zelfs als het verzoek van de gebruiker hetzelfde blijft.

Neem het voorbeeld van de minibar. Om het doel van drie volle flessen te bereiken, moet de robot vaststellen welke flessen leeg zijn, tellen hoeveel volle flessen er al staan en beslissen wat hij moet verwijderen en aanvullen. Een voorwerp succesvol vastpakken is maar één onderdeel van de taak. De robot moet ook een voorstelling hebben van de gewenste eindsituatie en die kunnen vergelijken met de huidige situatie.

Een ander scenario betreft het pakken van een sleutel die achter een doos ligt. De robot kan de sleutel rechtstreeks vastpakken als er genoeg ruimte is. Als de doos de toegang blokkeert, moet die eerst worden verplaatst. Het doorzoeken van laden brengt ook een geheugenprobleem met zich mee: op basis van alleen een camerabeeld kan het systeem niet vaststellen welke laden het al heeft gecontroleerd.

Deze voorbeelden laten een praktische uitdaging voor fysieke AI zien. Een beleid dat de zichtbare bewegingen van een expert nabootst, kan toch de verkeerde beslissing nemen als het niet beschikt over de context die die beweging geschikt maakte. Door de omstandigheden rond een gemeenschappelijk doel te variëren, moet de dataset deze afhankelijkheden beschikbaar maken voor training.

Negen redeneervaardigheden, met oplopende complexiteit

AGIBOT heeft de release opgebouwd rond negen vaardigheden: objecten selecteren op basis van kenmerken, keuzes maken op basis van de context, beoordelen of een handeling uitvoerbaar is, redeneren over vereiste voorafgaande handelingen, gericht zoeken, toestanden en aantallen bijhouden, langere reeksen plannen, informatie onthouden en deeltaken in de juiste volgorde uitvoeren.

Bij alledaagse taken lopen deze vaardigheden door elkaar. Aanvullen vereist herkenning, tellen en het bijhouden van de voortgang. Een voorwerp vinden vraagt om een zoekstrategie en een overzicht van eerdere pogingen. Een langere huishoudelijke taak kan achtereenvolgens verschillende van deze inschattingen vereisen, waarbij elke handeling de omstandigheden voor de volgende verandert.

De dataset deelt taken in drie niveaus in: eenvoudig, gemiddeld en moeilijk. Afzonderlijke selectiebeslissingen behoren tot de eenvoudigere categorie; beperkingen op aantallen en noodzakelijke voorafgaande handelingen verhogen de complexiteit. Langere taken combineren meerdere doelen, geheugen en contextuele vereisten. Dankzij deze opzet kunnen onderzoekers afzonderlijke vaardigheden bestuderen voordat ze testen hoe goed die samenwerken.

Ook de uitvoeringsresultaten zijn geannoteerd, waaronder de keuze en plaatsing van objecten en of het vereiste aantal is bereikt. De release bevat zowel geslaagde als foutieve voorbeelden, ter ondersteuning van onderzoek naar het herkennen van afwijkingen en het aanpassen van daaropvolgende beslissingen.

Instructies verbinden met fysieke handelingen

De technische bijdrage zit in de manier waarop de annotaties verschillende niveaus van een taak met elkaar verbinden. Een instructie op hoog niveau beschrijft het algemene doel. Taakframes, segmenten van deeltaken en actiestappen geven de structuur en voortgang ervan weer. Onderzoekers kunnen deze verbanden gebruiken om te bestuderen welk subdoel op dat moment geldt en wat er vervolgens moet gebeuren.

Op bewegingsniveau specificeren de Dense Prompt-annotaties van AGIBOT het doelobject, het manipulatiegebied, de rol van beide armen, de beweging, de toestand van de grijper en het verwachte resultaat. Kaderbegrenzingen, punten en trajectlijnen verbinden taal met locaties en bewegingspaden. Zo krijgt een lerend systeem explicietere aanwijzingen over waar een instructie naar verwijst en hoe de uitvoering ervan wordt weergegeven.

Het bedrijf beschrijft ook geslaagde en adversariële segmenten waarmee doelen van afleidende objecten kunnen worden onderscheiden en resultaten kunnen worden gecontroleerd. Adversariële voorbeelden hebben hier betrekking op de interpretatie en uitvoering van taken. Ze helpen vragen te formuleren zoals of de robot het juiste object heeft gekozen en de gevraagde stap daadwerkelijk heeft voltooid.

Deze annotaties zijn samen bedoeld om training te ondersteunen die een besluitvormingsmodel met een handelingsbeleid verbindt. Het besluitvormingsmodel kiest een subdoel, het beleid voert de handeling uit en de resulterende toestand vormt de basis voor de volgende beslissing. Die terugkoppeling is van belang wanneer een robot moet herstellen van een mislukte poging of moet reageren op een veranderde omgeving.

Hoe de release past binnen het robotica-platform van AGIBOT

De bredere repository van AGIBOT WORLD 2026 beschrijft gegevens uit de praktijk die zijn verzameld met het G2-platform van het bedrijf. De gedocumenteerde indeling volgt de conventies van LeRobot, met episodegegevens, metadata en afzonderlijke videostreams van hoofd- en polscamera’s. Dat biedt nuttige context voor ontwikkelaars die visuele waarnemingen willen koppelen aan vastgelegd robotgedrag.

Op de productpagina van G2 positioneert AGIBOT de hardware voor belichaamde intelligentie en krachtgeregelde manipulatie, naast interactieve mogelijkheden. Release 4 richt zich op de besluitvorming en het taakgeheugen rond die fysieke mogelijkheden. Ook bouwt de release voort op de data-infrastructuur die aan bod kwam in de eerdere berichtgeving van Unite.AI over het robotica-platform van AGIBOT.

De repository vermeldt een Creative Commons Attribution–NonCommercial–ShareAlike 4.0-licentie. De voorwaarde voor niet-commercieel gebruik is een belangrijk onderscheid voor ontwikkelaars die overwegen hoe ze de vrijgegeven gegevens in een product kunnen gebruiken.

Wat fysieke redenering kan veranderen

Voor de horeca, huishoudelijke diensten en retailactiviteiten is vooral een robot aantrekkelijk die onder veranderende omstandigheden naar een bepaald resultaat kan toewerken. Een tafel opnieuw klaarmaken of een schap aanvullen vereist dat de robot controleert wat er al staat, onthoudt welk werk is voltooid en herkent wanneer verdere actie niet nodig is. Zulke afwegingen worden belangrijker naarmate robots de stap zetten van afzonderlijke demonstraties naar volledige werkprocessen.

Release 4 levert trainingsmateriaal voor die ontwikkeling. Op zichzelf bewijst de release niet dat een bepaald model die werkprocessen betrouwbaar kan uitvoeren in onbekende omgevingen. AGIBOT zegt dat de gegevens al zijn gebruikt voor het aankomende agentframework en het basismodel van de volgende generatie; de prestaties van die systemen blijven een afzonderlijke kwestie.

De waardevolle verschuiving is dat robots worden getraind in de samenhang tussen een doel, de huidige situatie en de gevolgen van eerdere acties. Onderzoekers kunnen die aanpak verkennen via het AGIBOT WORLD-project en de bijbehorende datasetbronnen.