AGIBOT udgiver datasæt om fysisk ræsonnering, der skal lære robotter, hvad de skal gøre som det næste

En robot kan samle en flaske perfekt op og stadig mislykkes med at fylde en minibar op. Den kan komme til at beholde en tom flaske, lægge for mange nye flasker ind eller gentage et trin, den allerede har udført. Det, der mangler, er evnen til at afgøre, hvad situationen kræver, før robotten vælger sin næste bevægelse.

AGIBOT forsøger at lukke dette hul med datasættet om fysisk ræsonnering, der blev annonceret den 22. oktober som udgivelse 4 af AGIBOT WORLD 2026. Udgivelsen forbinder opgavemål, skiftende forhold i omgivelserne, udførelseshistorik og handlinger udført af virkelige robotter. Grundideen er at indsamle forskellige veje til det samme mål, så forskere får materiale til at træne robotter i at tilpasse deres beslutninger, efterhånden som en opgave udfolder sig.

Ét mål, flere korrekte handlingsforløb

Udgivelse 4 flytter fokus i opgavedesignet fra vanskelige bevægelser til vanskelige beslutninger. I stedet for kun at indsamle demonstrationer af en fast sekvens varierer AGIBOT antallet af objekter, forhindringer, den tilgængelige plads og opgavens fremdrift. Disse ændringer kan gøre en handling, der tidligere var korrekt, uhensigtsmæssig, selv når brugerens anmodning er den samme.

Se på eksemplet med minibaren. For at nå målet om tre fyldte flasker skal robotten finde ud af, hvilke flasker der er tomme, tælle de fyldte flasker, der allerede står der, og beslutte, hvad der skal fjernes og fyldes op. Et vellykket greb er kun én del af opgaven. Robotten skal også have en repræsentation af den ønskede sluttilstand og kunne sammenligne den med den aktuelle tilstand.

Et andet scenarie handler om at hente en nøgle, der ligger bag en kasse. Et direkte greb kan fungere, hvis der er plads nok. Hvis kassen spærrer adgangen, bliver det nødvendigt først at flytte den. Når robotten leder i skuffer, opstår der også et hukommelsesproblem: Et kamerabillede alene kan ikke fortælle systemet, hvilke skuffer det allerede har undersøgt.

Disse eksempler viser en praktisk udfordring for fysisk AI. En politik, der efterligner en eksperts synlige bevægelser, kan stadig træffe den forkerte beslutning, hvis den mangler den kontekst, der gjorde bevægelserne passende. Ved at variere forholdene omkring et fælles mål skal datasættet gøre disse sammenhænge tilgængelige til træning.

Ni ræsonneringsevner med stigende kompleksitet

AGIBOT organiserer udgivelsen omkring ni evner: at vælge objekter ud fra deres egenskaber, at vælge ud fra konteksten, at vurdere, om en manipulation er mulig, at ræsonnere over forudsætninger for handlinger, at søge mod et mål, at holde styr på tilstande og mængder, at planlægge længere handlingsforløb, at bevare information i hukommelsen og at fastlægge rækkefølgen af delopgaver.

Disse evner overlapper i almindelige opgaver. Opfyldning kræver genkendelse, optælling og overblik over fremdriften. At finde en genstand kræver både en søgestrategi og en registrering af tidligere forsøg. En længere oprydningsopgave kan kræve flere af disse vurderinger efter hinanden, hvor hver handling ændrer betingelserne for den næste.

Datasættet inddeler opgaverne i niveauerne let, mellemsvær og svær. Vurderinger af enkeltstående valg ligger i den enklere ende; mængdebegrænsninger og forudsætninger øger kompleksiteten; længere opgaver kombinerer flere mål, hukommelse og kontekstuelle krav. Denne struktur giver forskere mulighed for at undersøge de enkelte færdigheder, før de tester, hvor godt de fungerer sammen.

Resultaterne af udførelsen annoteres også, herunder valg af objekt, placering og hvorvidt den krævede mængde blev opnået. Udgivelsen indeholder både vellykkede og fejlslagne eksempler, som understøtter forskning i at genkende afvigelser og tilpasse efterfølgende beslutninger.

Sådan forbindes instruktioner med fysiske handlinger

Det tekniske bidrag ligger i den måde, annoteringerne forbinder forskellige niveauer af en opgave på. En overordnet instruktion angiver det samlede mål. Opgaverammer, delopgavesegmenter og handlingstrin beskriver opgavens struktur og fremdrift. Forskere kan bruge disse sammenhænge til at undersøge, hvilket delmål der er aktivt, og hvad der skal ske som det næste.

På bevægelsesniveau angiver AGIBOTs Dense Prompt-annoteringer målobjektet, manipulationsområdet, de to armmes roller, bevægelsen, griberens tilstand og det forventede resultat. Afgrænsningsbokse, punkter og baner forbinder sproget med placeringer og bevægelsesforløb. Det giver et læringssystem mere præcis vejledning om, hvad en instruktion henviser til, og hvordan udførelsen repræsenteres.

Virksomheden beskriver også succes- og adversarielle segmenter, der bruges til at skelne mål fra distraktorer og kontrollere resultater. Her handler de adversarielle eksempler om fortolkning og udførelse af opgaver. De hjælper med at sætte spørgsmål som, om robotten valgte det rigtige objekt, eller om den faktisk fuldførte det ønskede trin.

Samlet set skal disse annoteringer understøtte træning, der forbinder en beslutningsmodel med en handlingspolitik. Beslutningsmodellen vælger et delmål, politikken udfører manipulationen, og den resulterende tilstand danner grundlag for den næste beslutning. Denne feedback er vigtig, når en robot skal rette op efter et mislykket forsøg eller reagere på ændrede omgivelser.

Sådan passer udgivelsen ind i AGIBOTs robotplatform

Det bredere AGIBOT WORLD 2026-arkiv beskriver data fra den virkelige verden, der er indsamlet på virksomhedens G2-platform. Det dokumenterede format følger LeRobot-konventionerne med episod data, metadata og separate videostrømme fra hoved- og håndledskameraer. Det giver udviklere, der kobler visuelle observationer sammen med registreret robotadfærd, en nyttig kontekst.

AGIBOTs produktside for G2 præsenterer hardwaren som udviklet til legemliggjort intelligens og kraftstyret manipulation samt interaktive funktioner. Release 4 retter sig mod laget for beslutningstagning og opgavehukommelse omkring disse fysiske funktioner. Den udbygger også den datainfrastruktur, der blev omtalt i Unite.AI’s tidligere dækning af AGIBOTs robotplatform.

I arkivet er der angivet en licens under Creative Commons Attribution–NonCommercial–ShareAlike 4.0. Den ikke-kommercielle betingelse er en væsentlig forskel for udviklere, der overvejer, hvordan de kan bruge de offentliggjorte data i et produkt.

Hvad fysisk ræsonnering kan ændre

For hotel- og restaurationsbranchen, husholdningstjenester og detailhandel er det tiltalende ved en robot, at den kan arbejde hen imod et resultat under skiftende forhold. At dække et bord igen eller fylde en hylde op kræver, at robotten undersøger, hvad der allerede er der, husker, hvilket arbejde der er udført, og erkender, hvornår der ikke er behov for yderligere handling. Sådanne vurderinger bliver vigtigere, efterhånden som robotter går fra enkeltstående demonstrationer til komplette arbejdsgange.

Release 4 leverer træningsmateriale til denne udvikling. I sig selv dokumenterer det ikke, at en bestemt model pålideligt kan udføre disse arbejdsgange i ukendte miljøer. AGIBOT oplyser, at dataene allerede har understøttet virksomhedens kommende agentrammeværk og næste generations grundmodel; resultater for disse systemers ydeevne er fortsat et særskilt spørgsmål.

Det nyttige skifte går i retning af at træne robotter i sammenhængen mellem et mål, den aktuelle situation og konsekvenserne af tidligere handlinger. Forskere kan udforske denne tilgang gennem AGIBOT WORLD-projektet og de tilhørende datasætressourcer.