AGIBOT lanserer datasett for fysisk resonnering som skal lære roboter hva de skal gjøre videre

En robot kan plukke opp en flaske helt perfekt og likevel mislykkes med å fylle opp minibaren. Den kan la en tom flaske stå igjen, sette inn for mange nye flasker eller gjenta et trinn den allerede har fullført. Det som mangler, er evnen til å vurdere hva situasjonen krever før den velger neste bevegelse.

AGIBOT retter seg mot dette behovet med datasettet for fysisk resonnering, som ble kunngjort 22. oktober som utgivelse 4 av AGIBOT WORLD 2026. Utgivelsen knytter sammen oppgavemål, skiftende forhold i omgivelsene, gjennomføringshistorikk og handlinger utført av virkelige roboter. Hovedideen er å samle inn ulike veier til det samme målet, slik at forskere får materiale til å trene roboter i å tilpasse beslutningene sine etter hvert som en oppgave utvikler seg.

Ett mål, flere riktige handlingssekvenser

Utgivelse 4 flytter fokuset i oppgavedesignet fra vanskelige bevegelser til vanskelige beslutninger. I stedet for bare å samle inn demonstrasjoner av en fast sekvens varierer AGIBOT antall objekter, hindringer, tilgjengelig plass og hvor langt oppgaven har kommet. Slike endringer kan gjøre en handling som tidligere var riktig, uegnet, selv om brukerens forespørsel er den samme.

Tenk på eksempelet med minibaren. For å nå målet om tre fulle flasker må roboten finne ut hvilke flasker som er tomme, telle hvor mange fulle flasker som allerede står der, og avgjøre hvilke den skal fjerne og fylle på. Å gripe en flaske på riktig måte er bare én del av oppgaven. Roboten trenger også en representasjon av ønsket sluttilstand og en måte å sammenligne den med den nåværende tilstanden på.

Et annet scenario handler om å hente en nøkkel som ligger bak en eske. Roboten kan kanskje gripe den direkte hvis det er nok plass. Hvis esken sperrer tilgangen, må den flyttes først. Når roboten leter i skuffer, oppstår også et minneproblem: Et kamerabilde alene kan ikke fortelle systemet hvilke skuffer det allerede har undersøkt.

Disse eksemplene viser en praktisk utfordring for fysisk KI. En handlingspolicy som etterligner en eksperts synlige bevegelser, kan likevel ta feil beslutning hvis den mangler konteksten som gjorde bevegelsen passende. Ved å variere forholdene rundt et felles mål skal datasettet gjøre slike sammenhenger tilgjengelige for trening.

Ni resonneringsevner med økende kompleksitet

AGIBOT organiserer utgivelsen rundt ni evner: å velge objekter ut fra egenskaper, velge ut fra kontekst, vurdere om en manipulasjon lar seg gjennomføre, resonnere om hvilke handlinger som må utføres først, lete seg fram mot et mål, følge med på tilstander og mengder, planlegge lengre sekvenser, opprettholde et minne og ordne deloppgaver i riktig rekkefølge.

Disse evnene overlapper i vanlige arbeidsoppgaver. Påfylling krever gjenkjenning, telling og oversikt over framdriften. Å finne en gjenstand kombinerer en søkestrategi med en oversikt over tidligere forsøk. En lengre oppgave med å holde orden kan kreve flere av disse vurderingene etter hverandre, og hver handling endrer forholdene for den neste.

Datasettet deler oppgavene inn i nivåene Lett, Middels og Vanskelig. Enkle valg av enkeltobjekter ligger i den mindre krevende enden; begrensninger knyttet til mengde og handlinger som må utføres først, øker kompleksiteten; lengre oppgaver kombinerer flere mål, hukommelse og kontekstuelle krav. Denne strukturen gir forskere en måte å studere enkeltferdigheter på før de undersøker hvor godt ferdighetene fungerer sammen.

Resultater av gjennomføringen annoteres også, blant annet valg av objekt, plassering og om den nødvendige mengden ble oppnådd. Utgivelsen inneholder både vellykkede og feilaktige eksempler, noe som støtter forskning på å gjenkjenne avvik og justere påfølgende beslutninger.

Slik knyttes instruksjoner til fysiske handlinger

Det tekniske bidraget ligger i hvordan annotasjonene knytter sammen ulike nivåer av en oppgave. En instruksjon på overordnet nivå angir det samlede målet. Oppgaverammer, deloppgavesegmenter og handlingstrinn beskriver oppgavens struktur og framdrift. Forskere kan bruke disse sammenhengene til å undersøke hvilket delmål som er aktivt, og hva som bør skje videre.

På bevegelsesnivå angir AGIBOTs Dense Prompt-annotasjoner målobjektet, manipulasjonsområdet, de to armenes roller, bevegelsen, gripeinnretningens tilstand og forventet resultat. Avgrensningsbokser, punkter og baner knytter språk til posisjoner og bevegelsesbaner. Dette gir et læringssystem tydeligere veiledning om hva en instruksjon viser til, og hvordan utførelsen representeres.

Selskapet beskriver også vellykkede og adversarielle segmenter for å skille mål fra distraktorer og kontrollere resultater. Her handler adversarielle eksempler om tolkning og utføring av oppgaver. De bidrar til å formulere spørsmål som om roboten valgte riktig objekt, eller faktisk fullførte det forespurte trinnet.

Til sammen skal disse annotasjonene støtte trening som knytter en beslutningsmodell til en handlingspolicy. Beslutningsmodellen velger et delmål, policyen utfører manipulasjonen, og den resulterende tilstanden danner grunnlag for neste beslutning. Denne tilbakekoblingen er viktig når en robot må rette opp etter et mislykket forsøk eller reagere på endrede omgivelser.

Slik passer utgivelsen inn i AGIBOTs robotikkplattform

Det bredere AGIBOT WORLD 2026-arkivet beskriver data fra den virkelige verden som er samlet inn med selskapets G2-plattform. Det dokumenterte formatet følger LeRobot-konvensjonene, med episodedata, metadata og separate videostrømmer fra hode- og håndleddskameraer. Dette gir nyttig kontekst for utviklere som kobler visuelle observasjoner til registrert robotatferd.

På produktsiden for G2 presenterer AGIBOT maskinvaren som utviklet for kroppsliggjort intelligens og kraftstyrt manipulasjon, i tillegg til interaktive funksjoner. Utgivelse 4 tar for seg laget for beslutninger og oppgaveminne knyttet til disse fysiske egenskapene. Den videreutvikler også datainfrastrukturen som ble omtalt i Unite.AIs tidligere dekning av AGIBOTs robotplattform.

Arkivet oppgir en Creative Commons Attribution–NonCommercial–ShareAlike 4.0-lisens. Vilkåret om ikke-kommersiell bruk er en viktig forskjell for utviklere som vurderer hvordan de kan bruke de offentliggjorte dataene i et produkt.

Hva kan fysisk resonnering endre?

I hotell- og serveringsbransjen, innen husholdningstjenester og i detaljhandelen er det attraktivt med en robot som kan arbeide mot et mål under skiftende forhold. Å gjøre et bord klart igjen eller fylle på en hylle krever at roboten undersøker hva som allerede er der, husker hva den har gjort, og forstår når det ikke er nødvendig å gjøre mer. Slike vurderinger blir viktigere etter hvert som roboter går fra isolerte demonstrasjoner til komplette arbeidsflyter.

Utgivelse 4 inneholder treningsmateriale for denne utviklingen. Den viser imidlertid ikke i seg selv at en bestemt modell kan utføre slike arbeidsflyter pålitelig i ukjente omgivelser. AGIBOT sier at dataene allerede har støttet selskapets kommende agentrammeverk og grunnmodell av neste generasjon; ytelsesresultater for disse systemene er fortsatt et eget spørsmål.

Det nyttige skiftet går i retning av å trene roboter på sammenhengen mellom et mål, den aktuelle situasjonen og konsekvensene av tidligere handlinger. Forskere kan utforske denne tilnærmingen gjennom AGIBOT WORLD-prosjektet og de tilknyttede datasettressursene.