NTTs fysikkbaserte verdensmodell vurderer robothandlinger før de utføres

11. november 2026 kunngjorde NTT, Inc. en fysikkbasert verdensmodell som vurderer mulige robothandlinger før de utføres, for å redusere feil som at gjenstander mistes eller last velter. Selskapet opplyste at teknologien økte andelen vellykkede oppgaver fra 73,1 % til 92,3 % i en test der en liten robot lastet varer i hyller.

Den første planlagte bruken er automatisert lasting og lossing av flybagasje. Variasjoner i bagasjens form, vekt og plassering gjør det vanskelig for konvensjonell robotstyring alene å avgjøre på forhånd om en handling vil føre til at lasten velter eller en gjenstand faller ned, og det er upraktisk å samle inn treningsdata for alle mulige gjenstander. NTT planlegger praktiske tester med Mujin, Inc. innen bagasjehåndtering.

Slik vurderer modellen mulige handlinger

Teknologien fungerer sammen med eksisterende programvare for robotstyring og legger til prediksjon og vurdering før roboten beveger seg. Mulige handlinger kan komme fra en visjon-språk-handlingsmodell, som omsetter kameravideo og instruksjoner på naturlig språk til robothandlinger, eller fra en bevegelsesplanlegger, som beregner hvilke styringssignaler som trengs for å nå et mål. For hvert alternativ genererer modellen en predikert video og vurderer kollisjoner, gjenstander som faller ned, og last som velter. Den gir deretter en poengsum som gjør det mulig for styringsprogrammet å velge en handling som vurderes som sannsynlig å lykkes.

NTT sier at konvensjonelle verdensmodeller ikke representerer objektenes fysiske egenskaper uttrykkelig. Det kan føre til at objekter forsvinner eller deformeres på en lite troverdig måte i generert video, og til unøyaktige kollisjonsprediksjoner. Fordi modellene også er avhengige av store treningsdatasett, er det større sannsynlighet for feil i situasjoner som ikke finnes i disse dataene.

NTTs fysikkbaserte kontrolladapter anslår egenskaper som hvert objekts posisjon, orientering, hastighet og masse ut fra video, bruker fysiske lover til å beregne den videre bevegelsen og formidler beregningene til videogenereringsmodellen. NTT sier at denne uttrykkelige representasjonen kan håndtere situasjoner og bevegelser som ikke finnes i treningsdataene. Modellen viser også de fysiske størrelsene som ligger til grunn for en prediksjon, slik at det blir enklere å forstå grunnlaget for resultatet som genereres.

Resultater fra sammenligningstester og planer for videre utvikling

NTT evaluerte også nøyaktigheten i prediksjoner av framtidige videobilder ved hjelp av den offentlige OBJ3D-testserien, som inneholder videobilder av syntetiske objekter som kolliderer. NTT oppgir at modellen presterte bedre enn konvensjonelle metoder målt med Learned Perceptual Image Patch Similarity (LPIPS), en målemetode som sammenligner predikert video med fasit på en måte som samsvarer med menneskelig persepsjon. Lavere verdier betyr større likhet.

I tillegg til håndtering av bagasje og pakker planlegger NTT å satse på bruksområder innen logistikk, lagerdrift, produksjon, bygg og anlegg samt detaljhandel. Selskapet vil også vurdere samarbeid med leverandører av robotløsninger og selskaper innen logistikk og lagerdrift. Målet med denne satsingen er å redusere arbeidskraftbehovet og øke produktiviteten; dette er ikke resultater som er dokumentert i den rapporterte testen.

Teknologien skal vises fram på NTT R&D Forum 2026, et arrangement kun for inviterte, som finner sted 18.–20. november 2026 og 24.–25. november 2026. På et seminar 25. november 2026 om AI-robotikk og den fysikkinformerte verdensmodellen står Mujin Japan-sjef Isamu Arase og NTTs ledende forskningsingeniør Jun Shimamura oppført som foredragsholdere.

Resultatene NTT har kunngjort, gjelder en oppgave utført av en liten robot og syntetiske kollisjonsvideoer. De planlagte testene med Mujin skal undersøke om den rapporterte forbedringen i hyllelasting også gjelder håndtering av flybagasje, der vurdering før utførelse må ta høyde for de fysiske variasjonene som lå til grunn for utviklingen av modellen.