NTT’s fysikbaserede verdensmodel vurderer robotbevægelser, før de udføres

Den 11. november 2026 annoncerede NTT, Inc. en fysikbaseret verdensmodel, der vurderer mulige robotbevægelser, før de udføres, for at reducere fejl som tabte genstande og sammenstyrtede læs. NTT oplyste, at teknologien øgede opgavesuccesen fra 73,1 % til 92,3 % i en test, hvor en lille robot læssede en hylde.

Den første planlagte anvendelse er automatiseret lastning og losning af bagage i lufthavne. Variationer i bagagens form, vægt og placering gør det vanskeligt for konventionel robotstyring alene på forhånd at afgøre, om en handling vil få et læs til at styrte sammen eller medføre, at en genstand tabes. Det er desuden upraktisk at indsamle træningsdata for alle tænkelige genstande. NTT planlægger feltforsøg med Mujin, Inc. inden for bagagehåndtering.

Sådan vurderer modellen mulige handlinger

Teknologien fungerer sammen med eksisterende software til robotstyring og tilføjer forudsigelse og vurdering, før robotten bevæger sig. Mulige handlinger kan komme fra en syns-sprog-handlingsmodel, der omsætter video fra kameraer og sproglige instruktioner til robothandlinger, eller fra en bevægelsesplanlægger, der beregner den nødvendige styring for at nå et mål. For hver mulighed genererer modellen en video af det forventede forløb og vurderer kollisioner, tabte genstande og sammenstyrtede læs. Den tildeler derefter en score, som gør det muligt for styringsprogrammet at vælge en handling, der vurderes sandsynligvis at lykkes.

Ifølge NTT repræsenterer konventionelle verdensmodeller ikke objekters fysiske størrelser eksplicit. Det kan føre til, at objekter forsvinder eller deformeres på urealistisk vis i genererede videoer, og til unøjagtige forudsigelser af kollisioner. Afhængigheden af store træningsdatasæt betyder også, at fejl er mere sandsynlige i situationer, som ikke indgår i dataene.

NTT’s fysikbaserede styringsadapter anslår ud fra video egenskaber som hvert objekts position, retning, hastighed og masse, anvender fysiske love til at beregne den efterfølgende bevægelse og sender beregningerne videre til videogenereringsmodellen. NTT oplyser, at denne eksplicitte repræsentation kan håndtere situationer og bevægelser, som ikke indgår i træningsdataene. Modellen viser også de fysiske størrelser, der ligger til grund for en forudsigelse, så det bliver lettere at forstå grundlaget for det genererede resultat.

Benchmarkresultater og planer for videreudvikling

NTT vurderede også nøjagtigheden af forudsigelser af fremtidige videoer på det offentligt tilgængelige OBJ3D-benchmark, som indeholder videobilleder af syntetiske objekter, der kolliderer. NTT oplyser, at modellen klarede sig bedre end konventionelle metoder målt på Learned Perceptual Image Patch Similarity (LPIPS), en målemetode, der sammenligner forudsagt video med referencevideo på en måde, der svarer til menneskers opfattelse. Lavere værdier angiver større lighed.

Ud over håndtering af bagage og pakker planlægger NTT at undersøge anvendelser inden for logistik, lagerdrift, produktion, byggeri og detailhandel. Virksomheden vil også overveje at samarbejde med udbydere af robotløsninger samt logistik- og lagerfirmaer. Mindre behov for arbejdskraft og højere produktivitet er mål for denne udvidelse, ikke resultater, der er dokumenteret i den rapporterede test.

Teknologien skal efter planen vises frem på NTT R&D Forum 2026, et arrangement kun for inviterede, der afholdes 18.-20. november 2026 og 24.-25. november 2026. På et seminar den 25. november 2026 om AI-robotteknologi og den fysikinformerede verdensmodel står Mujin Japans administrerende direktør Isamu Arase og NTT’s ledende forskningsingeniør Jun Shimamura på talerlisten.

NTT’s offentliggjorte resultater omfatter en opgave udført af en lille robot og syntetiske kollisionsvideoer. De planlagte forsøg med Mujin skal teste, om den rapporterede forbedring i hyldelæsning også gælder håndtering af bagage i lufthavne, hvor vurdering før udførelse skal tage højde for de fysiske variationer, der lå til grund for udviklingen af modellen.