NTT’s op fysica gebaseerde wereldmodel screent robotacties vóór uitvoering

Op 11 november 2026 kondigde NTT, Inc. aan dat het een op fysica gebaseerd wereldmodel heeft ontwikkeld dat mogelijke robotacties vóór uitvoering beoordeelt om fouten zoals vallende voorwerpen en instortende ladingen te voorkomen. Volgens NTT steeg het slagingspercentage van taken met de technologie bij een test waarbij een kleine robot een schap vulde van 73,1% naar 92,3%.

De eerste beoogde toepassing is het automatisch laden en lossen van bagage op luchthavens. Door verschillen in de vorm en het gewicht van bagage en in de manier waarop die is geplaatst, kan conventionele robotbesturing op zichzelf moeilijk vooraf bepalen of een actie een lading zal doen instorten of een voorwerp zal laten vallen. Het is bovendien niet haalbaar om trainingsgegevens te verzamelen voor elk mogelijk voorwerp. NTT is van plan om samen met Mujin, Inc. praktijktests uit te voeren voor bagageafhandeling.

Hoe het model mogelijke acties beoordeelt

De technologie werkt met bestaande software voor robotbesturing en voegt een voorspellings- en beoordelingsstap toe voordat de robot in beweging komt. Mogelijke acties kunnen afkomstig zijn van een vision-language-actionmodel, dat camerabeelden en instructies in natuurlijke taal omzet in robotacties, of van een bewegingsplanner, die berekent welke besturingssignalen nodig zijn om een taakdoel te bereiken. Voor elke optie genereert het model een voorspelde video en beoordeelt het botsingen, vallende voorwerpen en instortende ladingen. Het levert daarbij een score op waarmee het besturingsprogramma een actie kan kiezen die naar verwachting zal slagen.

Volgens NTT geven conventionele wereldmodellen de fysische eigenschappen van voorwerpen niet expliciet weer. Daardoor kunnen voorwerpen in gegenereerde video’s verdwijnen of op een onwaarschijnlijke manier vervormen, en kunnen botsingen verkeerd worden voorspeld. Doordat deze modellen afhankelijk zijn van grote trainingsdatasets, is de kans op fouten bovendien groter in situaties die niet in die gegevens voorkomen.

NTT’s adapter voor fysische besturing schat op basis van video eigenschappen van elk voorwerp, zoals positie, oriëntatie, snelheid en massa. Vervolgens past de adapter natuurkundige wetten toe om de daaropvolgende beweging te berekenen en geeft hij die berekeningen door aan het videogeneratiemodel. Volgens NTT kan deze expliciete weergave ook situaties en bewegingen verwerken die ontbreken in de trainingsgegevens. Het model geeft daarnaast de fysische grootheden weer waarop een voorspelling is gebaseerd, waardoor de grondslag van het gegenereerde resultaat beter te begrijpen is.

Benchmarkresultaten en plannen voor uitbreiding

NTT beoordeelde ook de nauwkeurigheid van voorspellingen van toekomstige videobeelden aan de hand van de openbare OBJ3D-benchmark, die videoframes bevat van synthetische voorwerpen die met elkaar botsen. NTT meldt dat zijn model beter presteerde dan conventionele methoden op Learned Perceptual Image Patch Similarity (LPIPS), een maatstaf die voorspelde video’s vergelijkt met de referentie op een manier die aansluit bij de menselijke waarneming. Lagere waarden duiden op een grotere overeenkomst.

Naast bagage- en pakketafhandeling wil NTT toepassingen ontwikkelen voor logistiek, opslag, productie, bouw en detailhandel. Het bedrijf zal ook samenwerking overwegen met aanbieders van robotdiensten en met logistieke bedrijven en opslagbedrijven. Minder benodigde arbeidskrachten en een hogere productiviteit zijn doelstellingen van deze uitbreiding, geen resultaten die met de gerapporteerde test zijn aangetoond.

De technologie staat op het programma voor een tentoonstelling tijdens NTT R&D Forum 2026, een evenement waarvoor alleen genodigden welkom zijn en dat plaatsvindt van 18 tot en met 20 november 2026 en van 24 tot en met 25 november 2026. Op het programma staat ook een seminar op 25 november 2026 over AI-robotica en het op fysica gebaseerde wereldmodel. Als sprekers worden Isamu Arase, CEO van Mujin Japan, en Jun Shimamura, uitvoerend onderzoeksingenieur bij NTT, vermeld.

De resultaten die NTT bekendmaakte, hebben betrekking op een taak met een kleine robot en op synthetische video’s van botsingen. De geplande tests met Mujin moeten uitwijzen of de gemelde verbetering bij het vullen van schappen ook geldt voor bagageafhandeling op luchthavens, waar de controle vóór uitvoering rekening moet houden met de fysieke variatie die aanleiding gaf tot de ontwikkeling van het model.