Oparty na prawach fizyki model świata NTT weryfikuje działania robota przed ich wykonaniem

11 listopada 2026 r. NTT, Inc. ogłosiła opracowanie opartego na prawach fizyki modelu świata, który przed wykonaniem ocenia możliwe działania robota, by ograniczyć liczbę awarii, takich jak upuszczenie przedmiotów czy zawalenie się ładunku. Firma poinformowała, że dzięki tej technologii skuteczność zadań w teście załadunku półki przy użyciu małego robota wzrosła z 73,1% do 92,3%.

Pierwszym planowanym zastosowaniem jest zautomatyzowany załadunek i rozładunek bagażu na lotniskach. Różnorodność kształtów, masy i ułożenia bagażu utrudnia konwencjonalnemu systemowi sterowania robotem samodzielne przewidzenie, czy dane działanie doprowadzi do zawalenia się ładunku lub upuszczenia przedmiotu, a zebranie danych treningowych dla każdego możliwego przedmiotu jest niepraktyczne. NTT planuje przeprowadzić z firmą Mujin, Inc. próby obsługi bagażu w warunkach rzeczywistych.

Jak model ocenia możliwe działania

Technologia współpracuje z istniejącym oprogramowaniem do sterowania robotami, dodając etap przewidywania i oceny przed rozpoczęciem ruchu. Możliwe działania mogą pochodzić z modelu łączącego wizję, język i działanie, który przekształca obraz z kamery i instrukcje słowne w działania robota, albo z planera ruchu, który oblicza ustawienia sterowania potrzebne do osiągnięcia celu zadania. Dla każdej opcji model generuje przewidywane nagranie wideo i ocenia ryzyko kolizji, upuszczenia przedmiotów oraz zawalenia się ładunku. Następnie przyznaje wynik, na podstawie którego program sterujący może wybrać działanie ocenione jako prawdopodobnie skuteczne.

Według NTT konwencjonalne modele świata nie przedstawiają wprost fizycznych właściwości obiektów, co może prowadzić do znikania obiektów lub ich nieprawdopodobnych deformacji w generowanych nagraniach wideo, a także do niedokładnego przewidywania kolizji. Ponieważ modele te zależą również od dużych zbiorów danych treningowych, częściej zawodzą w sytuacjach, których te dane nie obejmują.

Adapter sterowania opartego na fizyce opracowany przez NTT szacuje na podstawie nagrania wideo właściwości każdego obiektu, w tym jego położenie, orientację, prędkość i masę, stosuje prawa fizyki do obliczenia dalszego ruchu, a następnie przekazuje te obliczenia do modelu generującego wideo. Według NTT takie jawne przedstawienie właściwości pozwala uwzględniać sytuacje i ruchy nieobecne w danych treningowych. Model podaje również wielkości fizyczne leżące u podstaw przewidywania, dzięki czemu łatwiej zrozumieć, na jakiej podstawie powstał wygenerowany wynik.

Wyniki testów porównawczych i plany rozwoju

NTT oceniła również dokładność przewidywania przyszłych klatek wideo w publicznym teście porównawczym OBJ3D, obejmującym klatki wideo przedstawiające zderzenia obiektów syntetycznych. NTT informuje, że jej model uzyskał lepsze wyniki niż konwencjonalne metody w metryce Learned Perceptual Image Patch Similarity (LPIPS), która porównuje przewidywane nagranie wideo z obrazem referencyjnym w sposób zbliżony do ludzkiej percepcji; niższe wartości oznaczają większe podobieństwo.

Poza obsługą bagażu i paczek NTT planuje rozwijać zastosowania w logistyce, magazynowaniu, produkcji, budownictwie i handlu detalicznym oraz rozważy współpracę z dostawcami usług robotycznych, a także z firmami logistycznymi i magazynowymi. Ograniczenie zapotrzebowania na pracę ludzką i poprawa wydajności to cele tego rozwoju, a nie rezultaty potwierdzone w opisanym teście.

Technologia ma zostać zaprezentowana podczas NTT R&D Forum 2026, wydarzenia dostępnego wyłącznie na zaproszenie, które odbędzie się w dniach 18–20 listopada 2026 r. oraz 24–25 listopada 2026 r. Wśród prelegentów seminarium zaplanowanego na 25 listopada 2026 r. i poświęconego robotyce AI oraz modelowi świata uwzględniającemu prawa fizyki wymieniono Isamu Arase, dyrektora generalnego Mujin Japan, oraz Jun Shimamurę, głównego inżyniera ds. badań w NTT.

Ogłoszone przez NTT wyniki dotyczą zadania wykonywanego przez małego robota oraz syntetycznych nagrań wideo przedstawiających zderzenia. Planowane próby z firmą Mujin sprawdzą, czy opisana poprawa wyników załadunku półki przekłada się na obsługę bagażu na lotniskach, gdzie weryfikacja przed wykonaniem działania musi uwzględniać zróżnicowanie fizyczne, które skłoniło do opracowania modelu.