Le modèle du monde physique de NTT évalue les actions des robots avant leur exécution

Le 11 novembre 2026, NTT, Inc. a annoncé un modèle du monde fondé sur la physique qui évalue les actions possibles des robots avant leur exécution afin de réduire les échecs, comme les objets qui tombent ou les charges qui s’effondrent. Selon l’entreprise, cette technologie a fait passer le taux de réussite d’une tâche de chargement d’étagère par un petit robot de 73,1 % à 92,3 %.

La première application envisagée est le chargement et le déchargement automatisés des bagages dans les aéroports. Les différences de forme, de poids et de disposition des bagages compliquent la tâche des seuls systèmes de commande robotique conventionnels, qui doivent déterminer à l’avance si une action risque de faire s’effondrer une charge ou de faire tomber un objet. En outre, il n’est pas réaliste de recueillir des données d’entraînement pour chaque objet possible. NTT prévoit des essais sur le terrain avec Mujin, Inc. pour la manutention des bagages.

Comment le modèle évalue les actions possibles

Cette technologie fonctionne avec les logiciels de commande robotique existants et ajoute une étape de prédiction et d’évaluation avant le mouvement. Les actions possibles peuvent être proposées par un modèle vision-langage-action, qui convertit les images de la caméra et les instructions en langage naturel en actions pour le robot, ou par un planificateur de mouvement, qui calcule les commandes nécessaires pour atteindre un objectif. Pour chaque option, le système génère une vidéo prédictive et évalue les risques de collision, de chute d’objet et d’effondrement de la charge. Il produit ensuite un score qui permet au programme de commande de choisir l’action jugée la plus susceptible de réussir.

Selon NTT, les modèles du monde conventionnels ne représentent pas explicitement les grandeurs physiques des objets. Les vidéos générées peuvent donc montrer des objets qui disparaissent ou se déforment de façon invraisemblable, et les prédictions de collision peuvent manquer de précision. Comme ces modèles dépendent également de vastes jeux de données d’entraînement, les échecs sont plus probables dans des situations absentes de ces données.

L’adaptateur de commande physique de NTT estime, à partir d’une vidéo, des propriétés telles que la position, l’orientation, la vitesse et la masse de chaque objet. Il applique ensuite les lois physiques pour calculer les mouvements ultérieurs et transmet ces calculs au modèle de génération vidéo. Selon NTT, cette représentation explicite permet de traiter des situations et des mouvements absents des données d’entraînement. Le modèle fournit également les grandeurs physiques à l’origine d’une prédiction, ce qui aide à comprendre les fondements du résultat généré.

Résultats de référence et projets d’expansion

NTT a également évalué la précision des prédictions vidéo sur le banc d’essai OBJ3D public, qui contient des séquences d’images d’objets synthétiques entrant en collision. NTT indique que son modèle a surpassé les méthodes conventionnelles selon la métrique Learned Perceptual Image Patch Similarity (LPIPS), qui compare la vidéo prédite à la réalité de référence d’une manière conforme à la perception humaine. Des valeurs plus faibles indiquent une plus grande similarité.

Au-delà de la manutention des bagages et des colis, NTT prévoit d’explorer des applications dans la logistique, l’entreposage, la fabrication, la construction et le commerce de détail. L’entreprise envisagera également de collaborer avec des fournisseurs de services robotiques ainsi qu’avec des entreprises de logistique et d’entreposage. La réduction des besoins en main-d’œuvre et l’amélioration de la productivité sont des objectifs de cette expansion, et non des résultats établis par l’essai rapporté.

La technologie doit être présentée au Forum R&D 2026 de NTT, un événement sur invitation qui se tiendra du 18 au 20 novembre 2026, puis les 24 et 25 novembre 2026. Un séminaire consacré à la robotique fondée sur l’IA et au modèle du monde tenant compte de la physique, prévu le 25 novembre 2026, annonce parmi ses intervenants Isamu Arase, PDG de Mujin Japan, et Jun Shimamura, ingénieur principal en recherche chez NTT.

Les résultats annoncés par NTT portent sur une tâche réalisée par un petit robot et sur des vidéos synthétiques de collisions. Les essais prévus avec Mujin permettront de vérifier si l’amélioration rapportée pour le chargement d’étagères se retrouve dans la manutention des bagages dans les aéroports, où l’évaluation préalable à l’exécution doit tenir compte des variations physiques qui ont motivé la mise au point du modèle.