NVIDIA Cosmos : permettant l’IA physique avec des simulations

Le développement de systèmes d’IA physiques, tels que des robots sur les chaînes de production et des véhicules autonomes sur les routes, repose fortement sur de grands ensembles de données de haute qualité pour la formation. Cependant, la collecte de données du monde réel est coûteuse, chronophage et souvent limitée à quelques grandes entreprises technologiques. La plateforme NVIDIA’s Cosmos (NVDA ) répond à ce défi en utilisant des simulations physiques avancées pour générer des données synthétiques réalistes à grande échelle. Cela permet aux ingénieurs de former des modèles d’IA sans les coûts et les retards associés à la collecte de données du monde réel. Cet article discute de la manière dont Cosmos améliore l’accès aux données de formation essentielles et accélère le développement d’IA sûre et fiable pour les applications du monde réel.

Comprendre l’IA physique

L’IA physique fait référence à des systèmes d’intelligence artificielle capables de percevoir, de comprendre et d’agir dans le monde physique. Contrairement à l’IA traditionnelle, qui pourrait analyser du texte ou des images, l’IA physique doit faire face à des complexités du monde réel comme les relations spatiales, les forces physiques et les environnements dynamiques. Par exemple, une voiture autonome doit reconnaître les piétons, prédire leurs mouvements et ajuster son trajet en temps réel, en tenant compte de facteurs tels que les conditions météorologiques et les conditions de la route. De même, un robot dans un entrepôt doit naviguer dans les obstacles et manipuler des objets avec précision.

Le développement de l’IA physique est difficile car il nécessite de grandes quantités de données pour former des modèles sur des scénarios du monde réel divers. La collecte de ces données, qu’il s’agisse d’heures de vidéos de conduite ou de démonstrations de tâches robotiques, peut être chronophage et coûteuse. De plus, tester l’IA dans le monde réel peut être risqué, car les erreurs pourraient entraîner des accidents. NVIDIA Cosmos répond à ces défis en utilisant des simulations physiques pour générer des données synthétiques réalistes. Cette approche simplifie et accélère le développement de systèmes d’IA physiques.

Qu’est-ce que les modèles de fondation du monde ?

Au cœur de NVIDIA Cosmos se trouve une collection de modèles d’IA appelés modèles de fondation du monde (WFMs). Ces modèles d’IA sont spécifiquement conçus pour simuler des environnements virtuels qui imitent étroitement le monde physique. En générant des vidéos ou des scénarios physiquement conscients, les WFMs simulent la manière dont les objets interagissent en fonction des relations spatiales et des lois physiques. Par exemple, un WFM pourrait simuler une voiture qui roule dans une tempête de pluie, montrant comment l’eau affecte l’adhérence ou comment les phares réfléchissent sur les surfaces mouillées.

Les WFMs sont essentiels pour l’IA physique car ils fournissent un espace sûr et contrôlable pour former et tester des systèmes d’IA. Au lieu de collecter des données du monde réel, les développeurs peuvent utiliser les WFMs pour générer des données synthétiques – des simulations réalistes d’environnements et d’interactions. Cette approche ne réduit pas seulement les coûts, mais accélère également le processus de développement et permet de tester des scénarios complexes et rares (tels que des situations de circulation inhabituelles) sans les risques associés aux tests dans le monde réel. Les WFMs sont des modèles polyvalents qui peuvent être affinés pour des applications spécifiques, similaires à la façon dont les grands modèles de langage sont adaptés pour des tâches telles que la traduction ou les chatbots.

Présentation de NVIDIA Cosmos

NVIDIA Cosmos est une plateforme conçue pour permettre aux développeurs de créer et de personnaliser des WFMs pour des applications d’IA physiques, en particulier dans les véhicules autonomes (VA) et la robotique. Cosmos intègre des modèles génératifs avancés, des outils de traitement de données et des fonctionnalités de sécurité pour développer des systèmes d’IA qui interagissent avec le monde physique. La plateforme est open source, avec des modèles disponibles sous des licences permissives.

Les composants clés de la plateforme incluent :

• Modèles de fondation du monde génératifs (WFMs) : Des modèles pré-formés qui simulent des environnements physiques et des interactions.
• Tokeniseurs avancés : Des outils qui compressent et traitent efficacement les données pour une formation de modèle plus rapide.
• Pipeline de traitement de données accélérée : Un système pour gérer de grands ensembles de données, alimenté par l’infrastructure de calcul d’NVIDIA.

Une nouveauté clé de Cosmos est son modèle de raisonnement pour l’IA physique. Ce modèle fournit aux développeurs la capacité de créer et de modifier des mondes virtuels. Ils peuvent personnaliser les simulations en fonction de leurs besoins spécifiques, tels que tester la capacité d’un robot à ramasser des objets ou évaluer la réponse d’un VA à un obstacle soudain.

Caractéristiques clés de NVIDIA Cosmos

NVIDIA Cosmos fournit divers composants pour répondre à des défis spécifiques dans le développement de l’IA physique :

• WFMs de transfert Cosmos : Ces modèles prennent des entrées vidéo structurées, telles que des cartes de segmentation, des cartes de profondeur ou des scans lidar, et génèrent des sorties vidéo photoréalistes contrôlables. Cette capacité est particulièrement utile pour créer des données synthétiques pour former la perception de l’IA, telle que les systèmes qui aident les VA à identifier les objets ou les robots à reconnaître leur environnement.
• WFMs de prédiction Cosmos : Les modèles de prédiction Cosmos génèrent des états de monde virtuel en fonction d’entrées multimodales, y compris le texte, les images et la vidéo. Ils peuvent prédire des scénarios futurs, tels que la façon dont une scène pourrait évoluer au fil du temps, et prendre en charge la génération de plusieurs cadres pour des séquences complexes. Les développeurs peuvent personnaliser ces modèles à l’aide du jeu de données d’IA physique d’NVIDIA pour répondre à leurs besoins spécifiques, tels que prédire les mouvements de piétons ou les actions de robots.
• WFM de raisonnement Cosmos : Le modèle de raisonnement Cosmos est un WFM entièrement personnalisable avec une conscience spatiotemporelle. Sa capacité de raisonnement lui permet de comprendre à la fois les relations spatiales et leur évolution dans le temps. Le modèle utilise un raisonnement en chaîne pour analyser les données vidéo et prédire les résultats, tels que savoir si une personne va traverser la rue ou si une boîte va tomber d’une étagère.

Applications et cas d’utilisation

NVIDIA Cosmos a déjà un impact significatif sur l’industrie, avec plusieurs entreprises leaders qui adoptent la plateforme pour leurs projets d’IA physique. Ces premiers adoptants mettent en évidence la polyvalence et l’impact pratique de Cosmos dans divers secteurs :

• 1X : Utilise Cosmos pour la robotique avancée afin d’améliorer sa capacité à développer des robots pilotés par l’IA.
• Agility Robotics : Élargit son partenariat avec NVIDIA pour utiliser Cosmos pour les systèmes robotiques humanoïdes.
• Figure AI : Utilise Cosmos pour faire progresser la robotique humanoïde, en se concentrant sur l’IA capable d’effectuer des tâches complexes.
• Foretellix : Applique Cosmos dans la simulation de véhicules autonomes pour générer un large éventail de scénarios de test.
• Skild AI : Utilise Cosmos pour développer des solutions pilotées par l’IA pour diverses applications.
• Uber : Intègre Cosmos dans le développement de véhicules autonomes pour améliorer les données de formation pour les systèmes de conduite autonome.
• Oxa : Utilise Cosmos pour accélérer l’automatisation de la mobilité industrielle.
• Virtual Incision : Explore Cosmos pour la robotique chirurgicale afin d’améliorer la précision dans les soins de santé.

Ces cas d’utilisation démontrent comment Cosmos peut répondre à un large éventail de besoins, de la transportation aux soins de santé, en fournissant des données synthétiques pour former ces systèmes d’IA physiques.

Implications futures

Le lancement de NVIDIA Cosmos est important pour le développement de systèmes d’IA physiques. En offrant une plateforme open source avec des outils et des modèles puissants, NVIDIA rend le développement de l’IA physique accessible à un plus grand nombre de développeurs et d’organisations. Cela pourrait conduire à des progrès importants dans plusieurs domaines.

Dans le transport autonome, des données de formation améliorées et des simulations pourraient conduire à des voitures autonomes plus sûres et plus fiables. Dans la robotique, le développement plus rapide de robots capables d’effectuer des tâches complexes pourrait transformer des industries telles que la fabrication, la logistique et les soins de santé. Dans les soins de santé, des technologies telles que la robotique chirurgicale, explorée par Virtual Incision, pourraient améliorer la précision et les résultats des procédures médicales.

En résumé

NVIDIA Cosmos joue un rôle vital dans le développement de l’IA physique. Cette plateforme permet aux développeurs de générer des données synthétiques de haute qualité en fournissant des modèles de fondation du monde pré-formés et physiquement conscients pour créer des simulations réalistes. Avec son accès open source, ses fonctionnalités avancées et ses garanties éthiques, Cosmos permet un développement d’IA plus rapide et plus efficace. La plateforme est déjà à l’origine de progrès importants dans des secteurs tels que le transport, la robotique et les soins de santé, en fournissant des données synthétiques pour construire des systèmes intelligents qui interagissent avec le monde physique.