NVIDIA Cosmos : optimiser l'IA physique grâce aux simulations

Le développement de systèmes d'IA physiques, tels que les robots en usine et les véhicules autonomes dans la rue, repose largement sur des ensembles de données volumineux et de haute qualité pour leur formation. Cependant, la collecte de données réelles est coûteuse, chronophage et souvent limitée à quelques grandes entreprises technologiques. Cosmos de NVIDIA La plateforme Cosmos relève ce défi en utilisant des simulations physiques avancées pour générer des données synthétiques réalistes à grande échelle. Cela permet aux ingénieurs d'entraîner des modèles d'IA sans les coûts et les délais associés à la collecte de données réelles. Cet article explique comment Cosmos améliore l'accès aux données d'entraînement essentielles et accélère le développement d'une IA sûre et fiable pour des applications concrètes.

Comprendre l'IA physique

IA physique Désigne les systèmes d'intelligence artificielle capables de percevoir, de comprendre et d'agir dans le monde physique. Contrairement à l'IA traditionnelle, qui peut analyser du texte ou des images, l'IA physique doit gérer des complexités du monde réel telles que les relations spatiales, les forces physiques et les environnements dynamiques. Par exemple, une voiture autonome doit reconnaître les piétons, prédire leurs mouvements et ajuster sa trajectoire en temps réel, tout en tenant compte de facteurs tels que la météo et l'état des routes. De même, un robot dans un entrepôt doit franchir des obstacles et manipuler des objets avec précision.

Développer une IA physique est complexe, car cela nécessite de vastes quantités de données pour entraîner des modèles dans divers scénarios réels. La collecte de ces données, qu'il s'agisse d'heures de vidéo de conduite ou de démonstrations de tâches robotiques, peut être longue et coûteuse. De plus, tester l'IA en situation réelle peut être risqué, car des erreurs peuvent entraîner des accidents. NVIDIA Cosmos relève ces défis en utilisant des simulations basées sur la physique pour générer des données synthétiques réalistes. Cette approche simplifie et accélère le développement de systèmes d'IA physique.

Que sont les modèles de fondations mondiales ?

Au cœur de NVIDIA Cosmos est une collection de modèles d'IA appelée monde modèles de fondation (WFM)Ces modèles d'IA sont spécifiquement conçus pour simuler des environnements virtuels reproduisant fidèlement le monde physique. En générant des vidéos ou des scénarios basés sur la physique, les WFM simulent l'interaction des objets en fonction des relations spatiales et des lois physiques. Par exemple, un WFM pourrait simuler une voiture roulant sous une pluie torrentielle, montrant l'impact de l'eau sur la traction ou la réflexion des phares sur les surfaces mouillées.

Les WFM sont essentiels à l'IA physique, car ils offrent un espace sûr et contrôlable pour entraîner et tester les systèmes d'IA. Au lieu de collecter des données réelles, les développeurs peuvent utiliser les WFM pour générer des données synthétiques, c'est-à-dire des simulations réalistes d'environnements et d'interactions. Cette approche réduit non seulement les coûts, mais accélère également le processus de développement et permet de tester des scénarios complexes et rares (comme des situations de circulation inhabituelles) sans les risques associés aux tests en conditions réelles. Les WFM sont des modèles polyvalents qui peuvent être affinés pour des applications spécifiques, de la même manière que les grands modèles linguistiques sont adaptés à des tâches comme la traduction ou les chatbots.

Dévoilement de NVIDIA Cosmos

NVIDIA Cosmos est une plateforme conçue pour permettre aux développeurs de créer et de personnaliser des WFM pour des applications d'IA physique, notamment dans les véhicules autonomes (VA) et la robotique. Cosmos intègre des modèles génératifs avancés, des outils de traitement de données et des fonctionnalités de sécurité pour développer des systèmes d'IA interagissant avec le monde physique. La plateforme est open source, avec des modèles disponibles sous licences permissives.

Les principaux composants de la plateforme comprennent :

• Modèles Génératifs de Fondation du Monde (WFM) : Modèles pré-entraînés qui simulent des environnements physiques et des interactions.
• Tokenizers avancés : Des outils qui compressent et traitent efficacement les données pour une formation plus rapide des modèles.
• Pipeline de traitement accéléré des données : Un système de gestion de grands ensembles de données, alimenté par l'infrastructure informatique de NVIDIA.

L'une des principales nouveautés de Cosmos réside dans son modèle de raisonnement pour l'IA physique. Ce modèle permet aux développeurs de créer et de modifier des mondes virtuels. Ils peuvent ainsi adapter les simulations à des besoins spécifiques, comme tester la capacité d'un robot à saisir des objets ou évaluer la réaction d'un véhicule autonome face à un obstacle soudain.

Principales caractéristiques de NVIDIA Cosmos

NVIDIA Cosmos fournit divers composants pour répondre à des défis spécifiques dans le développement de l'IA physique :

• WFM de Cosmos Transfer : Ces modèles utilisent des entrées vidéo structurées, telles que des cartes de segmentation, des cartes de profondeur ou des scans lidar, et génèrent des sorties vidéo photoréalistes et contrôlables. Cette fonctionnalité est particulièrement utile pour créer des données synthétiques afin d'entraîner l'IA perceptive, comme les systèmes qui aident les véhicules autonomes à identifier des objets ou les robots à reconnaître leur environnement.
• Cosmos Predict WFMs : Les modèles Cosmos Predict génèrent des états de monde virtuel à partir d'entrées multimodales, notamment du texte, des images et des vidéos. Ils peuvent prédire des scénarios futurs, comme l'évolution d'une scène, et prennent en charge la génération multi-images pour des séquences complexes. Les développeurs peuvent personnaliser ces modèles grâce aux données d'IA physique de NVIDIA pour répondre à leurs besoins spécifiques, comme la prédiction des mouvements de piétons ou des actions robotiques.
• Cosmos Reason WFM : Le modèle Cosmos Reason est un WFM entièrement personnalisable doté d'une conscience spatiotemporelle. Sa capacité de raisonnement lui permet de comprendre les relations spatiales et leur évolution dans le temps. Il utilise le raisonnement par chaîne de pensée pour analyser les données vidéo et prédire des résultats, par exemple si une personne va traverser un passage piéton ou si une boîte va tomber d'une étagère.

Applications et cas d'utilisation

NVIDIA Cosmos a déjà un impact significatif sur le secteur, plusieurs entreprises leaders ayant adopté la plateforme pour leurs projets d'IA physique. Ces premiers utilisateurs soulignent la polyvalence et l'impact pratique de Cosmos dans divers secteurs :

• 1X:Utiliser Cosmos pour la robotique avancée afin d'améliorer leur capacité à développer des robots pilotés par l'IA.
• Robotique d'agilité:Élargissement de leur partenariat avec NVIDIA pour utiliser Cosmos pour les systèmes robotiques humanoïdes.
• Figure IA:Utiliser Cosmos pour faire progresser la robotique humanoïde, en se concentrant sur l'IA capable d'effectuer des tâches complexes.
• Prétellix:Application de Cosmos dans la simulation de véhicules autonomes pour générer une large gamme de scénarios de test.
• Compétence IA:Utiliser Cosmos pour développer des solutions basées sur l'IA pour diverses applications.
• Uber:Intégration de Cosmos dans le développement de leurs véhicules autonomes pour améliorer les données de formation des systèmes de conduite autonome.
• Oxa:Utiliser Cosmos pour accélérer l'automatisation de la mobilité industrielle.
• Incision Virtuelle:Explorer Cosmos pour la robotique chirurgicale afin d'améliorer la précision des soins de santé.

Ces cas d’utilisation démontrent comment Cosmos peut répondre à un large éventail de besoins, du transport aux soins de santé, en fournissant des données synthétiques pour la formation de ces systèmes d’IA physiques.

Implications futures

Le lancement de NVIDIA Cosmos est crucial pour le développement de systèmes d'IA physique. En proposant une plateforme open source dotée d'outils et de modèles performants, NVIDIA rend le développement de l'IA physique accessible à un plus large éventail de développeurs et d'organisations. Cela pourrait conduire à des avancées significatives dans plusieurs domaines.

Dans le domaine des transports autonomes, l'amélioration des données d'entraînement et des simulations pourrait conduire à des voitures autonomes plus sûres et plus fiables. En robotique, le développement accéléré de robots capables d'effectuer des tâches complexes pourrait transformer des secteurs tels que la fabrication, la logistique et la santé. Dans ce domaine, des technologies comme la robotique chirurgicale, explorée par Virtual Incision, pourraient améliorer la précision et les résultats des interventions médicales.

En résumé

NVIDIA Cosmos joue un rôle essentiel dans le développement de l'IA physique. Cette plateforme permet aux développeurs de générer des données synthétiques de haute qualité en fournissant des modèles de base du monde (WFM) pré-entraînés et basés sur la physique pour créer des simulations réalistes. Grâce à son accès open source, ses fonctionnalités avancées et ses garanties éthiques, Cosmos permet un développement de l'IA plus rapide et plus efficace. La plateforme est déjà à l'origine d'avancées majeures dans des secteurs comme les transports, la robotique et la santé, en fournissant des données synthétiques pour la construction de systèmes intelligents interagissant avec le monde physique.