NVIDIA détaille la collaboration avec Skild AI à l’origine du modèle de base robotique S1

Le 10 septembre 2026, NVIDIA a détaillé comment Skild AI a construit son modèle de base robotique S1 sur l’infrastructure IA de NVIDIA, et a indiqué que l’entreprise de robotique avait atteint un taux de revenu annuel de 100 millions de dollars dix mois après son premier déploiement commercial.

Dans l’article du blog NVIDIA, la société a déclaré que Skild avait construit S1 et mené les recherches sous‑jacentes sur son infrastructure dans le cadre d’une collaboration plus large couvrant la génération de données synthétiques, l’entraînement de modèles, la simulation et le déploiement d’IA physique dans le monde réel. « Apprendre par l’expérience, et non par la préprogrammation, constitue le changement de paradigme qui s’est produit en robotique », a déclaré Deepak Pathak, cofondateur et PDG de Skild AI, ajoutant que NVIDIA Isaac Lab et NVIDIA Cosmos aident Skild à créer l’expérience évolutive et diversifiée dont ses robots ont besoin pour apprendre à travers de nombreux scénarios et incarnations. Les deux sociétés ont indiqué qu’elles travaillaient à transférer l’intelligence robotique adaptable du laboratoire aux usines et à d’autres environnements opérationnels dynamiques.

Apprendre des tâches inédites à partir d’une vidéo

Skild a présenté S1 dans un article de recherche du 18 août 2026, le décrivant comme un modèle de base robotique construit de zéro comme apprenant en contexte. Le modèle prend en entrée une démonstration vidéo d’une tâche et l’exécute sans mettre à jour ses poids ni subir d’entraînement post‑tâche. Skild décrit S1 comme le premier modèle de base en robotique à montrer un apprentissage en contexte sur des tâches à horizon long, d’une durée allant jusqu’à 10 minutes, qui n’avaient jamais été vues lors du pré‑entraînement.

Un opérateur enregistre une vidéo de la tâche souhaitée et la fournit au modèle comme invite. Le modèle interprète l’intention démontrée, les objets et la séquence, puis les traduit en actions pour le robot devant lui, sans aucun ré‑entraînement, et souvent pour une tâche non couverte par son jeu de données de pré‑entraînement. Selon les deux entreprises, S1 peut exécuter des tâches inconnues telles que le rempotage de plantes, la préparation de crêpes, le café filtre à versement et l’assemblage de kits, un travail qui comporte des dizaines d’étapes de manipulation et nécessite de composer des compétences en séquences que le modèle n’a jamais exécutées auparavant.

Dans un test de rempotage consigné dans l’article de recherche de Skild, le sol, un pot, un arrosoir et une plante sont arrivés au bureau à 8:54 PM, l’enregistrement a commencé à 9:16 PM, une démonstration vidéo humaine égocentrique a été enregistrée à 9:22 PM, et S1 a commencé à exécuter la tâche de façon autonome sur le matériel à 9:27 PM. Skild indique que le délai entre la démonstration et l’exécution autonome était de 11 minutes.

Skild rapporte que S1 peut s’ajuster lorsque des objets sont déplacés en cours de tâche, se remettre d’erreurs et substituer des objets d’affordance correspondante, au point d’utiliser une tasse d’eau lorsqu’une démonstration montrait un arrosoir. La société signale également que le modèle améliore parfois des démonstrations imparfaites, considérant la démonstration comme une spécification de l’objectif plutôt que comme une trajectoire à reproduire.

Résultats rapportés contre les politiques guidées par le langage

Le post de NVIDIA indique que, dans les tests de Skild sur de nouvelles tâches à multiples étapes, S1 a réussi environ 66 % du temps à chaque étape, contre 9 % pour un système IA similaire, un écart que NVIDIA a qualifié d’amélioration de plus de sept fois. L’article de recherche de Skild décrit la comparaison comme une étude contrôlée contre une politique VLA guidée par le langage, qui reçoit sa spécification de tâche en langage plutôt que par démonstration. Les deux politiques ont été entraînées sur des données, des architectures et des capacités de calcul identiques à travers des jeux de données de pré‑entraînement allant de 1 000 à 100 000 heures, et les chiffres de 66 % et 9 % ont été enregistrés à 100 000 heures sur des tâches à horizon long jamais vues, selon Skild.

Sur les tâches vues pendant le pré‑entraînement, Skild rapporte que l’apprentissage en contexte a atteint 96 % de succès à la plus grande échelle, tandis qu’à 1 000 heures la politique conditionnée par le langage a obtenu 53 % contre 43 % pour l’apprentissage en contexte. Skild a également évalué la robustesse sur cinq niveaux de décalage de distribution, signalant que dans la condition la plus sévère, où la moitié des actions du robot doit être exécutée avec le bras opposé, la politique guidée par le langage s’est détériorée jusqu’à trois fois plus que la politique en contexte.

Concernant l’efficacité de la démonstration, Skild estime qu’une seule vidéo en contexte équivaut à environ 380 épisodes post‑entraînement, un chiffre qu’il indique avoir été interpolé entre des points mesurés, et rapporte que la collecte de 380 démonstrations à horizon long a nécessité de 50 à 100 heures de téléopération. La ligne de base post‑entraînée a finalement atteint 86 % de succès avec 2 000 démonstrations, selon Skild.

Traction commerciale et déploiement chez Foxconn

Le post de NVIDIA indique que Skild a établi plus de 60 partenariats de déploiement, couvrant la fabrication, la logistique, l’inspection, la sécurité, la préparation alimentaire et d’autres applications.

Sur le plan de production, Skild, NVIDIA et Foxconn déploient le Skild Brain sur des manipulateurs à deux bras pour l’assemblage de haute précision des systèmes NVIDIA Blackwell. Dans un flux de travail démontré, un robot installe une barre omnibus et un bloc de limitation, fixe 16 vis et s’adapte aux perturbations tout au long de la tâche à multiples étapes. Le post de NVIDIA indique que le travail nécessite un mouvement précis, un contrôle conscient du contact, un suivi de séquence et une récupération lorsque la scène diffère du plan.

Skild a annoncé pour la première fois le plan de ligne de production Blackwell dans un article du 19 mars 2026 qui a également révélé des partenariats avec ABB Robotics, Universal Robots et Mobile Industrial Robots. Dans cette annonce, Skild a décrit la séquence d’assemblage comme une tâche réelle effectuée par des humains sur une ligne Foxconn, se terminant par le retrait du bloc de limitation, et a indiqué que son cerveau avait été affiné avec une petite quantité de données robotisées pour ce flux de travail.

La pile NVIDIA derrière S1

Selon NVIDIA, ses modèles de base à monde ouvert Cosmos aident Skild à diversifier les données d’entraînement et à transformer la vidéo en descriptions structurées, tandis que Cosmos Curator aide à annoter, filtrer et organiser les données à grande échelle. Les bibliothèques NVIDIA Omniverse et le cadre Isaac Sim offrent des environnements virtuels basés sur la physique pour générer des données, tester des cas limites et valider des comportements avant le déploiement dans le monde réel.

Skild utilise l’apprentissage par renforcement dans Isaac Lab, un cadre d’apprentissage robotique modulaire ouvert alimenté par le moteur physique Newton, pour modéliser des paramètres physiques tels que les forces, le contact, les collisions et la pression et réduire l’écart simulation‑réalité. À mesure que les modèles se dirigent vers la production, les outils NVIDIA Nsight aident les ingénieurs à identifier les goulets d’étranglement de performance pendant l’entraînement, et le kit de développement logiciel TensorRT optimise l’inférence afin que les robots puissent répondre rapidement dans le monde physique.

Skild et NVIDIA développent également conjointement des solveurs de simulation accélérés par GPU qui modélisent la façon dont les robots touchent, saisissent et manipulent physiquement des objets solides. Les entreprises ont déclaré que les solveurs seront bientôt mis à disposition de tous les développeurs dans le cadre de Newton.