mimic robotics présente FLUX-mimic pour apporter des modèles d’action vidéo sur le plan de production d’Audi

mimic robotics a présenté FLUX-mimic, un nouveau modèle d’action vidéo conçu pour aider les robots industriels à apprendre des tâches de manipulation complexes à partir de quantités nettement plus petites de données de démonstration.

Conçu en collaboration avec la société de vision par ordinateur Black Forest Labs, le système est déjà testé et déployé avec Audi sur des tâches de fabrication qui ont historiquement été difficiles à automatiser, notamment les travaux impliquant des matériaux flexibles, des configurations de pièces changeantes et des manipulations précises.

L’annonce indique un changement potentiel dans l’intelligence artificielle physique. Au lieu de s’appuyer principalement sur de grandes collections de démonstrations de robots, FLUX-mimic tente de transférer les connaissances déjà apprises par un modèle de vidéo génératif dans un système capable de contrôler des machines physiques.

Une nouvelle approche de l’apprentissage des robots

De nombreux systèmes de robotique polyvalents d’aujourd’hui sont basés sur des modèles de vision-langage-action, communément appelés VLA. Ces systèmes combinent généralement un modèle formé sur des images et du langage avec un composant supplémentaire qui prédit les mouvements que le robot devrait effectuer.

Cette approche donne aux robots une certaine compréhension sémantique, telle que la reconnaissance d’un objet ou l’interprétation d’une instruction écrite. Cependant, les images statiques ne capturent pas pleinement la façon dont les objets se plient, se déplacent, entrent en collision ou réagissent au contact physique.

Les connaissances manquantes doivent donc être apprises à partir de démonstrations de robots, ce qui peut être coûteux et chronophage à collecter. Chaque démonstration nécessite un robot physique, un opérateur, un espace de travail approprié et des données d’action soigneusement enregistrées.

FLUX-mimic prend une autre voie. Il utilise les représentations visuelles produites par le modèle FLUX 3 de Black Forest Labs comme base pour prédire comment une tâche devrait se dérouler dans le temps. Black Forest Labs décrit FLUX 3 comme un modèle multimodal capable de générer des images, des vidéos, de l’audio et des actions, plutôt que d’un système limité à la génération d’images statiques.

Un décodeur d’action traduit ensuite la prédiction visuelle du modèle en commandes que le robot peut exécuter. Dans les faits, le système estime d’abord à quoi ressemblerait la réussite d’une tâche et détermine ensuite quels mouvements physiques sont nécessaires pour produire ce résultat.

Construction sur l’architecture mimic-video

FLUX-mimic s’appuie sur mimic-video, la recherche antérieure de l’entreprise sur l’utilisation de modèles de vidéo préformés comme base pour le contrôle robotique.

Au lieu de demander à un modèle de vision-langage conventionnel de déduire le mouvement à partir de cadres individuels, mimic-video crée un plan visuel latent représentant la façon dont la tâche peut se développer. Un décodeur d’action distinct utilise cette représentation interne pour générer des mouvements de robot.

Dans son article de recherche, l’entreprise a rapporté que mimic-video avait atteint environ dix fois plus d’efficacité d’échantillonnage et deux fois la vitesse de convergence de l’entraînement par rapport à une architecture VLA comparable dans ses évaluations. Le système réel a été formé en utilisant environ 500 trajectoires à partir d’un ensemble de robots à deux mains habiles.

FLUX-mimic étend ce concept en utilisant l’architecture derrière FLUX 3 et une conception spécifiquement conçue pour l’intelligence artificielle physique.

Selon mimic robotics, les tâches qui auraient précédemment nécessité 30 heures ou plus de démonstrations de robots peuvent atteindre des performances prêtes à la production avec seulement 30 minutes de données. Ce chiffre représente les résultats rapportés par l’entreprise et devra finalement être évalué dans un large éventail d’usines, de configurations matérielles et de conditions de production.

Même ainsi, la réduction de la quantité de données requise à ce degré pourrait matériellement changer l’économie de la robotique industrielle. Les coûts de déploiement s’étendent souvent bien au-delà du robot lui-même, avec des ressources considérables consacrées à la programmation, à l’intégration, à la simulation, aux tests et à la réingénierie chaque fois qu’un produit ou un processus change.

Audi fournit un test industriel exigeant

Audi travaille avec mimic robotics pour évaluer FLUX-mimic dans des environnements de fabrication réels, où les systèmes d’automatisation doivent faire face à des variations de produits, à des exigences de production serrées et à des tâches qui ne peuvent pas toujours être réduites à des mouvements répétitifs.

Le constructeur automobile indique que les robots ont effectué des travaux de manipulation de corps souples complexes qui auraient été extrêmement difficiles à aborder avec la robotique conventionnelle. Les matériaux souples sont particulièrement difficiles car leur forme change pendant la manipulation, ce qui rend difficile la définition de chaque mouvement à l’aide de coordonnées fixes ou de règles.

La recherche plus large d’Audi en matière d’automatisation illustre pourquoi l’adaptabilité devient de plus en plus importante. Dans son usine de Böllinger Höfe, l’entreprise a testé l’intelligence artificielle, les robots mobiles, la vision par ordinateur et de nouvelles technologies de prélèvement dans un laboratoire du monde réel. Audi a noté que le niveau élevé de personnalisation des véhicules tels que l’e-tron GT crée des processus logistiques complexes impliquant un grand nombre de pièces différentes.

Les robots industriels traditionnels restent très efficaces lorsqu’un environnement est structuré et que chaque objet arrive à une position prévisible. Ils deviennent moins rentables lorsqu’il y a suffisamment de changements dans les pièces, les matériaux ou les variantes de produits pour nécessiter un travail d’ingénierie répété.

Les systèmes basés sur l’apprentissage pourraient rendre ces processus à faible volume et à forte variation plus rentables pour l’automatisation. Au lieu d’écrire un nouveau programme pour chaque tâche, les fabricants pourraient démontrer le comportement souhaité et laisser le système apprendre à le reproduire.

Combinaison de modèles, de matériel et de démonstrations humaines

Le modèle fait partie d’une plate-forme de robotique complète en cours de développement par mimic robotics.

L’entreprise construit son propre matériel de main robotique habile, son équipement de collecte de données portable, ses modèles d’apprentissage de robot et son infrastructure de déploiement. Son système portable est conçu pour enregistrer les mouvements de la main humaine dans un format qui peut être transféré plus directement aux mains robotiques de l’entreprise.

Cette attention portée aux mains plutôt qu’aux robots humanoïdes complets reflète une approche plus ciblée de l’automatisation industrielle. Les mains habiles peuvent être attachées à des bras robotiques conventionnels déjà utilisés dans les usines, réduisant ainsi le besoin d’introduire un nouveau format de robot. L’ETH Zurich décrit cette approche comme combinant la manipulation humaine avec le matériel industriel établi pour répondre à des tâches qui nécessitent de l’adaptabilité et de l’auto-correction.

Fondée en tant que spin-off de l’ETH Zurich en 2024, mimic robotics est passé à plus de 50 employés à Zurich et San Francisco. Son équipe s’étend sur la recherche de modèles, la robotique, le développement de matériel, les opérations de données et le déploiement industriel.

Les implications plus larges pour l’automatisation de l’usine

La signification de FLUX-mimic dépendra moins de démonstrations isolées que de la capacité de la technologie à maintenir des taux de réussite élevés sur des milliers de cycles de production.

Les usines nécessitent des performances cohérentes, des temps de cycle prévisibles, un fonctionnement sécuritaire autour des employés, une récupération rapide des erreurs et une intégration avec les systèmes de fabrication existants. Un modèle qui apprend rapidement mais se comporte de manière imprévisible offrirait peu d’avantages par rapport à l’automatisation conventionnelle.

Cependant, si les modèles d’action vidéo peuvent conserver leur efficacité de données rapportée tout en répondant aux exigences de fiabilité industrielles, ils pourraient élargir la robotique à des catégories de travail qui sont restées manuelles parce qu’elles étaient trop variables ou coûteuses pour être programmées.

Cela pourrait inclure l’assemblage de composants flexibles, la manipulation de stocks mélangés, le tri d’objets irréguliers, l’emballage de produits qui changent fréquemment et le soutien aux travailleurs dans des processus physiquement exigeants.

L’opportunité à long terme n’est pas simplement une main robotique plus capable. C’est un modèle de déploiement différent dans lequel les fabricants enseignent aux machines par démonstration plutôt que de spécifier chaque mouvement à l’avance.

L’implication d’Audi donne à FLUX-mimic l’opportunité de prouver que cette approche peut aller au-delà des environnements de recherche contrôlés. Le succès sur un plan de production automobile offrirait un indicateur important que les modèles de vidéo génératifs peuvent devenir plus que des outils pour créer des médias numériques, servant plutôt comme partie de la couche d’intelligence qui contrôle les machines dans le monde physique.