Google lance Gemini Robotics ER 2 avec travail d’équipe multi-robot

Google a lancé Gemini Robotics ER 2, un modèle de raisonnement incarné conçu pour servir de planificateur de niveau élevé pour un robot, tandis qu’un autre modèle gère les moteurs. Il est disponible aux développeurs via l’API Gemini et Google AI Studio, avec un accès en version bêta privée sur la plate-forme d’agent d’entreprise Gemini.

ER 2 prend en entrée des vidéos, des images, de l’audio et du texte, raisonne sur la scène, planifie une tâche qui dure plusieurs minutes, puis appelle une autre fonction pour déplacer le matériel : un modèle de vision-langage-action, une API de navigation ou une fonction déclarée par le développeur au modèle en tant qu’outil. Il peut également appeler Google Recherche en cours de tâche. La fiche du modèle le décrit comme un modèle de vision-langage basé sur Gemini 3.5 Flash, avec une fenêtre de contexte de 128 000 jetons et jusqu’à 64 000 jetons de sortie.

Il succède à Gemini Robotics-ER 1.6, publié le 14 avril 2026, qui a ajouté la lecture d’instruments (interprétation d’un manomètre ou d’un verre de mesure chimique), une fonctionnalité que Google a développée avec Boston Dynamics pour les rondes d’inspection de sites. ER 2 étend cela aux affichages numériques, aux règles, aux échelles linéaires et aux thermomètres à liquide, testés sur 10 types d’instruments.

Ce que la vidéo continue ajoute

Le changement substantiel est que ER 2 raisonne sur un flux vidéo en direct plutôt que sur des images fixes, ce qui lui permet de juger quelque chose qui a limité discrètement l’autonomie des robots : savoir si une étape est terminée.

Deux capacités découlent de cela. La classification des progrès demande au modèle de classer chaque image d’un flux dans l’une des cinq bandes de réalisation, de 0-20 % à 80-100 % ; Google rapporte une précision de 57,4 %. La recherche de moment demande au modèle de localiser l’image exacte où se produit un événement critique, tel que le point où un verre est suffisamment plein pour arrêter de verser. L’entreprise rapporte une précision de 91,3 % pour cette tâche avec une erreur moyenne de 0,96 seconde, et indique que le modèle la fournit à une vitesse d’exécution environ quatre fois supérieure à celle de modèles beaucoup plus grands pour une fraction du calcul.

La synchronisation sous-seconde est la partie qui compte sur une machine réelle. Un robot qui peut dire qu’une étape est à 60 % terminée, ou a échoué purement et simplement, peut réessayer cette étape au lieu de redémarrer le flux de travail ou d’attendre un opérateur. ER 2 diffuse via le point de terminaison bidirectionnel de l’API Gemini Live, qui est la façon dont Google empêche la boucle de raisonnement d’insérer des pauses de réflexion entre les actions. Obtenir une latence d’inférence suffisamment basse pour le contrôle physique est la même contrainte qui pousse les fournisseurs de robots vers des puces dédiées sur le robot et des modèles en temps réel sur une seule GPU.

Deux robots, un travail

L’autre nouvelle capacité est la collaboration multi-robot : différents machines partageant une compréhension sémantique d’une tâche et se passant le travail entre elles, en raisonnant qu’une base à roues et une paire de jambes sont adaptées à différentes parties du même travail. La démonstration de DeepMind associe Apptronik’s Apollo 2 humanoïde avec une plate-forme bi-bras Franka Duo. Une deuxième démo a ER 2 en train de conduire les API de navigation et de manipulateur sur Spot de Boston Dynamics pour récupérer un objet sur commande vocale.

Tout cela fonctionne sur du matériel que Google ne construit pas, ce qui est la façon dont fonctionne la plupart de ce marché maintenant : le modèle vient d’un laboratoire de pointe et les bras, les jambes et les pinces viennent de partenaires, la même division derrière les fabricants de cobots qui courtisent les développeurs de modèles de fond et les piles d’intelligence incarnée de niveau plate-forme.

ER 2 est arrivé dans le cadre d’une famille de trois modèles. La publication de recherche complémentaire de l’équipe Gemini Robotics couvre Gemini Robotics 2, un modèle d’action qui contrôle des humanoïdes complets des pieds aux doigts, et Gemini Robotics On-Device 2, qui s’exécute localement et s’adapte à un nouveau robot bi-bras en quelques heures à partir de moins de 200 exemples. Les deux sont destinés à des partenaires en accès anticipé plutôt qu’à l’API ouverte.

L’équipe a également publié les taux de réussite derrière ce modèle d’action, qui a conduit trois corps de robot différents à partir d’un seul point de contrôle. Apollo 2 équipé de mains Inspire a récupéré des objets sur une étagère 76,3 % du temps, sur une table 68,4 % et sur le sol 45,7 %. Le travail à cinq doigts avec la main SharpaWave à 22 degrés de liberté est plus en retard : 92 % pour dévisser une ampoule, 36 % pour la visser, 44 % pour attacher un sac poubelle. DeepMind décrit la manipulation dextère à plusieurs doigts comme toujours difficile, ce qui constitue un marqueur utile pour quiconque évalue les capacités d’humanisation.

Limites de sécurité et premiers déploiements

Google rapporte des gains sur les benchmarks de suivi des instructions de sécurité et de proximité humaine, et indique que ER 2 arrête un humanoïde lorsqu’une personne s’approche, puis reprend de lui-même une fois la zone dégagée. DeepMind considère l’arrêt pour un humain à proximité comme une exigence clé en matière de normes de sécurité collaborative, et il s’agit d’une exigence généralement remplie par le matériel plutôt que par le modèle de planification : la conception d’Apollo 2 lui-même pause le mouvement lorsque l’objet entre dans son rayon d’impact défini.

DeepMind a également publié ASIMOV-Agentic, un benchmark pour savoir si un modèle de raisonnement se comporte de manière sûre en tant qu’orchestrateur : refusant les appels d’outils non sûrs du modèle d’action, jugeant si une tâche est physiquement réalisable et demandant de l’aide à un humain lorsqu’il est incertain.

La fiche du modèle dessine une limite de déploiement ferme. Google indique aux développeurs de ne pas utiliser les modèles de robotique pour des travaux critiques en matière de sécurité, en nommant les soins de santé et le transport, ou partout où une défaillance pourrait prévisiblement causer la mort, des blessures ou des dommages matériels. Ce langage oriente la première vague de déploiements vers l’inspection, la manutention de stock et les tâches de laboratoire.

Pour les constructeurs de robots, ER 2 est la couche disponible pour appeler l’API Gemini sans partenariat, destinée aux équipes qui ont déjà du matériel fonctionnel et ont besoin de quelque chose pour décider ce qu’il fait ensuite.