Google DeepMind déploie son modèle du monde Genie 4 en avant-première de recherche

Google DeepMind a annoncé Genie 4, son nouveau modèle du monde destiné à la simulation interactive en temps réel, le 27 octobre 2026, et le met à la disposition de testeurs de confiance dans le cadre d’une avant-première de recherche.

L’annonce, rédigée par Raia Hadsell, Diego Rivas et Hang Qi, décrit Genie 4 comme un modèle nativement multimodal, capable de générer simultanément de la musique, des sons d’ambiance et des dialogues interactifs, en parallèle du monde simulé. DeepMind affirme que le modèle « ouvre la voie à un réalisme sans précédent et améliore la simulation interactive en temps réel ». Il offre un photoréalisme accru, des mouvements fluides et un son natif ; dans ses démonstrations, le son qui accompagne les scènes est produit directement par le modèle.

Le modèle intègre les capacités de la famille Gemini et s’appuie sur celles-ci. Gemini Omni ancre les simulations dans l’apparence et le comportement du monde réel, tandis que d’autres modèles Gemini fournissent le raisonnement complexe nécessaire pour contribuer à la cohérence et à la continuité d’une simulation. Grâce à ces fondations, un utilisateur peut déclencher un événement, puis Genie 4 simule ce qui se passe ensuite : la façon dont le monde réagit, les sons qu’il produit et les mouvements, les réactions et les paroles des personnes qui s’y trouvent.

DeepMind considère que comprendre et simuler le monde est un aspect essentiel du développement de l’AGI. Selon l’entreprise, Genie 4 fait progresser sa capacité à créer des simulations sûres et infiniment variables, susceptibles de servir d’environnements d’entraînement pour les robots et les agents, ainsi qu’à créer de nouvelles expériences interactives.

Quatre domaines de capacités

Les démonstrations de DeepMind sont des enregistrements d’interactions en temps réel dans lesquelles les utilisateurs parcourent des mondes à l’aide de commandes clavier standard et d’une caméra, et orientent la scène à l’aide d’instructions textuelles au fil de son évolution. La première capacité présentée est le contrôle en temps réel : un utilisateur peut modifier une simulation en cours en langage naturel, changer la météo, déplacer la caméra ou introduire une nouvelle personne ou un nouvel objet. Gemini adapte alors l’instruction au contexte pour qu’elle corresponde à la scène environnante. Entre les interventions, Gemini surveille également la scène et la guide afin que le monde continue d’évoluer de manière cohérente.

En matière de physique et d’action humaine, DeepMind affirme que Genie 4 établit une nouvelle norme de réalisme pour la simulation interactive en temps réel en modélisant des phénomènes physiques du monde réel, comme l’aérodynamique et les collisions. L’entreprise décrit la simulation des personnes comme la plus grande avancée : les personnages se déplacent naturellement, réagissent spontanément à leur environnement et peuvent être guidés de manière interactive en temps réel.

DeepMind décrit Genie 4 comme son premier modèle du monde en temps réel à générer de l’audio de manière native. Chaque monde est imprégné des sons d’ambiance qui lui sont propres, du vent dans les arbres au fracas des vagues sur la plage. Le modèle introduit également des dialogues interactifs qui s’adaptent à la volée : les personnages conversent et réagissent aux interventions des utilisateurs ou aux événements du monde, le tout en temps réel.

Pour les événements complexes qui comportent plusieurs étapes, Gemini 3.8 Flash joue le rôle d’agent de guidage dans la boucle. Pendant que Genie 4 génère un monde en temps réel, Gemini observe constamment la scène, décompose les objectifs en une suite d’étapes et examine les images reçues pour vérifier la réussite de chacune d’elles. Il adapte son plan à mesure que le monde évolue ou que l’utilisateur intervient. Selon DeepMind, cela permet de créer des mondes dotés d’une causalité fiable, de comportements procéduraux et d’un raisonnement en plusieurs étapes.

L’entreprise expérimente également Gemini 4 Argon et Genie 4 avec Gemini Robotics. Dans un exemple documenté, Argon décompose une tâche donnée par l’utilisateur en étapes qui apparaissent sous forme de légendes textuelles entre les rendus de la simulation. Les deux systèmes simulent Apollo, le robot humanoïde d’Apptronik, en train de jouer aux dames, et la simulation s’adapte à mesure que la tâche progresse vers son terme.

Testeurs de confiance et travaux à venir

DeepMind présente Genie 4 comme une avancée majeure de la recherche, tout en précisant qu’il s’agit encore d’un modèle précoce et expérimental. L’entreprise travaille avec des groupes de testeurs de confiance issus des industries créatives, du journalisme, de l’éducation, du jeu vidéo et de l’ingénierie. Selon l’entreprise, des cinéastes testent Genie 4 comme un « mode brouillon » rapide pour la prévisualisation et la recherche d’idées : ils entrent dans une simulation en direct d’une scène et réalisent plusieurs prises en temps réel, tout en ajustant les angles de caméra, l’éclairage, les dialogues et l’action. Des photojournalistes étudient comment une seule photographie d’archive en 2D peut devenir en quelques secondes une simulation fidèle de l’environnement représenté. Des équipes testent également comment des mondes peuplés et dynamiques peuvent aider le public à découvrir des lieux historiques ou à visualiser le déroulement de phénomènes environnementaux de courte durée, comme des crues soudaines ou des feux de forêt.

Des développeurs de jeux et des technologues de la création vérifient s’ils peuvent passer d’une idée initiale à un prototype explorable en quelques secondes, en évaluant des styles visuels, des esthétiques de matériaux et des mécanismes interactifs à l’aide d’instructions en langage naturel, avant d’écrire le code du moteur. Des partenaires du secteur évaluent Genie 4 comme un outil permettant de générer rapidement des scénarios, de zéro à un, et de repérer les lacunes auxquelles DeepMind pourrait remédier pour mieux répondre aux besoins en matière de simulation.

Pour la suite, DeepMind considère les modèles du monde hybrides comme une piste prometteuse pour les progrès à venir : ces systèmes associent le raisonnement logique et structuré des modèles de code et de langage à la riche représentation sensorielle de la simulation au niveau du pixel. Dans cette approche, Gemini cartographie la structure et planifie en coulisses la chronologie narrative, tandis que Genie génère la réalité physique immédiate en restituant, pixel par pixel, l’apparence du monde, ses sons et ses réactions.

Sécurité, limites et disponibilité

DeepMind indique que Genie 4 comporte des garde-fous stricts, conformes aux politiques de sécurité appliquées à ses autres modèles, et que le modèle a fait l’objet d’évaluations de sécurité internes avant l’aperçu afin d’empêcher la génération de contenus dangereux ou malveillants. L’entreprise précise avoir délibérément déployé Genie 4 d’abord auprès de partenaires de test de confiance afin de recueillir leurs premiers commentaires. Toutes les vidéos et tous les contenus audio générés par Genie 4 incluront SynthID, la technologie de filigrane numérique imperceptible de DeepMind, qui permet d’identifier les contenus générés par l’IA dans les modalités visuelle et audio.

Concernant ses limites, DeepMind indique que Genie 4 peut maintenir des environnements cohérents pendant de courtes sessions, mais que les détails visuels et la permanence des objets peuvent encore évoluer ou dériver au fil du temps, en particulier lorsque la simulation dure plus longtemps, après plusieurs modifications complexes des invites ou lors de déplacements dans une scène. Les interactions physiques complexes, la précision de l’audio en temps réel, le rendu de texte lisible, la précision spatiale et la cohérence à long terme restent des axes de recherche en cours.

Genie 4 succède à Genie 3, que DeepMind a annoncé le 5 août 2025 et présenté comme son premier modèle du monde permettant une interaction en temps réel. Genie 3 générait des mondes dynamiques dans lesquels les utilisateurs pouvaient se déplacer à 24 images par seconde, avec une cohérence maintenue pendant quelques minutes à une résolution de 720p. Il a été lancé sous la forme d’un aperçu de recherche à accès limité, réservé à un petit groupe d’universitaires et de créateurs.

DeepMind indique que Genie 4 sera bientôt proposé aux abonnés Google AI Ultra dans Project Genie ainsi qu’aux partenaires bénéficiant d’un accès anticipé à l’API Gemini et à Google AI Studio. La liste d’attente pour Genie 4 dans Project Genie est ouverte.