World Labs lance Frameboy pour explorer Atlas en temps réel

World Labs a lancé Frameboy le 5 novembre 2026, une version de prévisualisation destinée à la recherche qui, selon l’entreprise, diffuse dans un navigateur des scènes générées par Atlas depuis des GPU dans le cloud, à une fréquence pouvant atteindre 15 images par seconde, tandis que les utilisateurs contrôlent la caméra. L’entreprise a également intégré ce mode à Viewfinder, son application web en bêta fermée permettant de créer des scènes 3D.

Des demandes de rendu à l’exploration en continu

Selon World Labs, la version optimisée d’Atlas qui sous-tend Frameboy est conçue pour accélérer et rendre plus efficace l’inférence, tout en préservant la qualité de la synthèse de nouvelles vues. La principale différence mise en avant dans l’annonce tient à une nouvelle boucle d’interaction : au lieu de demander une vidéo et d’attendre le résultat, l’utilisateur reçoit des images en continu et peut modifier le parcours de la caméra pendant l’exploration.

Lorsqu’une vidéo Atlas déclenchée manuellement prend des dizaines de secondes, voire plusieurs minutes, les utilisateurs hésitent, selon World Labs, à créer des scènes et à planifier des parcours de caméra, ce qui réduit le nombre de cycles d’itération. La diffusion en continu leur permet de réagir à une vue indésirable et de faire immédiatement un ajustement. L’expérimentation s’intègre ainsi à la navigation, au lieu d’être cantonnée à une succession de tâches de génération distinctes.

Parmi les applications potentielles d’Atlas citées figurent le repérage de points de vue virtuels pour des tournages, l’inspection de l’avancement de chantiers, la création de niveaux de jeux en 3D et la simulation d’environnements pour des robots. Ces tâches impliquent de choisir ou de tester des points de vue, ce qui aide à comprendre pourquoi World Labs considère la latence de génération comme un enjeu lié au produit, et pas seulement comme une mesure de l’inférence.

Viewfinder permet de créer la scène avant le flux

La démo de Frameboy propose un menu de scènes sélectionnées comprenant Stanford Quad, Sutro Baths, Palace of Fine Arts, Cyberpunk, Intérieur de vaisseau spatial et Forteresse gelée. Selon World Labs, une scène peut être créée à partir d’une seule image ; Atlas génère alors des points de vue supplémentaires qui enrichissent le contexte spatial de Frameboy. Il est aussi possible d’utiliser des captures multi-vues pour fournir des lieux réels à explorer.

Viewfinder va au-delà de cette sélection. Les utilisateurs créent une scène image par image à partir de leurs propres éléments, génèrent des vues sous différents angles de caméra et obtiennent à la fois la couleur et la profondeur de chaque nouvelle image produite par Atlas. Une scène créée dans Viewfinder peut ensuite servir d’entrée à une session Frameboy en temps réel, dont la surcouche diffuse les images générées pendant l’exploration.

Viewfinder peut être testé en bêta fermée sur inscription à une liste d’attente ; lors de sa présentation, Atlas entrait également en accès anticipé auprès de certains partenaires. Le nouveau flux de diffusion en continu s’inscrit dans le cadre de ces programmes à accès limité.

Architecture d’Atlas et héritage de RTFM

World Labs a présenté Atlas le 1er septembre 2026 comme un modèle du monde omnidirectionnel préentraîné à partir de zéro pour traiter nativement du texte, des images, des vidéos et de la 3D. Son transformeur de diffusion autorégressif multimodal ancre les données d’entrée dans l’espace 3D afin de former un contexte spatial, puis génère les éléments d’une séquence un à un, en les conditionnant aux éléments précédents. Les données d’entrée prises en charge comprennent le texte, les images, les poses de caméra et les cartes de profondeur 3D ; les vidéos sont représentées sous forme de séquences d’images, et chaque image ou carte de profondeur est conditionnée par une pose de caméra explicite.

Selon World Labs, Atlas peut générer jusqu’à une minute de vidéo en 1440p avec contrôle de la caméra et reconstruire des scènes du monde réel à partir d’images d’entrée éparses. Il peut également produire des nuages de points et des splats gaussiens 3D, ce qui lui permet de fournir des sorties 3D explicites en plus des images et des vidéos générées.

Frameboy fait suite à RTFM, une version de prévisualisation destinée à la recherche, publiée le 16 octobre 2025, qui visait des fréquences d’images interactives sur un seul GPU H100. RTFM a été conçu comme un moteur de rendu appris, capable de générer de nouvelles vues 2D sans construire de représentation 3D explicite. Il utilisait des images assorties de poses comme mémoire spatiale et récupérait des images proches pour chaque nouvelle vue en jonglant avec le contexte, évitant ainsi de porter attention à un historique d’images toujours plus long.

Selon World Labs, Atlas développe les concepts de RTFM en s’appuyant sur un modèle beaucoup plus grand, entraîné avec des quantités de données d’un ordre de grandeur supérieur. RTFM était principalement conçu pour interpoler entre des points de vue existants ; Atlas peut générer des scènes à partir de zéro en utilisant une seule image ou une légende textuelle, tout en conservant la capacité de synthétiser de nouvelles vues à partir de collections d’images.

Le calcul dans le cloud reste le principal obstacle

Selon World Labs, Frameboy nécessite actuellement un puissant serveur équipé d’un GPU dans le cloud et coûte cher par rapport aux méthodes de rendu local.

L’entreprise s’attend à ce que l’évolution du matériel et des logiciels rende la technologie plus rapide et moins coûteuse. Le compromis central de cette version de prévisualisation est donc clair : la génération en continu avec contrôle de la caméra est accessible dans le navigateur, tandis que l’inférence dans le cloud nécessaire pour la maintenir reste un obstacle pratique à son utilisation courante.