Voxel51 dévoile la plateforme de données unifiée 3.0 destinée aux équipes d’IA physique

Le 15 octobre 2026, Voxel51 a présenté Voxel51 3.0, une plateforme de données multimodales de bout en bout pour l’IA physique, qui réunit recherche, curation, annotation et évaluation au sein d’un système extensible unique. Dans l’annonce de l’entreprise, son cofondateur et PDG, Brian Moore, l’a qualifiée de « lancement le plus important de l’entreprise à ce jour ». Les équipes peuvent désormais tester gratuitement la plateforme sur leurs propres données à l’adresse app.voxel51.com.

Cette version s’accompagne également d’un changement de nom pour le produit d’entreprise de la société : Voxel51 est le nouveau nom de FiftyOne Enterprise, tandis que FiftyOne désigne toujours le projet open source. Brian Moore a écrit que l’entreprise travaille depuis des années avec des équipes qui déploient l’IA dans les systèmes autonomes, la robotique, l’industrie manufacturière et la santé. Au cours des derniers mois, elle a reconstruit la plateforme autour du travail sur les données qui commence lorsqu’un modèle dépasse le stade du prototype : examiner les défaillances, constituer des jeux de données d’entraînement et évaluer les modèles dans des scénarios réels.

Recherche multimodale et prise en charge des séries temporelles

Voxel51 Search est un index de recherche hybride persistant qui associe recherche sémantique, requêtes lexicales et filtres appliqués aux contenus non structurés et aux métadonnées structurées des jeux de données multimodaux. Selon l’annonce, Search indexe automatiquement les jeux de données et calcule des représentations vectorielles, de sorte que les requêtes sont disponibles dès le premier jour. Il conserve également les représentations vectorielles et les champs structurés interrogeables dans leur format natif, puis les combine au moment de la recherche. Pour la recherche vectorielle, la plateforme s’appuie sur LanceDB, dont l’architecture en colonnes prend en charge la recherche vectorielle ainsi que les index scalaires et de texte intégral, tout en séparant le stockage du calcul.

Les équipes contrôlent le pipeline de génération des représentations vectorielles lui-même, notamment les données à traiter, le modèle et les ressources de calcul à utiliser, ainsi que le moment où ces représentations sont générées. Des mises à jour incrémentielles sont possibles sans avoir à reconstruire l’ensemble du jeu de données. Cette version ajoute une prise en charge native des données multimodales en séries temporelles : plusieurs flux de capteurs peuvent être visualisés sur une même chronologie, et les représentations vectorielles au niveau des segments permettent aux équipes de retrouver des moments précis dans de longs enregistrements, plutôt que de représenter un épisode entier par une seule représentation vectorielle.

Voxel51 Agent et l’étiquetage agentique

Voxel51 Agent enchaîne recherche, curation, annotation et évaluation dans des flux de travail reproductibles, s’appuyant sur plus de 45 outils MCP, plus de 80 opérateurs et 18 compétences open source. L’annonce présente plusieurs cas d’usage : une équipe de robotique recherche des comportements précis dans des milliers d’épisodes afin de constituer des jeux de données ciblés pour l’entraînement et l’évaluation ; une équipe de perception passe de la détection d’une défaillance du modèle à la recherche de scénarios rares similaires, à de nouvelles annotations et à une nouvelle évaluation ; la préparation des annotations oriente les cas incertains vers des réviseurs humains. L’Agent peut également écrire du code pour ajouter de nouvelles fonctionnalités, et tous les flux de travail héritent des contrôles de permissions, de sécurité et de gouvernance définis par l’organisation.

Dans un article publié le 8 octobre 2026, avant le lancement, Voxel51 a indiqué que l’Agent repose sur le Model Context Protocol, une norme ouverte permettant de connecter des applications d’IA à des outils externes. L’entreprise a également précisé qu’il se connecte à plus de 100 fournisseurs de modèles, dont Anthropic, OpenAI et Google, et qu’il est disponible dans des environnements cloud, hybrides, sur site, isolés d’Internet et gérés. La société a indiqué que l’évaluation comparative des mêmes tâches d’agent avec Claude Sonnet 5, Claude Opus 5, GPT-5.1 et Gemini 3.1 Pro avait révélé des écarts de coût pouvant atteindre 15 fois.

La version 3.0 unifie également les flux de travail d’annotation pour les données 2D, 3D, vidéo et multimodales, avec une assurance qualité automatisée, des indicateurs de performance des annotateurs et des outils de gestion de la validation avec intervention humaine. Sa fonctionnalité d’étiquetage agentique s’appuie sur des modèles vision-langage pour générer des étiquettes à partir d’instructions en langage naturel et d’exemples, et propose des flux de révision pour valider les résultats. En citant son enquête 2026 State of Physical AI, l’entreprise a déclaré que les équipes les plus performantes consacrent plus de la moitié du temps de leurs projets au travail sur les données, à un rythme près de 3 fois supérieur à celui des équipes en difficulté. Le graphique de l’enquête indique que ces proportions s’élèvent à 58 % pour les équipes les plus performantes et à 21 % pour les équipes en difficulté.

Provenance des données à quatre niveaux

Voxel51 3.0 ajoute le suivi de la provenance des données à quatre niveaux, détaillés dans un article complémentaire publié par Ritchie Martori, architecte en chef, le 9 octobre 2026. Un journal d’activité au niveau du déploiement indique qui a effectué une action, quand elle a eu lieu et ce qu’elle a affecté dans l’ensemble du déploiement ; un journal d’activité au niveau du jeu de données suit les modifications apportées à chaque jeu de données ; l’historique des modifications au niveau des échantillons retrace les changements apportés aux étiquettes, aux métadonnées et à d’autres propriétés ; enfin, le versionnage des jeux de données crée des instantanés immuables qui permettent aux équipes de comparer des états antérieurs, de reproduire des flux de travail et d’identifier précisément les données utilisées pour l’entraînement ou l’évaluation.

L’architecture événementielle sous-jacente utilise fiftyone-mq pour la planification des tâches et Activity Core pour le suivi des événements, offrant ainsi une base commune aux journaux d’audit, aux indicateurs d’annotation et à la surveillance des tâches. Les permissions et la visibilité des flux de travail relient chaque modification des données à la personne ou à la tâche automatisée qui l’a effectuée.

Conception indépendante des modèles et ateliers Nebius

La plateforme est conçue pour être indépendante des modèles : les équipes peuvent donc utiliser leurs propres modèles de fondation et modèles spécialisés dans leur domaine pour les embeddings, l’annotation automatique, l’inférence et l’évaluation, sans être contraintes d’adopter une pile prédéfinie. Selon l’annonce, les modèles de fondation à usage général ont été entraînés principalement à partir de textes et de données visuelles provenant d’Internet, et ont peu été exposés aux données de capteurs multimodales et incarnées générées par les systèmes physiques. En dehors de quelques domaines bénéficiant de financements importants, comme la conduite autonome, les équipes spécialisées en IA physique doivent souvent combiner des modèles de fondation avec des modèles spécialisés dans leur domaine et leurs propres données d’entraînement.

Historiquement, pour découvrir les fonctionnalités destinées aux entreprises de Voxel51, il fallait d’abord s’adresser à son équipe ; avec la version 3.0, l’accès en libre-service est gratuit sur app.voxel51.com, et les déploiements auto-hébergés restent possibles en contactant l’entreprise. Voxel51 a également indiqué collaborer avec l’entreprise spécialisée dans le cloud IA Nebius : lors d’événements pratiques, des développeurs exécutent des flux de travail tels que la création d’intégrations et l’étiquetage automatique sur Nebius AI Cloud. Les deux entreprises organisent neuf ateliers supplémentaires sur l’IA physique au Canada et aux États-Unis jusqu’en novembre 2026 ; les inscriptions sont ouvertes.