Voxel51 stellt einheitliche Datenplattform 3.0 für Teams im Bereich physische KI vor

Voxel51 stellte Voxel51 3.0 vor – eine durchgängige multimodale Datenplattform für physische KI, die Suche, Kuratierung, Annotation und Evaluierung in einem einzigen erweiterbaren System vereint. Mitbegründer und CEO Brian Moore bezeichnete die Plattform in der Mitteilung des Unternehmens als dessen „bislang bedeutendste Veröffentlichung“. Teams können die Plattform ab sofort kostenlos mit ihren eigenen Daten unter app.voxel51.com ausprobieren.

Mit der Veröffentlichung erhält auch das Enterprise-Produkt des Unternehmens einen neuen Namen: Voxel51 heißt nun FiftyOne Enterprise, während FiftyOne weiterhin das Open-Source-Projekt bezeichnet. Moore schrieb, das Unternehmen arbeite seit Jahren mit Teams zusammen, die KI in autonomen Systemen, der Robotik, der Fertigung und im Gesundheitswesen einsetzen. In den vergangenen Monaten habe es die Plattform rund um die Datenarbeit neu aufgebaut, die anfällt, sobald ein Modell über den Prototypenstatus hinausgeht: Fehler untersuchen, Trainingsdatensätze kuratieren und Modelle anhand von Szenarien aus der realen Welt evaluieren.

Multimodale Suche und Unterstützung für Zeitreihendaten

Voxel51 Search ist ein dauerhaft verfügbarer hybrider Suchindex, der semantischen Abruf mit lexikalischen Suchanfragen und Filtern für unstrukturierte Inhalte und strukturierte Metadaten in multimodalen Datensätzen verbindet. Laut der Mitteilung indexiert Search Datensätze automatisch und berechnet Einbettungen, sodass Suchanfragen bereits ab dem ersten Tag verfügbar sind. Außerdem bleiben Einbettungen und strukturierte Felder in ihrer nativen Form abfragbar und werden beim Abruf miteinander kombiniert. Für den Vektorabruf nutzt die Plattform LanceDB. Dessen spaltenorientierte Architektur unterstützt die Vektorsuche neben skalaren Indizes und Volltextindizes und trennt zugleich Speicherung und Rechenleistung voneinander.

Teams haben die Kontrolle über die Einbettungspipeline selbst: Sie bestimmen, welche Daten eingebettet werden, welches Modell und welche Rechenleistung zum Einsatz kommen und wann die Einbettungen erstellt werden. Inkrementelle Aktualisierungen machen es dabei überflüssig, den gesamten Datensatz neu aufzubauen. Die Veröffentlichung ergänzt die umfassende Unterstützung multimodaler Zeitreihendaten: Mehrere Sensorströme lassen sich auf derselben Zeitleiste visualisieren, und Einbettungen auf Segmentebene ermöglichen es Teams, gezielt bestimmte Momente in langen Aufzeichnungen abzurufen, statt eine ganze Episode durch eine einzige Einbettung darzustellen.

Voxel51 Agent und agentengestützte Beschriftung

Voxel51 Agent verknüpft Suche, Kuratierung, Annotation und Evaluierung zu wiederholbaren Arbeitsabläufen, die auf mehr als 45 MCP-Tools, mehr als 80 Operatoren und 18 Open-Source-Skills basieren. Die Mitteilung nennt verschiedene Anwendungsbeispiele: Ein Robotikteam sucht in Tausenden von Episoden nach bestimmten Verhaltensweisen, um gezielte Trainings- und Evaluierungsdatensätze zusammenzustellen; ein Wahrnehmungsteam geht von einem Modellfehler zu ähnlichen Long-Tail-Szenarien, neuen Annotationen und einer erneuten Evaluierung über; und bei der Vorbereitung von Annotationen werden unsichere Fälle menschlichen Prüfern zugewiesen. Der Agent kann außerdem Code schreiben, um neue Funktionen hinzuzufügen. Alle Arbeitsabläufe übernehmen die Berechtigungen sowie die Sicherheits- und Governance-Kontrollen, die eine Organisation festlegt.

In einem am 8. Oktober 2026 veröffentlichten Beitrag erklärte Voxel51 vor der Markteinführung, der Agent basiere auf dem Model Context Protocol, einem offenen Standard zur Verbindung von KI-Anwendungen mit externen Tools. Außerdem verbinde er sich mit mehr als 100 Modellanbietern, darunter Anthropic, OpenAI und Google, und sei in der Cloud, in hybriden Umgebungen, lokal, in vollständig vom Netz getrennten Umgebungen sowie als verwaltete Bereitstellungsoption verfügbar. Das Unternehmen berichtete, ein Benchmark derselben Agentenaufgaben mit Claude Sonnet 5, Claude Opus 5, GPT-5.1 und Gemini 3.1 Pro habe Kostenunterschiede von bis zu 15-mal ergeben.

Die Version 3.0 vereinheitlicht außerdem Annotation-Arbeitsabläufe für 2D-, 3D-, Video- und multimodale Daten. Dazu gehören eine automatisierte Qualitätssicherung, Kennzahlen zur Leistung von Annotatoren und Tools zur Verwaltung von Prüfprozessen unter Einbeziehung menschlicher Prüfer. Die Funktion Agentic Labeling nutzt Vision-Language-Modelle, um anhand natürlichsprachlicher Anweisungen und Beispiele Beschriftungen zu generieren; Prüfabläufe ermöglichen es, die Ergebnisse zu validieren. Unter Verweis auf die Umfrage „2026 State of Physical AI“ erklärte das Unternehmen, außergewöhnlich leistungsstarke Teams verwendeten mehr als die Hälfte ihrer Projektzeit auf Datenarbeit – mit einer fast dreimal so hohen Quote wie Teams mit Schwierigkeiten. Der Umfragegrafik zufolge liegen die entsprechenden Anteile bei 58 Prozent für außergewöhnlich leistungsstarke Teams und 21 Prozent für Teams mit Schwierigkeiten.

Datenherkunft auf vier Ebenen

Voxel51 3.0 ergänzt die Erfassung der Datenherkunft auf vier Ebenen. Einzelheiten dazu erläutert ein begleitender Beitrag von Chefarchitekt Ritchie Martori vom 9. Oktober 2026. Ein Aktivitätsprotokoll auf Bereitstellungsebene zeigt, wer eine Aktion ausgeführt hat, wann sie stattgefunden hat und welche Elemente sie betraf. Ein Aktivitätsprotokoll auf Datensatzebene erfasst Änderungen an einzelnen Datensätzen. Der Bearbeitungsverlauf auf Stichprobenebene dokumentiert Änderungen an Beschriftungen, Metadaten und anderen Eigenschaften. Die Versionierung von Datensätzen erstellt unveränderliche Momentaufnahmen, anhand derer Teams frühere Zustände vergleichen, Arbeitsabläufe reproduzieren und exakt feststellen können, welche Daten für das Training oder die Evaluierung verwendet wurden.

Die zugrunde liegende Ereignisarchitektur nutzt fiftyone-mq für die Auftragsplanung und Activity Core für die Ereignisverfolgung und schafft damit eine gemeinsame Grundlage für Audit-Protokolle, Annotationsmetriken und die Auftragsüberwachung. Berechtigungen und die Transparenz der Arbeitsabläufe verknüpfen jede Datenänderung mit der Person oder dem automatisierten Auftrag, die beziehungsweise der sie vorgenommen hat.

Modellunabhängiges Design und Workshops mit Nebius

Die Plattform ist von Grund auf modellunabhängig konzipiert. Teams können daher eigene Basismodelle und domänenspezifische Modelle für Einbettungen, automatische Beschriftung, Inferenz und Evaluierung einsetzen, ohne an einen vorgegebenen Technologie-Stack gebunden zu sein. Der Ankündigung zufolge wurden universell einsetzbare Basismodelle hauptsächlich mit Internettexten und visuellen Daten trainiert und haben nur begrenzten Zugang zu den verkörperten multimodalen Sensordaten, die physische Systeme erzeugen. Abgesehen von einer Handvoll gut finanzierter Bereiche wie dem autonomen Fahren müssen Teams im Bereich Physical AI daher häufig Basismodelle mit domänenspezifischen Modellen und eigenen Trainingsdaten kombinieren.

Wer die Enterprise-Funktionen von Voxel51 kennenlernen wollte, musste sich bislang zunächst an das Team wenden. Mit Version 3.0 ist der Self-Service-Zugang unter app.voxel51.com kostenlos; selbst gehostete Bereitstellungen sind weiterhin nach Kontaktaufnahme mit dem Unternehmen verfügbar. Voxel51 teilte außerdem mit, mit dem KI-Cloud-Unternehmen Nebius zusammenzuarbeiten. Bei praxisorientierten Veranstaltungen führen Entwickler Workflows wie Einbettungen und automatische Beschriftungen in der Nebius AI Cloud aus. Die beiden Unternehmen veranstalten bis November 2026 neun weitere Physical-AI-Workshops in Kanada und den Vereinigten Staaten; die Anmeldung ist geöffnet.