mimic robotics stellt FLUX-mimic vor, um Video-Aktionen auf Audis Fabrikboden zu bringen

mimic robotics hat FLUX-mimic vorgestellt, ein neues Video-Aktionsmodell, das industriellen Robotern hilft, komplexe Manipulationen aus wesentlich kleineren Mengen an Demonstrationsdaten zu lernen.

Entwickelt in Zusammenarbeit mit dem visuellen KI-Unternehmen Black Forest Labs, wird das System bereits von Audi getestet und eingesetzt, um Herstellungsaufgaben zu automatisieren, die historisch schwierig zu automatisieren waren, einschließlich Arbeiten mit flexiblen Materialien, wechselnden Teilkonfigurationen und präziser Manipulation.

Die Ankündigung weist auf eine mögliche Verschiebung in der physischen KI hin. Anstatt sich hauptsächlich auf große Sammlungen von Roboter-Demonstrationen zu verlassen, versucht FLUX-mimic, das bereits von einem generativen Video-Modell erlernte Wissen in ein System zu übertragen, das in der Lage ist, physische Maschinen zu steuern.

Ein neuer Ansatz für Roboter-Lernen

Viele heutige allgemeine Robotik-Systeme basieren auf Vision-Language-Aktions-Modellen, allgemein als VLA bekannt. Diese Systeme kombinieren normalerweise ein Modell, das auf Bildern und Sprache trainiert wurde, mit einer zusätzlichen Komponente, die die Bewegungen vorhersagt, die ein Roboter ausführen sollte.

Dieser Ansatz gibt Robotern ein gewisses Maß an semantischer Verständnis, wie z.B. das Erkennen eines Objekts oder das Interpretieren einer schriftlichen Anweisung. Allerdings erfassen statische Bilder nicht vollständig, wie Objekte sich biegen, bewegen, kollidieren oder auf physischen Kontakt reagieren.

Das fehlende Wissen muss daher durch Roboter-Demonstrationen erlernt werden, was teuer und zeitaufwändig sein kann. Jede Demonstration erfordert einen physischen Roboter, einen Bediener, einen geeigneten Arbeitsbereich und sorgfältig aufgezeichnete Aktionsdaten.

FLUX-mimic geht einen anderen Weg. Es verwendet die visuellen Repräsentationen, die von Black Forest Labs’ FLUX 3-Modell erzeugt werden, als Grundlage für die Vorhersage, wie eine Aufgabe sich über die Zeit hinweg entfalten sollte. Black Forest Labs beschreibt FLUX 3 als ein multimodales Modell, das in der Lage ist, Bilder, Videos, Audio und Aktionen zu generieren, anstatt ein System zu sein, das auf die Erzeugung statischer Bilder beschränkt ist.

Ein Aktions-Decoder übersetzt dann die visuelle Vorhersage des Modells in Befehle, die ein Roboter ausführen kann. In praktischen Begriffen schätzt das System zunächst ab, wie die erfolgreiche Durchführung einer Aufgabe aussehen sollte, und bestimmt dann, welche physischen Bewegungen erforderlich sind, um dieses Ergebnis zu erzielen.

Aufbau auf der mimic-video-Architektur

FLUX-mimic baut auf mimic-video auf, der früheren Forschung des Unternehmens zur Verwendung von vorgefertigten Video-Modellen als Grundlage für die robotische Steuerung.

Anstatt ein konventionelles Vision-Language-Modell zu verwenden, um Bewegung aus einzelnen Frames abzuleiten, erstellt mimic-video einen latenten visuellen Plan, der darstellt, wie die Aufgabe sich entwickeln könnte. Ein separater Aktions-Decoder verwendet diese interne Repräsentation, um Roboter-Bewegungen zu generieren.

In seinem Forschungsbericht berichtete das Unternehmen, dass mimic-video etwa zehnmal höhere Stichproben-Effizienz und doppelt so schnelle Trainings-Konvergenz wie eine vergleichbare VLA-Architektur in seinen Bewertungen erreicht hat. Das reale System wurde mit etwa 500 Trajektoren von einem zweihändigen Roboter-Setup trainiert.

FLUX-mimic erweitert dieses Konzept unter Verwendung der Architektur hinter FLUX 3 und einem Design, das speziell für die physische KI entwickelt wurde.

Laut mimic robotics können Aufgaben, die zuvor 30 Stunden oder mehr an Roboter-Demonstrationen erfordert haben, mit nur 30 Minuten an Daten eine produktionsreife Leistung erreichen. Diese Zahl stellt das gemeldete Ergebnis des Unternehmens dar und muss letztendlich in einer breiteren Palette von Fabriken, Hardware-Konfigurationen und Produktionsbedingungen bewertet werden.

Trotzdem könnte die Reduzierung des Datenbedarfs um diesen Grad die Wirtschaftlichkeit der industriellen Robotik wesentlich verändern. Die Bereitstellungskosten erstrecken sich häufig weit über den Roboter selbst hinaus, mit erheblichen Ressourcen, die für Programmierung, Integration, Simulation, Testen und Neukonstruktion aufgewendet werden, wenn ein Produkt oder ein Prozess geändert wird.

Audi bietet einen anspruchsvollen industriellen Test

Audi arbeitet mit mimic robotics zusammen, um FLUX-mimic in realen Fertigungsumgebungen zu testen, in denen Automatisierungssysteme mit Produktvariationen, strengen Produktionsanforderungen und Aufgaben konfrontiert sind, die nicht immer auf repetitive Bewegungen reduziert werden können.

Der Automobilhersteller sagt, dass die Roboter komplexe Weichkörper-Manipulationen durchgeführt haben, die mit herkömmlicher Robotik sehr schwierig zu bewältigen gewesen wären. Weichmaterialien sind besonders herausfordernd, da ihre Form während der Handhabung ändert, was es schwierig macht, jede Bewegung durch feste Koordinaten oder Regeln zu definieren.

Audis umfassende Automatisierungsforschung zeigt, warum Anpassungsfähigkeit immer wichtiger wird. Im Böllinger Höfe-Werk testet das Unternehmen künstliche Intelligenz, mobile Roboter, Computer-Vision und neue Greiftechnologien in einem realen Labor. Audi hat festgestellt, dass der hohe Grad an Individualisierung in Fahrzeugen wie dem e-tron GT komplexe Logistikprozesse mit einer großen Anzahl unterschiedlicher Teile erzeugt.

Traditionelle industrielle Roboter bleiben sehr effektiv, wenn die Umgebung strukturiert ist und jedes Objekt an einer vorhersehbaren Position ankommt. Sie werden weniger wirtschaftlich, wenn Teile, Materialien oder Produktvarianten häufig genug ändern, um wiederholte Ingenieursarbeiten zu erfordern.

Lernbasierte Systeme könnten diese Prozesse mit geringerem Volumen und höherer Variabilität praktikabler machen. Anstatt für jede Aufgabe ein neues Programm zu schreiben, könnten Hersteller die gewünschte Verhaltensweise demonstrieren und dem System erlauben, zu lernen, wie es diese reproduzieren kann.

Kombination von Modellen, Hardware und menschlichen Demonstrationen

Das Modell ist Teil einer umfassenden Robotik-Plattform, die von mimic robotics entwickelt wird.

Das Unternehmen baut seine eigene dexterous Roboter-Hand-Hardware, tragbare Datenerfassungsausrüstung, Roboter-Lernmodelle und Bereitstellungs-Infrastruktur. Sein tragbares System ist dafür ausgelegt, menschliche Handbewegungen in einem Format aufzuzeichnen, das direkt auf die Roboter-Hand des Unternehmens übertragen werden kann.

Dieser Fokus auf Hände anstatt auf vollständige humanoide Roboter spiegelt einen gezielteren Ansatz für die industrielle Automatisierung wider. Dexterous Hände können an konventionelle Roboter-Arme, die in Fabriken verwendet werden, angeschlossen werden, wodurch die Notwendigkeit, einen völlig neuen Roboter-Formfaktor einzuführen, reduziert wird. Die ETH Zürich beschreibt diesen Ansatz als Kombination von menschlicher Manipulation mit etablierter industrieller Hardware, um Aufgaben zu bewältigen, die Anpassungsfähigkeit und Selbstkorrektur erfordern.

Gegründet als ETH-Zürich-Ausgründung im Jahr 2024, hat mimic robotics mehr als 50 Mitarbeiter in Zürich und San Francisco. Das Team umfasst Modellforschung, Robotik, Hardware-Entwicklung, Daten-Betrieb und industrielle Bereitstellung.

Die weiteren Auswirkungen auf die Fabrikautomatisierung

Die Bedeutung von FLUX-mimic wird weniger von isolierten Demonstrationen abhängen als von der Frage, ob die Technologie hohe Erfolgsraten über Tausende von Produktionszyklen hinweg aufrechterhalten kann.

Fabriken erfordern konsistente Leistung, vorhersehbare Zykluszeiten, sichere Betrieb um Mitarbeiter herum, schnelle Wiederherstellung von Fehlern und Integration in bestehende Fertigungssysteme. Ein Modell, das schnell lernt, aber unvorhersehbar handelt, würde keinen Vorteil gegenüber herkömmlicher Automatisierung bieten.

Wenn jedoch Video-Aktionsmodelle ihre berichtete Daten-Effizienz beibehalten und gleichzeitig die industriellen Zuverlässigkeitsanforderungen erfüllen können, könnten sie die Robotik in Bereiche ausdehnen, die aufgrund ihrer Variabilität oder hohen Programmierkosten manuell geblieben sind.

Dazu könnten die Montage flexibler Komponenten, die Handhabung von gemischten Inventaren, die Sortierung unregelmäßiger Objekte, die Verpackung häufig wechselnder Produkte und die Unterstützung von Arbeitern bei körperlich anspruchsvollen Prozessen gehören.

Die langfristige Chance liegt nicht nur in einer leistungsfähigeren Roboter-Hand. Es ist ein anderes Bereitstellungsmodell, in dem Hersteller Maschinen durch Demonstration anstelle von vorheriger Bewegungsangabe unterrichten.

Audis Beteiligung gibt FLUX-mimic die Gelegenheit, zu beweisen, dass dieser Ansatz über kontrollierte Forschungsumgebungen hinausgehen kann. Erfolg auf einem Automobil-Fabrikboden würde einen wichtigen Hinweis darauf bieten, dass generative Video-Modelle mehr als nur Werkzeuge für die Erstellung digitaler Medien sein können, sondern Teil der Intelligenzschicht sind, die Maschinen in der physischen Welt steuert.