mimic robotics Introduceert FLUX-mimic om Video-Action Modellen naar Audi’s Fabrieksvloer te Brengen

mimic robotics heeft FLUX-mimic geïntroduceerd, een nieuw Video-Action Model ontworpen om industriële robots te helpen bij het leren van complexe manipulatietaken vanuit aanzienlijk kleinere hoeveelheden demonstratiegegevens.

Ontwikkeld in samenwerking met visuele AI-bedrijf Black Forest Labs, wordt het systeem al getest en geïmplementeerd met Audi in productietaken die historisch moeilijk te automatiseren waren, waaronder werk met flexibele materialen, veranderende deelconfiguraties en precieze manipulatie.

De aankondiging wijst op een potentiële verschuiving in fysieke AI. In plaats van voornamelijk te vertrouwen op grote verzamelingen van robotdemonstraties, probeert FLUX-mimic kennis die al is geleerd door een generatief videomodel over te dragen naar een systeem dat in staat is om fysieke machines te controleren.

Een Nieuwe Benadering van Robotleren

Veel van de huidige algemene robotsystemen zijn gebaseerd op Vision-Language-Action-modellen, algemeen bekend als VLA’s. Deze systemen combineren meestal een model getraind op afbeeldingen en taal met een extra component die de bewegingen voorspelt die een robot moet maken.

Deze benadering geeft robots een zekere mate van semantische begrip, zoals het herkennen van een object of het interpreteren van een geschreven instructie. Echter, statische afbeeldingen vangen niet volledig hoe objecten buigen, bewegen, botsen of reageren op fysiek contact.

De ontbrekende kennis moet daarom worden geleerd van robotdemonstraties, die duur en tijdrovend kunnen zijn om te verzamelen. Elke demonstratie vereist een fysieke robot, een operator, een geschikte werkruimte en zorgvuldig opgenomen actiegegevens.

FLUX-mimic neemt een andere route. Het gebruikt de visuele representaties die worden gegenereerd door Black Forest Labs’ FLUX 3-model als basis voor het voorspellen van hoe een taak zich over tijd moet ontwikkelen. Black Forest Labs beschrijft FLUX 3 als een multimodaal model dat in staat is om afbeeldingen, video’s, audio en actie te genereren, in plaats van een systeem dat beperkt is tot statische afbeeldingengeneratie.

Een actiedecoder vertaalt de visuele voorspelling van het model vervolgens in opdrachten die een robot kan uitvoeren. In praktische zin schat het systeem eerst in wat het succesvol voltooien van een taak zou moeten lijken en bepaalt vervolgens welke fysieke bewegingen nodig zijn om dat resultaat te produceren.

Opbouwen op de mimic-video Architectuur

FLUX-mimic bouwt voort op mimic-video, het eerdere onderzoek van het bedrijf naar het gebruik van voorgetrainde videomodellen als backbone voor robotbesturing.

In plaats van een conventioneel vision-language model te vragen om beweging af te leiden uit individuele frames, creëert mimic-video een latent visueel plan dat vertegenwoordigt hoe de taak zich kan ontwikkelen. Een aparte actiedecoder gebruikt die interne representatie om robotbewegingen te genereren.

In het onderzoeksrapport van het bedrijf werd gemeld dat mimic-video ongeveer tien keer grotere steekproefefficiëntie en tweemaal de trainingsconvergentiesnelheid bereikte van een vergelijkbaar VLA-architectuur in zijn evaluaties. Het real-world systeem werd getraind met ongeveer 500 trajecten van een dexterous tweehandige robotopstelling.

FLUX-mimic breidt dat concept uit met de architectuur achter FLUX 3 en een ontwerp specifiek gemaakt voor fysieke AI.

Volgens mimic robotics kunnen taken die eerder 30 uur of meer aan robotdemonstraties zouden hebben vereist, met slechts 30 minuten aan gegevens productieklaar presteren. Die waarde vertegenwoordigt de door het bedrijf gerapporteerde resultaten en zal uiteindelijk moeten worden geëvalueerd in een bredere reeks fabrieken, hardwareconfiguraties en productieomstandigheden.

Echter, het verminderen van de gegevensvereiste tot die mate kan de economie van industriële robotica materieel veranderen. Implementatiekosten gaan vaak verder dan de robot zelf, met aanzienlijke middelen besteed aan programmering, integratie, simulatie, testing en herontwerp wanneer een product of proces verandert.

Audi Biedt een Veeleisende Industriële Test

Audi werkt samen met mimic robotics om FLUX-mimic te evalueren in echte productieomgevingen, waar automatiseringssystemen moeten omgaan met productvariatie, strikte productievereisten en taken die niet altijd kunnen worden teruggebracht tot herhaalde bewegingen.

De autofabrikant zegt dat de robots complexe zachte lichaamsmanipulatiewerkzaamheden hebben uitgevoerd die extreem moeilijk zouden zijn geweest om aan te pakken met conventionele robotica. Zachte materialen zijn vooral uitdagend omdat hun vorm verandert tijdens het hanteren, waardoor het moeilijk is om elke beweging te definiëren met behulp van vaste coördinaten of regels.

Audi’s bredere automatiseringsonderzoek illustreert waarom aanpasbaarheid steeds belangrijker wordt. Op zijn Böllinger Höfe-faciliteit heeft het bedrijf kunstmatige intelligentie, mobiele robots, computervisie en nieuwe pick-technologieën getest in een real-world laboratorium. Audi heeft opgemerkt dat het hoge niveau van personalisatie in voertuigen zoals de e-tron GT complexe logistieke processen creëert met een groot aantal verschillende onderdelen.

Traditionele industriële robots blijven zeer effectief wanneer een omgeving gestructureerd is en elk object op een voorspelbare positie aankomt. Ze worden minder economisch wanneer onderdelen, materialen of productvarianten vaak genoeg veranderen om herhaalde engineeringswerkzaamheden te vereisen.

Lerende systemen kunnen die lagere-volumineuze en hoger-variantieprocessen meer praktisch maken om te automatiseren. In plaats van een nieuw programma te schrijven voor elke taak, kunnen fabrikanten de gewenste gedraging demonstreren en het systeem toelaten om te leren hoe het te reproduceren.

Combineren van Modellen, Hardware en Menselijke Demonstraties

Het model maakt deel uit van een bredere full-stack robotics-platform dat wordt ontwikkeld door mimic robotics.

Het bedrijf bouwt zijn eigen dexterous robotic hand hardware, draagbare data-collectieapparatuur, robot-lerenmodellen en implementatie-infrastructuur. De draagbare systemen zijn ontworpen om menselijke handbewegingen op te nemen in een formaat dat meer direct kan worden overgedragen aan de robotic handen van het bedrijf.

Deze focus op handen in plaats van complete humanoid robots weerspiegelt een meer gerichte aanpak van industriële automatisering. Dexterous handen kunnen worden bevestigd aan conventionele robotic arms die al in fabrieken worden gebruikt, waardoor de noodzaak om een geheel nieuw robotvormfactor in te voeren wordt verminderd. ETH Zurich beschrijft de aanpak als het combineren van menselijke manipulatie met gevestigde industriële hardware om taken aan te pakken die aanpasbaarheid en zelfcorrectie vereisen.

Opgericht als een ETH Zurich-spin-off in 2024, is mimic robotics uitgegroeid tot meer dan 50 medewerkers in Zürich en San Francisco. Het team bestaat uit modelonderzoek, robotica, hardwareontwikkeling, data-operaties en industriële implementatie.

De Breder Implicaties voor Fabrieksautomatisering

De significantie van FLUX-mimic zal minder afhangen van geïsoleerde demonstraties dan van de vraag of de technologie hoge succespercentages kan behouden over duizenden productiecycli.

Fabrieken vereisen consistente prestaties, voorspelbare cyclustijden, veilige werking rondom medewerkers, snelle herstel van fouten en integratie met bestaande productiesystemen. Een model dat snel leert maar onvoorspelbaar gedrag vertoont, zou weinig voordeel bieden ten opzichte van conventionele automatisering.

Echter, als video-actiemodellen hun gerapporteerde gegevensefficiëntie kunnen behouden terwijl ze aan industriële betrouwbaarheidsvereisten voldoen, kunnen ze de robotica uitbreiden naar categorieën van werk die zijn gebleven handmatig omdat ze te variabel of duur waren om te programmeren.

Dat kan onder meer het monteren van flexibele componenten, het hanteren van gemengde voorraden, het sorteren van onregelmatige objecten, het verpakken van frequent veranderende producten en het ondersteunen van werknemers met fysiek veeleisende processen omvatten.

De langetermijnkans is niet alleen een meer capabele robotic hand. Het is een ander implementatiemodel waarin fabrikanten machines leren door demonstratie in plaats van elke beweging van tevoren te specificeren.

Audi’s betrokkenheid geeft FLUX-mimic de kans om te bewijzen dat deze aanpak kan uitstijgen boven gecontroleerde onderzoeksomgevingen. Succes op een automobielfabrieksvloer zou een belangrijke indicatie bieden dat generatieve videomodellen meer kunnen worden dan alleen tools voor het creëren van digitale media, en in plaats daarvan dienst kunnen doen als onderdeel van de intelligentielaag die machines in de fysieke wereld bestuurt.