mimic robotics presenta FLUX-mimic para llevar modelos de acción de video a la planta de fabricación de Audi

mimic robotics ha presentado FLUX-mimic, un nuevo modelo de acción de video diseñado para ayudar a los robots industriales a aprender tareas de manipulación complejas a partir de cantidades sustancialmente menores de datos de demostración.

Desarrollado en colaboración con la empresa de inteligencia artificial visual Black Forest Labs, el sistema ya se está probando y desplegando con Audi en tareas de fabricación que históricamente han sido difíciles de automatizar, incluyendo trabajo con materiales flexibles, configuraciones de piezas cambiantes y manipulación precisa.

El anuncio apunta a un posible cambio en la inteligencia artificial física. En lugar de confiar principalmente en grandes colecciones de demostraciones de robots, FLUX-mimic intenta transferir el conocimiento ya aprendido por un modelo de video generativo a un sistema capaz de controlar máquinas físicas.

Un nuevo enfoque para el aprendizaje de robots

Muchos de los sistemas de robótica de propósito general de hoy en día se basan en modelos de visión-lenguaje-acción, comúnmente conocidos como VLAs. Estos sistemas combinan un modelo entrenado en imágenes y lenguaje con un componente adicional que predice los movimientos que un robot debe hacer.

Este enfoque da a los robots un grado de comprensión semántica, como reconocer un objeto o interpretar una instrucción escrita. Sin embargo, las imágenes estáticas no capturan completamente cómo los objetos se doblan, se mueven, chocan o responden al contacto físico.

El conocimiento que falta debe aprenderse, por lo tanto, a partir de demostraciones de robots, lo que puede ser costoso y consume mucho tiempo. Cada demostración requiere un robot físico, un operador, un espacio de trabajo adecuado y datos de acción grabados cuidadosamente.

FLUX-mimic toma un camino diferente. Utiliza las representaciones visuales producidas por el modelo FLUX 3 de Black Forest Labs como base para predecir cómo debería desarrollarse una tarea con el tiempo. Black Forest Labs describe FLUX 3 como un modelo multimodal capaz de generar imágenes, video, audio y acción, en lugar de un sistema limitado a la generación de imágenes estáticas.

Un decodificador de acción traduce la predicción visual del modelo en comandos que un robot puede ejecutar. En términos prácticos, el sistema primero estima cómo debería ser el resultado de una tarea exitosa y luego determina qué movimientos físicos son necesarios para producir ese resultado.

Basado en la arquitectura de mimic-video

FLUX-mimic se basa en mimic-video, la investigación previa de la empresa sobre el uso de modelos de video preentrenados como base para el control robótico.

En lugar de pedir a un modelo de visión-lenguaje convencional que infiera el movimiento a partir de frames individuales, mimic-video crea un plan visual latente que representa cómo puede desarrollarse la tarea. Un decodificador de acción separado utiliza esa representación interna para generar movimientos de robot.

En su artículo de investigación, la empresa informó que mimic-video logró aproximadamente diez veces mayor eficiencia de muestra y el doble de velocidad de convergencia de entrenamiento que una arquitectura VLA comparable en sus evaluaciones. El sistema del mundo real se entrenó utilizando aproximadamente 500 trayectorias de un conjunto de robot de dos manos diestras.

FLUX-mimic extiende ese concepto utilizando la arquitectura detrás de FLUX 3 y un diseño creado específicamente para la inteligencia artificial física.

Según mimic robotics, las tareas que podrían haber requerido 30 horas o más de demostraciones de robots pueden alcanzar un rendimiento listo para la producción con solo 30 minutos de datos. Esa cifra representa los resultados informados por la empresa y, en última instancia, necesitará ser evaluada en una gama más amplia de fábricas, configuraciones de hardware y condiciones de producción.

Aun así, reducir el requisito de datos en ese grado podría cambiar materialmente la economía de la robótica industrial. Los costos de implementación a menudo se extienden mucho más allá del propio robot, con considerables recursos dedicados a la programación, integración, simulación, pruebas y reingeniería cada vez que un producto o proceso cambia.

Audi proporciona una prueba industrial exigente

Audi está trabajando con mimic robotics para evaluar FLUX-mimic en entornos de fabricación reales, donde los sistemas de automatización deben lidiar con la variación del producto, los requisitos de producción ajustados y las tareas que no siempre se pueden reducir a movimientos repetitivos.

El fabricante de automóviles dice que los robots han realizado trabajos de manipulación de cuerpos blandos complejos que habrían sido extremadamente difíciles de abordar con la robótica convencional. Los materiales blandos son especialmente desafiantes porque su forma cambia durante el manejo, lo que hace difícil definir cada movimiento a través de coordenadas fijas o reglas.

La investigación de automatización más amplia de Audi ilustra por qué la adaptabilidad se está volviendo cada vez más importante. En su instalación de Böllinger Höfe, la empresa ha estado probando inteligencia artificial, robots móviles, visión por computadora y nuevas tecnologías de recolección en un laboratorio del mundo real. Audi ha señalado que el alto nivel de personalización en vehículos como el e-tron GT crea procesos logísticos complejos que involucran un gran número de piezas diferentes.

Los robots industriales tradicionales siguen siendo altamente efectivos cuando el entorno está estructurado y cada objeto llega en una posición predecible. Se vuelven menos rentables cuando las piezas, los materiales o las variantes del producto cambian con frecuencia suficiente como para requerir trabajo de ingeniería repetido.

Los sistemas de aprendizaje podrían hacer que esos procesos de menor volumen y mayor variación sean más prácticos para automatizar. En lugar de escribir un nuevo programa para cada tarea, los fabricantes podrían demostrar el comportamiento deseado y permitir que el sistema aprenda a reproducirlo.

Combinando modelos, hardware y demostraciones humanas

El modelo es parte de una plataforma de robótica de pila completa que está siendo desarrollada por mimic robotics.

La empresa construye su propia mano robótica diestra, equipo de recopilación de datos wearable, modelos de aprendizaje de robots y infraestructura de despliegue. Su sistema wearable está diseñado para grabar movimientos de manos humanas en un formato que se puede transferir más directamente a las manos robóticas de la empresa.

Este enfoque en manos en lugar de robots humanoides completos refleja un enfoque más dirigido en la automatización industrial. Las manos diestras se pueden adjuntar a brazos robóticos convencionales ya utilizados en fábricas, reduciendo la necesidad de introducir un nuevo factor de forma robótica. ETH Zurich describe el enfoque como la combinación de manipulación similar a la humana con hardware industrial establecido para abordar tareas que requieren adaptabilidad y autocorrección.

Fundada como una empresa spin-off de ETH Zurich en 2024, mimic robotics ha crecido a más de 50 empleados en Zúrich y San Francisco. Su equipo abarca investigación de modelos, robótica, desarrollo de hardware, operaciones de datos y despliegue industrial.

Las implicaciones más amplias para la automatización de fábricas

La importancia de FLUX-mimic dependerá menos de demostraciones aisladas que de si la tecnología puede mantener tasas de éxito altas durante miles de ciclos de producción.

Las fábricas requieren un rendimiento consistente, tiempos de ciclo predecibles, operación segura alrededor de los empleados, recuperación rápida de errores y integración con los sistemas de fabricación existentes. Un modelo que aprende rápidamente pero se comporta de manera impredecible ofrecería poca ventaja sobre la automatización convencional.

Sin embargo, si los modelos de acción de video pueden retener su eficiencia de datos informada mientras cumplen con los requisitos de confiabilidad industrial, podrían expandir la robótica a categorías de trabajo que han permanecido manuales porque eran demasiado variables o costosas para programar.

Eso podría incluir la ensambladura de componentes flexibles, el manejo de inventarios mixtos, la clasificación de objetos irregulares, el empaquetado de productos que cambian con frecuencia y el apoyo a los trabajadores con procesos físicamente exigentes.

La oportunidad a largo plazo no es simplemente una mano robótica más capaz. Es un modelo de despliegue diferente en el que los fabricantes enseñan a las máquinas a través de demostraciones en lugar de especificar cada movimiento de antemano.

La participación de Audi da a FLUX-mimic la oportunidad de demostrar que este enfoque puede ir más allá de los entornos de investigación controlados. El éxito en una planta de fabricación de automóviles ofrecería una indicación importante de que los modelos de video generativos pueden convertirse en más que herramientas para crear medios digitales, sirviendo en cambio como parte de la capa de inteligencia que controla las máquinas en el mundo físico.