A mimic robotics Apresenta FLUX-mimic para Levar Modelos de Ação de Vídeo para a Fábrica da Audi

mimic robotics apresentou FLUX-mimic, um novo Modelo de Ação de Vídeo projetado para ajudar robôs industriais a aprender tarefas de manipulação complexas a partir de quantidades substancialmente menores de dados de demonstração.

Desenvolvido em colaboração com a empresa de inteligência artificial visual Black Forest Labs, o sistema já está sendo testado e implantado com a Audi em tarefas de manufatura que historicamente foram difíceis de automatizar, incluindo trabalhos com materiais flexíveis, configurações de peças em constante mudança e manipulação precisa.

O anúncio aponta para uma possível mudança na inteligência artificial física. Em vez de confiar principalmente em grandes coleções de demonstrações de robôs, FLUX-mimic tenta transferir conhecimento já aprendido por um modelo de vídeo gerativo para um sistema capaz de controlar máquinas físicas.

Uma Nova Abordagem para Aprendizado de Robôs

Muitos dos sistemas de robótica de propósito geral de hoje são baseados em Modelos de Visão-Linguagem-Ação, comumente conhecidos como VLAs. Esses sistemas combinam um modelo treinado em imagens e linguagem com um componente adicional que prevê os movimentos que um robô deve fazer.

Essa abordagem dá aos robôs um grau de compreensão semântica, como reconhecer um objeto ou interpretar uma instrução escrita. No entanto, imagens estáticas não capturam completamente como os objetos se dobram, se movem, colidem ou respondem ao contato físico.

O conhecimento perdido deve, portanto, ser aprendido a partir de demonstrações de robôs, o que pode ser caro e demorado para coletar. Cada demonstração requer um robô físico, um operador, um espaço de trabalho adequado e dados de ação cuidadosamente registrados.

FLUX-mimic segue um caminho diferente. Ele usa as representações visuais produzidas pelo modelo FLUX 3 da Black Forest Labs como base para prever como uma tarefa deve se desenrolar ao longo do tempo. A Black Forest Labs descreve FLUX 3 como um modelo multimodal capaz de gerar imagens, vídeo, áudio e ação, em vez de um sistema limitado à geração de imagens estáticas.

Um decodificador de ação traduz a previsão visual do modelo em comandos que um robô pode executar. Em termos práticos, o sistema primeiro estima como a conclusão bem-sucedida de uma tarefa deve parecer e, em seguida, determina quais movimentos físicos são necessários para produzir esse resultado.

Construindo sobre a Arquitetura mimic-video

FLUX-mimic se baseia em mimic-video, a pesquisa anterior da empresa sobre o uso de modelos de vídeo pré-treinados como espinha dorsal para controle robótico.

Ao invés de pedir a um modelo de visão-linguagem convencional que infira o movimento a partir de quadros individuais, mimic-video cria um plano visual latente que representa como a tarefa pode se desenvolver. Um decodificador de ação separado usa essa representação interna para gerar movimentos de robô.

No seu artigo de pesquisa, a empresa relatou que mimic-video alcançou aproximadamente dez vezes mais eficiência de amostra e duas vezes a velocidade de convergência de treinamento de uma arquitetura VLA comparável em suas avaliações. O sistema do mundo real foi treinado usando cerca de 500 trajetórias de um conjunto de robôs com duas mãos habilidosas.

FLUX-mimic estende esse conceito usando a arquitetura por trás do FLUX 3 e um design criado especificamente para inteligência artificial física.

De acordo com a mimic robotics, tarefas que anteriormente poderiam ter exigido 30 horas ou mais de demonstrações de robôs podem alcançar desempenho de produção pronto com apenas 30 minutos de dados. Esse número representa os resultados relatados pela empresa e, eventualmente, precisará ser avaliado em uma ampla gama de fábricas, configurações de hardware e condições de produção.

Mesmo assim, reduzir o requisito de dados nesse grau poderia mudar materialmente a economia da robótica industrial. Os custos de implantação frequentemente se estendem muito além do próprio robô, com recursos consideráveis dedicados à programação, integração, simulação, teste e reengenharia sempre que um produto ou processo muda.

Audi Fornece um Desafio Industrial Exigente

A Audi está trabalhando com a mimic robotics para avaliar FLUX-mimic em ambientes de manufatura reais, onde os sistemas de automação devem lidar com variações de produtos, requisitos de produção apertados e tarefas que não podem sempre ser reduzidas a movimentos repetitivos.

A montadora afirma que os robôs realizaram trabalhos de manipulação de corpo mole complexos que seriam extremamente difíceis de abordar com robótica convencional. Materiais flexíveis são particularmente desafiadores porque sua forma muda durante a manipulação, tornando difícil definir todos os movimentos por meio de coordenadas fixas ou regras.

A pesquisa de automação mais ampla da Audi ilustra por que a adaptabilidade está se tornando cada vez mais importante. Em sua instalação Böllinger Höfe, a empresa tem testado inteligência artificial, robôs móveis, visão computacional e novas tecnologias de manipulação em um laboratório do mundo real. A Audi observou que o alto nível de personalização em veículos como o e-tron GT cria processos logísticos complexos que envolvem grandes quantidades de peças diferentes.

Os robôs industriais tradicionais permanecem altamente eficazes quando o ambiente é estruturado e cada objeto chega a uma posição previsível. Eles se tornam menos econômicos quando as peças, materiais ou variantes de produtos mudam com frequência suficiente para exigir trabalho de engenharia repetido.

Sistemas baseados em aprendizado podem tornar esses processos de baixo volume e alta variação mais práticos para automação. Em vez de escrever um novo programa para cada tarefa, os fabricantes poderiam demonstrar o comportamento desejado e permitir que o sistema aprenda a reproduzi-lo.

Combinando Modelos, Hardware e Demonstração Humana

O modelo faz parte de uma plataforma de robótica de pilha completa que está sendo desenvolvida pela mimic robotics.

A empresa constrói seu próprio hardware de mão robótica habilidosa, equipamento de coleta de dados portátil, modelos de aprendizado de robô e infraestrutura de implantação. Seu sistema portátil é projetado para registrar movimentos de mão humanos em um formato que possa ser transferido mais diretamente para as mãos robóticas da empresa.

Essa ênfase em mãos em vez de robôs humanoides completos reflete uma abordagem mais direcionada para automação industrial. Mãos habilidosas podem ser anexadas a braços robóticos convencionais já usados em fábricas, reduzindo a necessidade de introduzir um novo fator de forma robótica. A ETH Zurich descreve a abordagem como combinar manipulação humana com hardware industrial estabelecido para lidar com tarefas que exigem adaptabilidade e autocorreção.

Fundada como uma spin-off da ETH Zurich em 2024, a mimic robotics cresceu para mais de 50 funcionários em Zurique e São Francisco. Sua equipe abrange pesquisa de modelo, robótica, desenvolvimento de hardware, operações de dados e implantação industrial.

As Implicações Mais Amplas para a Automação de Fábrica

A importância de FLUX-mimic dependerá menos de demonstrações isoladas do que da capacidade da tecnologia de manter altas taxas de sucesso ao longo de milhares de ciclos de produção.

As fábricas exigem desempenho consistente, tempos de ciclo previsíveis, operação segura ao redor dos funcionários, recuperação rápida de erros e integração com sistemas de manufatura existentes. Um modelo que aprende rapidamente, mas se comporta de forma imprevisível, ofereceria pouca vantagem sobre a automação convencional.

No entanto, se os modelos de ação de vídeo puderem reter sua eficiência de dados relatada enquanto atendem aos requisitos de confiabilidade industrial, eles poderiam expandir a robótica para categorias de trabalho que permaneceram manuais porque eram muito variáveis ou caras para programar.

Isso poderia incluir montagem de componentes flexíveis, manipulação de inventário misto, classificação de objetos irregulares, embalagem de produtos que mudam frequentemente e apoio a trabalhadores com processos fisicamente exigentes.

A oportunidade de longo prazo não é apenas uma mão robótica mais capaz. É um modelo de implantação diferente, no qual os fabricantes ensinam máquinas por meio de demonstração, em vez de especificar todos os movimentos com antecedência.

A participação da Audi dá a FLUX-mimic a oportunidade de provar que essa abordagem pode ir além de ambientes de pesquisa controlados. O sucesso em uma fábrica de automóveis ofereceria uma indicação importante de que os modelos de vídeo gerativos podem se tornar mais do que ferramentas para criar mídia digital, servindo como parte da camada de inteligência que controla máquinas no mundo físico.