미믹 로보틱스, FLUX-mimic으로 비디오 액션 모델을 아우디 공장 현장에 도입

미믹 로보틱스는 산업 로봇이 복잡한 조작 작업을 더 작은 데모 데이터 양으로부터 학습할 수 있도록 설계된 새로운 비디오 액션 모델인 FLUX-mimic을 도입했습니다.

비주얼 AI 회사 블랙 포레스트 랩스와의 협력을 통해 개발된 이 시스템은 이미 아우디와 함께 제조 작업에 대한 테스트와 배포를 진행 중이며, 이는 역사적으로 자동화가 어려웠던 작업을 포함합니다. 이는 유연한 재료, 변경되는 부품 구성, 정밀한 조작과 관련된 작업입니다.

이 발표는 물리적 AI의 전환을 가리킵니다. 로봇 데모의 대규모 컬렉션에만 의존하는 대신 FLUX-mimic은 생성된 비디오 모델에서 이미 학습된 지식을 물리적 기계를 제어할 수 있는 시스템으로 전환하려고 시도합니다.

로봇 학습의 새로운 접근법

오늘날의 많은 범용 로봇 시스템은 비전-언어-액션 모델을 기반으로 하며, 이는 일반적으로 VLAs로 알려져 있습니다. 이러한 시스템은 이미지와 언어를 학습한 모델과 로봇이 수행해야 할 동작을 예측하는 추가 구성 요소를 결합합니다.

이 접근법은 로봇에게 객체를 인식하거나 작성된 지시를 해석하는 정도의 의미적 이해를 제공합니다. 그러나 정적 이미지는 객체가 어떻게 구부러지거나, 이동하거나, 충돌하거나, 물리적 접촉에 반응하는지 완전히 포착하지 못합니다.

결측 지식은 따라서 로봇 데모에서 학습되어야 하며, 이는 비용이 많이 들고 시간이 걸릴 수 있습니다. 각 데모는 물리적 로봇, 운영자, 적합한 작업 공간, 그리고 주의 깊게 기록된 액션 데이터가 필요합니다.

FLUX-mimic은 다른 경로를 따릅니다. 블랙 포레스트 랩스의 FLUX 3 모델이 생성한 시각적 표현을 작업이 시간의 경과에 따라 어떻게 진행되어야 하는지 예측하는 데 사용합니다. 블랙 포레스트 랩스는 FLUX 3를 정적 이미지 생성에만 국한된 시스템이 아닌 이미지, 비디오, 오디오, 액션을 생성할 수 있는 멀티모달 모델이라고 설명합니다.

액션 디코더는 모델의 시각적 예측을 로봇이 실행할 수 있는 명령으로 번역합니다. 실제로 시스템은 먼저 작업을 성공적으로 완료하는 것이 어떤 모습인지 예측한 다음, 그 결과를 생성하기 위해 필요한 물리적 동작을 결정합니다.

mimic-video 아키텍처를 기반으로 구축

FLUX-mimic은 mimic-video를 기반으로 구축되었습니다. 이는 사전 학습된 비디오 모델을 로봇 제어의 백본으로 사용하는 회사의 이전 연구입니다.

전통적인 비전-언어 모델이 개별 프레임에서 동작을 추론하는 대신, mimic-video는 작업이 진행될 수 있는 潛在的な 시각적 계획을 생성합니다. 별도의 액션 디코더는 내부 표현을 사용하여 로봇 동작을 생성합니다.

회사의 연구 논문에 따르면, mimic-video는 평가에서 약 10배 더 높은 샘플 효율과 2배 더 빠른 훈련 수렴 속도를 달성했습니다. 실제 시스템은 약 500개의 트라젝토리와 함께 훈련되었습니다.

FLUX-mimic은 FLUX 3의 아키텍처와 물리적 AI를 위한 설계를 사용하여 이 개념을 확장합니다.

미믹 로보틱스에 따르면, 이전에는 30시간 이상의 로봇 데모가 필요했던 작업은 이제 30분의 데이터로 생산 준비가 될 수 있습니다. 이는 회사의 보고된 결과이며, 궁극적으로는 더 넓은 범위의 공장, 하드웨어 구성, 생산 조건에서 평가되어야 합니다.

그러나 데이터 요구 사항을 그 정도로 줄일 수 있다면 산업 로봇의 경제를 크게 변화시킬 수 있습니다. 배포 비용은 종종 로봇 자체를 넘어서 프로그래밍, 통합, 시뮬레이션, 테스트, 재설계에 상당한 자원을 할애합니다.

아우디, 산업 테스트 제공

아우디는 실제 제조 환경에서 FLUX-mimic을 평가하기 위해 미믹 로보틱스와 협력하고 있습니다. 여기서 자동화 시스템은 제품 변형, 엄격한 생산 요구 사항, 반복적인 동작으로 줄일 수 없는 작업과 같은 문제에 직면합니다.

자동차 제조업체는 로봇이 유연한 물체 조작 작업을 수행했으며, 이는 전통적인 로봇 공학으로는 매우 어려웠을 것입니다. 유연한 물질은 특히 다루기 어렵습니다. 왜냐하면 그들의 모양이 다루는 동안 변경되기 때문에, 모든 동작을 고정된 좌표 또는 규칙으로 정의하기가 어렵기 때문입니다.

아우디의 더广い 자동화 연구는 적응성이 점점 더 중요해지고 있음을 보여줍니다. Böllinger Höfe 시설에서, 회사는 실제 실험실에서 인공 지능, 모바일 로봇, 컴퓨터 비전, 새로운 픽킹 기술을 테스트했습니다. 아우디는 e-tron GT와 같은 차량에서 높은 수준의 맞춤화를 일으키는 복잡한 물류 프로세스와 많은 다양한 부품이 포함되어 있음을 지적했습니다.

전통적인 산업 로봇은 구조화된 환경에서 매우 효과적이며, 모든 객체가 예측 가능한 위치에 도착할 때 효과적입니다. 그러나 부품, 재료 또는 제품 변형이 자주 변경되어 반복적인 엔지니어링 작업을 필요로 할 때, 이러한 로봇은 더 이상 경제적이지 않습니다.

학습 기반 시스템은 이러한 낮은 볼륨과 높은 변동성의 프로세스를 자동화하는 것을 더 실용적으로 만들 수 있습니다. 프로그래머가 아닌 제조업체는 원하는 동작을 示して 시스템이 그것을 재현하는 방법을 학습할 수 있습니다.

모델, 하드웨어, 인간 데모의 결합

이 모델은 미믹 로보틱스가 개발 중인 더广い 풀스택 로봇 플랫폼의 일부입니다.

회사는 자신의 덱스터러스 로봇 핸드 하드웨어, 착용 가능한 데이터 수집 장비, 로봇 학습 모델, 배포 인프라를 구축합니다. 착용 가능한 시스템은 회사의 로봇 핸드에 더 직접적으로 전송할 수 있는 형식으로 인간의 손 동작을 기록하도록 설계되었습니다.

로봇의 손에 집중하는 것은 공장에서 더 타겟팅된 접근법을 반영합니다. 덱스터러스 핸드는 기존의 공장에서 사용되는 로봇 팔에 부착할 수 있으므로, 새로운 로봇 형태를 도입할 필요가 없습니다. ETH 취리히는 인간과 같은 조작과 산업 하드웨어를 결합하여 적응성과 자기 수정이 필요한 작업에 대한 접근법으로 설명합니다.

2024년에 ETH 취리히의 스핀오프로 설립된 미믹 로보틱스는 취리히와 샌프란시스코에 걸쳐 50명 이상의 직원을 보유하고 있습니다. 팀은 모델 연구, 로봇 공학, 하드웨어 개발, 데이터 운영, 산업 배포를 담당합니다.

공장 자동화에 대한 더广い 영향

FLUX-mimic의 중요성은 분리된 데모보다 기술이 수천 개의 생산 주기에 걸쳐 높은 성공률을 유지할 수 있는지 여부에 더 많이 의존할 것입니다.

공장은 일관된 성능, 예측 가능한 사이클 시간, 직원 주변의 안전한 작동, 오류로부터의 빠른 복구, 기존 제조 시스템과의 통합을 필요로 합니다. 빠르게 학습하지만 예측할 수 없는 행동을 하는 모델은 전통적인 자동화보다优势를 제공하지 않을 것입니다.

그러나 비디오 액션 모델이 산업적 신뢰성 요구 사항을 충족하면서 보고된 데이터 효율성을 유지할 수 있다면, 로봇을 이전에 수동으로 유지했던 작업 범주로 확장할 수 있습니다.

이것은 유연한 부품 조립, 혼합 재고 처리, 불규칙한 객체 정렬, 자주 변경되는 제품 포장, 그리고 물리적으로 요구되는 프로세스에서 근로자를 지원하는 것을 포함할 수 있습니다.

장기적인 기회는 더 능숙한 로봇 손이 아닙니다. 그것은 제조업체가 미리 모든 동작을 지정하는 대신 데모를 통해 기계를 가르치는 배포 모델의 차이입니다.

아우디의 참여는 FLUX-mimic이 제어된 연구 환경을 넘어설 수 있는 기회를 제공합니다. 자동차 공장의 생산 현장에서 성공은 생성된 비디오 모델이 디지털 미디어를 생성하는 도구가 아니라 물리적 세계의 기계를 제어하는 지능 계층의 일부가 될 수 있음을 중요한 표시로 제공할 것입니다.