mimic robotics Introduce FLUX-mimic pentru a aduce modele de acțiune video pe linia de producție a lui Audi

mimic robotics a introdus FLUX-mimic, un nou model de acțiune video proiectat pentru a ajuta roboții industriali să învețe sarcini complexe de manipulare din cantități semnificativ mai mici de date demonstrative.

A fost dezvoltat în colaborare cu compania de inteligență artificială vizuală Black Forest Labs, sistemul fiind deja testat și implementat cu Audi în sarcini de producție care au fost istoric dificil de automatizat, inclusiv lucrul cu materiale flexibile, configurații de piese în schimbare și manipulare precisă.

Anunțul indică o posibilă schimbare în inteligența artificială fizică. În loc de a se baza în primul rând pe colecții mari de demonstrații de roboți, FLUX-mimic încearcă să transfere cunoștințele deja învățate de un model de video generativ într-un sistem capabil să controleze mașini fizice.

O abordare nouă pentru învățarea roboților

Multe dintre sistemele de roboți generale de astăzi se bazează pe modele de limbaj-viziune-acțiune, cunoscute în general sub numele de VLA. Aceste sisteme combină de obicei un model instruit pe imagini și limbaj cu o componentă suplimentară care prezice mișcările pe care un robot ar trebui să le facă.

Această abordare oferă roboților o anumită înțelegere semantică, cum ar fi recunoașterea unui obiect sau interpretarea unei instrucțiuni scrise. Cu toate acestea, imaginile statice nu captează pe deplin modul în care obiectele se îndoaie, se mișcă, se ciocnesc sau răspund la contactul fizic.

Cunoștințele lipsă trebuie, prin urmare, să fie învățate din demonstrațiile roboților, care pot fi scumpe și consumatoare de timp pentru a fi colectate. Fiecare demonstrație necesită un robot fizic, un operator, un spațiu de lucru adecvat și date de acțiune înregistrate cu atenție.

FLUX-mimic urmează o cale diferită. Utilizează reprezentările vizuale produse de modelul FLUX 3 al Black Forest Labs ca bază pentru prezicerea modului în care o sarcină ar trebui să se desfășoare în timp. Black Forest Labs descrie FLUX 3 ca un model multimodal capabil să genereze imagini, video, audio și acțiune, și nu doar o limitare la generarea de imagini statice.

Un decodificator de acțiune traduce apoi prezicerea vizuală a modelului în comenzi pe care un robot le poate executa. În termeni practici, sistemul estimează mai întâi cum ar trebui să arate o sarcină finalizată cu succes și apoi determină care mișcări fizice sunt necesare pentru a produce acel rezultat.

Extinderea arhitecturii mimic-video

FLUX-mimic se bazează pe mimic-video, cercetarea anterioară a companiei privind utilizarea modelelor de video preantrenate ca bază pentru controlul roboților.

În loc de a cere unui model de viziune-limbaj convențional să inferă mișcarea din cadre individuale, mimic-video creează un plan vizual latent care reprezintă modul în care sarcina poate evolua. Un decodificator de acțiune separat utilizează acea reprezentare internă pentru a genera mișcări de robot.

În lucrarea de cercetare, compania a raportat că mimic-video a atins aproximativ de zece ori mai multă eficiență a eșantionului și de două ori viteza de convergență a antrenamentului față de o arhitectură VLA comparabilă în evaluările sale. Sistemul din lumea reală a fost instruit utilizând aproximativ 500 de traiectorii de la un robot cu mâini dextre, cu două mâini.

FLUX-mimic extinde acest concept utilizând arhitectura din spatele FLUX 3 și o proiectare creată special pentru inteligența artificială fizică.

Conform mimic robotics, sarcinile care ar fi putut necesita anterior 30 de ore sau mai mult de demonstrații ale roboților pot atinge performanța de producție cu doar 30 de minute de date. Acea cifră reprezintă rezultatele raportate de companie și va trebui să fie evaluată în cele din urmă pe o gamă mai largă de fabrici, configurații de hardware și condiții de producție.

Chiar și așa, reducerea cerinței de date cu acest grad ar putea schimba în mod semnificativ economia roboților industriali. Costurile de implementare se extind adesea dincolo de robotul în sine, cu resurse considerabile dedicate programării, integrării, simulării, testării și reingineriei ori de câte ori un produs sau un proces se schimbă.

Audi oferă un test industrial exigent

Audi lucrează cu mimic robotics pentru a evalua FLUX-mimic în medii de producție reale, unde sistemele de automatizare trebuie să facă față variației de produse, cerințelor stricte de producție și sarcinilor care nu pot fi reduse întotdeauna la mișcări repetitive.

Producătorul de automobile afirmă că roboții au efectuat lucrări complexe de manipulare a corpului moale care ar fi fost extrem de dificil de abordat cu roboții convenționali. Materialele moi sunt deosebit de provocatoare, deoarece forma lor se schimbă în timpul manipulării, făcând dificilă definirea fiecărei mișcări prin coordonate fixe sau reguli.

Cercetarea mai largă a lui Audi privind automatizarea ilustrează de ce adaptabilitatea devine din ce în ce mai importantă. La facilitățile sale Böllinger Höfe, compania a testat inteligența artificială, roboți mobili, viziunea calculatorului și tehnologii de selecție într-un laborator din lumea reală. Audi a remarcat că nivelul ridicat de personalizare a vehiculelor, cum ar fi e-tron GT, creează procese logistice complexe care implică un număr mare de piese diferite.

Roboții industriali convenționali rămân foarte eficienți atunci când un mediu este structurat și fiecare obiect sosește într-o poziție previzibilă. Ei devin mai puțin economiți atunci când piesele, materialele sau variantele de produse se schimbă suficient de des pentru a necesita lucrări de inginerie repetate.

Sistemele bazate pe învățare ar putea face aceste procese cu volum mai mic și variație mai mare mai practice pentru automatizare. În loc de a scrie un nou program pentru fiecare sarcină, producătorii ar putea demonstra comportamentul dorit și permite sistemului să învețe cum să îl reproducă.

Combinarea modelelor, hardware-ului și demonstrațiilor umane

Modelul face parte dintr-o platformă de roboți completă, care este dezvoltată de mimic robotics.

Compania construiește propriul său hardware de mână robotică dexteră, echipament de colectare a datelor purtabil, modele de învățare a roboților și infrastructură de implementare. Sistemul său purtabil este proiectat pentru a înregistra mișcările mâinii umane într-un format care poate fi transferat mai direct către mâinile robotice ale companiei.

Acest accent pe mâini, mai degrabă decât pe roboți umanoizi compleți, reflectă o abordare mai țintită a automatizării industriale. Mâinile dextre pot fi atașate la brațe robotice convenționale deja utilizate în fabrici, reducând nevoia de a introduce o formă robotică complet nouă. ETH Zurich descrie abordarea ca o combinație a manipulării umane cu hardware-ul industrial stabilit pentru a aborda sarcini care necesită adaptabilitate și auto-corectare.

Înființată ca o spin-off a ETH Zurich în 2024, mimic robotics a crescut la peste 50 de angajați în Zurich și San Francisco. Echipa sa acoperă cercetarea modelului, roboții, dezvoltarea hardware-ului, operațiunile cu date și implementarea industrială.

Implicațiile mai largi pentru automatizarea fabricilor

Semnificația FLUX-mimic va depinde mai puțin de demonstrații izolate și mai mult de capacitatea tehnologiei de a menține rate de succes ridicate pe mii de cicluri de producție.

Fabricile necesită performanțe consistente, timpi de ciclu previzibili, funcționare sigură în jurul angajaților, recuperare rapidă din erori și integrare cu sistemele de fabricație existente. Un model care învață rapid, dar se comportă imprevizibil, nu ar oferi niciun avantaj față de automatizarea convențională.

Cu toate acestea, dacă modelele de acțiune video pot păstra eficiența raportată a datelor în timp ce îndeplinesc cerințele de fiabilitate industrială, ele ar putea extinde roboții în categorii de muncă care au rămas manuale, deoarece erau prea variabile sau costisitoare pentru a fi programate.

Acest lucru ar putea include asamblarea componentelor flexibile, manipularea inventarului mixt, sortarea obiectelor neregulate, ambalarea produselor care se schimbă frecvent și sprijinirea lucrătorilor cu procese fizic solicitante.

Oportunitatea pe termen lung nu este doar o mână robotică mai capabilă. Este un model de implementare diferit, în care producătorii învață mașinile prin demonstrație, mai degrabă decât specificând fiecare mișcare în avans.

Implicarea lui Audi oferă FLUX-mimic oportunitatea de a dovedi că această abordare poate depăși mediile de cercetare controlate. Succesul pe o linie de producție a unui fabricant de automobile ar oferi o indicație importantă că modelele de video generative pot deveni mai mult decât instrumente pentru crearea de media digitală, servind în schimb ca parte a stratului de inteligență care controlează mașinile din lumea fizică.