mimic robotics Esittää FLUX-mimicin, Jotta Video-Toimintamallit Tulisivat Audin Tehtaalle

mimic robotics on esittänyt FLUX-mimicin, uuden video-toimintamallin, joka auttaa teollisuusroboteja oppimaan monimutkaisia käsittelytehtäviä huomattavasti pienemmistä määristä esittelydataa.

Yhteistyössä visuaalisen tekoälyyritys Black Forest Labsin kanssa kehitetty järjestelmä on jo testattu ja otettu käyttöön Audin kanssa valmistustehtävissä, jotka ovat historiallisesti olleet vaikeasti automatisoitavissa, mukaan lukien työ joustavien materiaalien, muuttuvien osakokoonpanojen ja tarkkojen käsittelyjen parissa.

Ilmoitus osoittaa mahdolliseen muutokseen fyysiseen tekoälyyn. Sen sijaan, että riippuisi pääasiassa suurista robotin esittelykokoelmista, FLUX-mimic yrittää siirtää jo opitun generatiivisen videomallin tiedon järjestelmään, joka on kykeneväinen ohjaamaan fyysisiä koneita.

Uusi Lähestymistapa Robottioppiimiseen

Monet nykyiset yleispätevät robottioppimisjärjestelmät perustuvat näkö-väli-toimintamalleihin, yleisesti tunnettuja VLAna. Nämä järjestelmät yhdistävät mallin, joka on koulutettu kuvilla ja kielellä, komponentin, joka ennustaa robotin liikkeet.

Tämä lähestymistapa antaa robotille tietyn semanttisen ymmärryksen, kuten esineen tunnistamisen tai kirjoitetun ohjeen tulkinnan. Kuitenkin staattiset kuvat eivät täysin kuvaa, miten esineet taipuvat, liikkuvat, törmäilevät tai reagoivat fyysiseen kosketukseen.

Puuttuva tieto on siten opittava robotin esittelyistä, jotka voivat olla kalliita ja aikaa vieviä kerätä. Jokainen esittely vaatii fyysisen robotin, operaattorin, soveltuvan työtilan ja tarkkaan tallennetun toimintadataa.

FLUX-mimic ottaa toisen reitin. Se käyttää visuaalisia edustuksia, jotka Black Forest Labsin FLUX 3 -malli tuottaa, perustana siitä, miten tehtävä tulisi kehittyä ajassa. Black Forest Labs kuvailee FLUX 3:aa multimodaaliseksi malliksi, joka pystyy generoimaan kuvia, videoita, ääniä ja toimintaa, eikä järjestelmäksi, joka on rajoitettu staattisen kuvan generointiin.

Toimintadekooderi kääntää mallin visuaalisen ennusteen komenteiksi, joita robotti voi suorittaa. Käytännössä järjestelmä arvioi ensin, miltä tehtävän onnistunut suorittaminen tulisi näyttämään, ja sitten määrittää, mitkä fyysiset liikkeet ovat tarpeen tuottamaan se tulos.

Rakentaminen mimic-video Arkkitehtuurin Päällä

FLUX-mimic rakentuu mimic-videon varaan, yhtiön aikaisemman tutkimuksen, jossa käytettiin esikoulutettuja videomalleja robotin ohjauksen perustana.

Sen sijaan, että pyydettäisiin perinteinen näkö-kieli-malli arvioimaan liikettä yksittäisistä kehyksistä, mimic-video luo latentin visuaalisen suunnitelman, joka edustaa, miten tehtävä saattaa kehittyä. Erillinen toimintadekooderi käyttää tuota sisäistä edustusta generoimaan robotin liikkeet.

Tutkimusraportissaan yhtiö ilmoitti, että mimic-video saavutti noin kymmenen kertaa suuremman näytevirran tehokkuuden ja kaksi kertaa nopeamman koulutusnopeuden verrattuna verrattavaan VLA-arkkitehtuuriin arvioissaan. Todellinen järjestelmä koulutettiin noin 500 trajektorian avulla dexterous kaksikätisestä robottiasennosta.

FLUX-mimic laajentaa tämän käsitteen FLUX 3 -arkkitehtuurin ja suunnittelun avulla, joka on luotu nimenomaan fyysiseen tekoälyyn.

Mimic roboticsin mukaan tehtävät, jotka aiemmin olisivat vaatineet 30 tuntia tai enemmän robotin esittelyjä, voivat saavuttaa tuotantovalmiin suorituskyvyn vain 30 minuutin datan avulla. Tämä luku edustaa yhtiön ilmoittamaa tulosta ja tulee lopulta arvioitavaksi laajemmassa valikoimassa tehtaita, laitteistokonfiguraatioita ja tuotantotilanteita.

Vaikka sitä ei voida vielä arvioida, data vaatimusten vähentäminen sillä tavoin voisi muuttaa olennaisesti teollisuusrobotiikan taloutta. Käyttöönottoon liittyvät kustannukset ulottuvat usein robottiin itseensä, ja huomattavat resurssit on omistettu ohjelmointiin, integrointiin, simulointiin, testaamiseen ja uudelleen suunnitteluun aina, kun tuote tai prosessi muuttuu.

Audi Tarjoaa Vaativan Teollisen Testin

Audi työskentelee mimic roboticsin kanssa arvioidakseen FLUX-mimicin todellisissa valmistusympäristöissä, joissa automaatiojärjestelmien on selviytävä tuotteen vaihtelusta, tiukista tuotantovaatimuksista ja tehtävistä, jotka eivät aina voida muuttaa toistuviksi liikkeiksi.

Autonvalmistaja sanoo, että robotit ovat suorittaneet monimutkaisia pehmeiden kehojen käsittelytehtäviä, jotka olisivat olleet erittäin vaikeita käsitellä perinteisillä roboteilla. Joustavat materiaalit ovat erityisen haasteellisia, koska niiden muoto muuttuu käsittelyn aikana, mikä tekee vaikeaksi määritellä jokainen liike kiinteiden koordinaattien tai sääntöjen avulla.

Audin laajempi automaatioalan tutkimus osoittaa, miksi sopeutumiskyky on tulevaisuudessa tärkeämpää. Böllinger Höfen -laitoksessaan yhtiö on testannut tekoälyä, mobiilirobotteja, tietokoneen näköa, ja uusia poimintateknologioita todellisessa laboratoriossa. Audi on huomauttanut, että korkean määrän mukauttamista vaativat ajoneuvot, kuten e-tron GT, luo monimutkaisia logistiikka prosesseja, jotka sisältävät suuren määrän erilaisia osia.

Perinteiset teollisuusrobotit ovat edelleen erittäin tehokkaita, kun ympäristö on rakennettu ja jokainen esine saapuu ennustettavassa asemassa. Ne tulevat vähemmän taloudellisiksi, kun osat, materiaalit tai tuotevariantit muuttuvat usein tarpeeksi vaatimaan toistuvaa insinöörintyötä.

Oppimisperusteiset järjestelmät voivat tehdä nämä matalamman volyymin ja suuremman vaihtelun prosessit automaattisemmin. Sen sijaan, että kirjoitettaisiin uusi ohjelma jokaiselle tehtävälle, valmistajat voivat esittää toivottua käyttäytymistä ja antaa järjestelmän oppia, miten se toistetaan.

Yhdistäminen Malleja, Laitteistoa ja Ihmisen Esittelyjä

Malli on osa laajempaa täyden pinon robotti-alustaa, jota mimic robotics kehittää.

Yhtiö rakentaa omaa dexterous robotti käsivara laitteistoa, wearable datakeräysvälineitä, robottioppimismalleja ja käyttöönottoinfrastruktuuria. Sen wearable-järjestelmä on suunniteltu tallentamaan ihmisen käsi liikkeet muodossa, joka voidaan siirtää suoremmin yhtiön robotti käsivarsiin.

Tämä keskittyminen käsiin eikä kokonaisiin humanoidirobotteihin heijastaa kohdennettua lähestymistapaa teolliseen automaatioon. Dexterous kädet voidaan kiinnittää perinteisiin robotti käsivarsiin, joita käytetään jo tehtaissa, vähentäen tarvetta esitellä uuden robotti muodon. ETH Zurich kuvaa lähestymistapaa yhdistämällä ihmisen kaltaisen käsittelyn perinteisen teollisen laitteiston kanssa, jotta voidaan ratkaista tehtäviä, jotka vaativat sopeutumiskykyä ja itsekorjausta.

Perustettu ETH Zurichin spin-offina vuonna 2024, mimic robotics on kasvanut yli 50 työntekijään Zürichissä ja San Franciscossa. Sen tiimi kattaa mallintutkimuksen, robotiikan, laitteistokehityksen, dataoperaatiot ja teollisen käyttöönoton.

Laajemmat Vaikutukset Tehtaan Automaatioon

FLUX-mimicin merkitys riippuu vähemmän eristetyistä esittelyistä kuin siitä, voivatko teknologia ylläpitää korkeita onnistumisluokkia tuhansien tuotantokiertojen ajan.

Tehtaat vaativat johdonmukaista suorituskykyä, ennustettavia kiertoaikoja, turvallista toimintaa työntekijöiden ympärillä, nopeaa palautumista virheistä ja integrointia olemassa oleviin valmistusjärjestelmiin. Malli, joka oppii nopeasti mutta käyttäytyy ennustamattomasti, ei tarjoa mitään etua perinteiseen automaatioon nähden.

Sen sijaan, jos video-toimintamallit voivat ylläpitää ilmoitettua data tehokkuuttaan samalla, kun ne täyttävät teollisen luotettavuuden vaatimukset, ne voivat laajentaa robottiikan käyttöä työhön, joka on jäänyt manuaaliseksi, koska se on ollut liian muuttuvaa tai kallista ohjelmoida.

Se voisi sisältää joustavien komponenttien kokoonpanon, sekalaisen varastoinnin lajittelu, epäsäännöllisten esineiden lajittelu, usein muuttuvien tuotteiden pakkaamisen ja työntekijöiden tukemisen fyysisesti vaativissa prosesseissa.

Pitkän aikavälin mahdollisuus ei ole ainoastaan kykenevämpi robotti käsivarsi. Se on erilainen käyttöönoton malli, jossa valmistajat opettavat koneita esittelyjen avulla eikä määrittele jokaisen liikkeen etukäteen.

Audin osallistuminen antaa FLUX-mimicille mahdollisuuden osoittaa, että tämä lähestymistapa voi siirtyä ohjatuista tutkimusympäristöistä. Onnistuminen autotehtaan lattialla tarjoaisi tärkeän osoituksen siitä, että generatiiviset videomallit voivat tulla enemmän kuin vain digitaalisen median luomistyökaluiksi, palvelemalla sen sijaan osana älykerrosta, joka ohjaa koneita fyysisessä maailmassa.