Robottien koulutuksen todellinen hinta

Ensimmäisessä osassa keskustelimme siitä, miten robotit kehittyvät perusmekaniikasta ympäristönsä ymmärtämiseen. Viimeisen vaiheen jälkikoulutuksessa, jossa robotteja opetetaan tiettyihin räätälöityihin tehtäviin, vastaan tulee odottamaton este. Se liittyy dataan: sen keräämiseen, järjestämiseen ja skaalaamiseen todellisissa olosuhteissa.

Tässä vaiheessa kuilu konseptin ja toteutuksen välillä tulee selkeimmin esiin. Mitkä ovat keskeiset pullonkaulat, ja miten ne voidaan voittaa mahdollisimman sujuvasti?

Miksi tuhannet tunnit dataa muuttuvat vuosien työksi

Kuvitelkaamme, että meillä on jo koulutettu robotti, joka on käynyt esikoulutuksen. Se pystyy navigoimaan ympäristössään, liikkumaan, välttämään esteitä ja olemaan vuorovaikutuksessa esineiden kanssa. Se on kuin “kymmenenvuotias lapsi”, joka on yleisesti ottaen kykenevä toimimaan itsenäisesti. Seuraava askel on opettaa sille tiettyjä toimintoja tietyissä olosuhteissa, esimerkiksi asentamaan lasilevyjä ja tiivisteitä autonvalmistuksen tuotantolinjalle.

Ensi silmäyksellä tehtävä näyttää yksinkertaisemmalta. Siinä on hallittava vain yksi skenaario, ja dataa tarvitaan huomattavasti vähemmän kuin esikoulutuksessa. Perustavanlaatuinen koulutus voi vaatia satojatuhansia tunteja, kun taas jälkikoulutukseen saattaa riittää tuhansia. Nämä luvut ovat kuitenkin harhaanjohtavia.

Kun luvut muunnetaan todelliseksi ajankäytöksi, prosessin monimutkaisuus paljastuu. Tavanomaisella työajalla ihminen työskentelee noin 160 tuntia kuukaudessa. Tämä ei kuitenkaan tarkoita, että kaikki tämä aika voidaan käyttää tallentamiseen.

Käytännössä keskeytyksiä tulee jatkuvasti: akut tyhjenevät, kamerat siirtyvät paikoiltaan ja anturit lakkaavat toimimasta. Mitä monimutkaisempi laitekokoonpano on, sitä todennäköisemmin ongelmia ilmenee. Jopa yksinkertainen vika, kuten käsineen anturien toiminnan lakkaaminen, voi pysäyttää prosessin ja hukata työaikaa.

Tämän seurauksena dataa kertyy käytännössä vain kolmanneksesta puoleen teoreettisesta nopeudesta. Yksi tunti laadukasta tallennusta voi vaatia jopa kolme tuntia todellista työtä. Tämä muuttaa laskelmaa radikaalisti: 5 000 tuntia dataa vastaa noin 15 000 tuntia työtä.

Monimutkaisuuskerroksia

Esikoulutuksessa voi riittää, että henkilölle annetaan kamera ja pyydetään tallentamaan arkipäivän toimintoja. Tässä vaiheessa vaaditaan kuitenkin pääsy tiettyyn ympäristöön, kuten tehtaaseen, rakennustyömaalle tai erityiseen tuotantolaitokseen.

Tästä seuraa heti käytännön rajoituksia. Esimerkiksi rakennustyömaalla työntekijöiden on käytettävä turvallisuuden vuoksi suojakypärää, mikä edellyttää erityisen laitteiston kehittämistä: kypärää, jossa on integroitu kamera, joka kestää pölyä, kosteutta ja iskuja.

Seuraavaksi on järjestettävä pääsy itse kohteeseen. On tehtävä sopimukset alueen omistajien kanssa, haettava lupia ja neuvoteltava ehtoja. Tästä aiheutuu lähes aina lisäkustannuksia: yritykset odottavat korvauksia, ja työntekijät odottavat palkkaa osallistumisestaan.

Myös vakuutukset ja turvallisuusvaatimusten noudattaminen nousevat keskeisiksi kysymyksiksi. Jos laitteisto ei täytä vaadittuja standardeja, vakuutus voidaan mitätöidä, mikä pakottaa koko prosessin uudelleenjärjestelyyn.

Myös päivittäisessä toiminnassa haasteet jatkuvat. Kamerat on käynnistettävä, ja niiden toimintaa on valvottava sekä laitteita huollettava. Työntekijät työskentelevät käsineet kädessä ja ankarissa olosuhteissa. Laitteet likaantuvat, kuluvat ja hajoavat. Kamera voi sammua muutaman minuutin kuluttua, eikä henkilö edes huomaa.

Tämä luo tarpeen osallistujien koulutukselle – heidän on ymmärrettävä, miten laitteita käytetään. Lisäksi jatkuva valvonta on tarpeen – jonkun on varmistettava, että tallennus on meneillään ja laitteet toimivat oikein.

Raakavideosta koulutusdataksi

Tallennuksen jälkeen seuraava vaihe alkaa: tietojen kerääminen, lataaminen, järjestäminen, laadun validointi ja merkintä.

Mikä tahansa raakadata koostuu videosta ja anturisignaaleista. Sen muuttamiseksi koulutusmateriaaliksi se on järjestettävä: esineet on tunnistettava, toiminnot tallennettava ja tilat, liikkeet sekä vuorovaikutus ympäristön kanssa kuvattava. Tässä vaiheessa merkintä tulee esiin. Looginen kysymys nousee – mikä on paras käytäntö tällaiselle merkintätyölle?

Joissakin tapauksissa yksinkertaiset rajauslaatikot riittävät esineiden tunnistamiseen kuvasta. Toisissa tapauksissa tarvitaan ajallista annotointia kuvaamaan toimintojen etenemistä. Tietyissä skenaarioissa avainpisteitä ja luurankomalleja käytetään kehon liikkeen tallentamiseen. Monimutkaisemmissa tapauksissa 3D-verkkoja tai käden asennon seurantaa tarvitaan vuorovaikutusmekaniikan tarkkaan kuvaamiseen. Lisäksi muita antureita, kuten kiihtyvyysantureita, käytetään liikkeen dynamiikan ja käytetyn voiman tallentamiseen.

Tällaiset projektit vaativat usein myös tiimin laajentamista. Merkintä on suuri ja monimutkainen tehtävä itsessään, joka vaatii aikaa, asiantuntemusta ja merkittäviä inhimillisiä resursseja. Tässä vaiheessa dataratkaisujen tarjoajat, joilla on omat annotointitiimit, tulevat mukaan. Kuten Keymakr, joka on osoittautunut erityisen tehokkaaksi kykynsä ansiosta skaalata tiimejä vastaamaan mitä tahansa tietojen määrää – yhdestä asiantuntijasta satoihin merkintätyöntekijöihin.

Koulutukseen ei vielä ole yhtä oikeaa lähestymistapaa

Ala on edelleen etsintävaiheessa, eikä konsensusta ole saavutettu siitä, mikä tietojen yhdistelmä tuottaa parhaat tulokset. Monet lähestymistavat vahvistetaan empiirisesti, koska ne toimivat tietyissä kokeissa. Sen seurauksena eri tiimit käyttävät edelleen eri teknologioita omien kokemustensa, tehtäviensä ja rajoitteidensa pohjalta.

Tämä johtaa hajaantumiseen sekä akateemisella että soveltavalla tasolla: laboratoriot ja yritykset liikkuvat eri suuntiin. Tilanne muistuttaa itseohjautuvan ajamisen varhaisia päiviä, kun Tesla (TSLA ) panosti pelkkään konenäköön ilman LiDARia, kun taas useimmat muut toimijat valitsivat LiDARin ydinanturiksi.

Nykyään LiDAR-pohjaiset järjestelmät osoittavat usein vakaampaa suorituskykyä, mutta Teslan lähestymistapa jatkaa kehittymistään. Ero on, että itseohjautuvassa ajossa markkinat ovat jo kypsiä: vakaat arkkitehtuurit ovat kehittyneet, rajoitukset tunnetaan hyvin ja merkittävää asiantuntemusta on kertynyt.

Fyysisen tekoälyn ja vastaavan mallikoulutuksen kohdalla tällaista kypsyystasoa ei sitä vastoin ole vielä saavutettu. Markkinat ovat edelleen muotoutumassa, standardeja ei ole, ja suurin osa edistymisestä perustuu kokeiluihin. Uudet menetelmät mallien kouluttamiseen, tehokkuuden parantamiseen ja sopeutumiseen todellisiin skenaarioihin jatkavat nousemista, mikä viittaa siihen, että tärkeimmät läpimurrot tällä alalla ovat edelleen edessä.

Ihminen vahvistusjärjestelmänä

Annotointi ei ole irrallista toimintaa eikä palvele vain mallia. Se toimii työkaluna insinöörille, joka rakentaa mallin. Sen avulla insinööri formalisoi todellisuuden, tunnistaa avainparametrit ja määrittelee järjestelmän käyttäytymissäännöt.

Insinöörin tehtävä on opettaa järjestelmä toimimaan oikein todellisissa olosuhteissa. Esimerkiksi perusskenaario voi koostua neljästä toiminnosta: lasin nostamisesta, hanan avaamisesta, täyttämisestä ja hanan sulkemisesta. Mutta todellisuudessa poikkeama tapahtuu – lasi tulvii yli.

Tässä tilanteessa mallin odotetaan vievän skenaarion loppuun ja tekevän lisätoimia: pysäyttävän veden virtauksen, säätävän veden määrää ja estävän veden valumisen yli. Tämä on käyttäytymislogiikkaa kontekstuaalisen ymmärryksen perusteella.

Insinööri seuraa sykliä: merkitse dataa, kouluta mallia, testaa sitä. Jos järjestelmä toimii, hypoteesi vahvistetaan. Jos ei, analyysi alkaa.

Jossain vaiheessa voi käydä ilmi, että mallilta puuttuu tärkeä parametri, kuten lasin täyttöaste. Aiemmin data saattoi sisältää esineiden (lasi, hana, kahva) ja toimintojen (avaaminen, täyttäminen, sulkeminen) annotointeja mutta ei tilan, kuten täyttöasteen, annotointeja.

Uusi kerros lisätään prosessiin: täyttöasteen merkintä, jota seuraa formalisointi, esimerkiksi määritelmä, jossa yli 85 prosentin täyttöaste tarkoittaa kriittistä tilaa.

Tämä johtaa seuraavaan koulutuksen iteraatioon. Voit käydä läpi satoja tällaisia iteraatioita.

Kukaan ei oleta, että järjestelmä toimisi oikein välittömästi. Sen sijaan prosessi on rakennettu peräkkäisten approksimointien ympärille: ensin luodaan perusversio; sitten se testataan todellisissa tai lähes todellisissa olosuhteissa; aukot tunnistetaan; ja järjestelmä jalostetaan. Tämä on asia, josta keskustelen usein Introspectorin asiakkaideni kanssa. Kuljemme yhdessä koko fyysisen tekoälyn kehityspolun.

Tietyssä vaiheessa haluttu tulos saavutetaan. Mutta sen arvo ei ole ainoastaan siinä, että järjestelmä alkaa toimia, vaan kertyneessä kokemuksessa, joka mahdollistaa tuloksen toistamisen ennustettavammin.

Taloudellinen puoli, jonka kaikki unohtavat

Viimeisen vuoden aikana olen huomannut, että suurin virhe, jonka yritykset tekevät työskennellessään egosentrisen datan kanssa, liittyy vain vähän tekniikkaan.

Perusongelma on itse asiassa hankkeen taloudellisten edellytysten aliarvioinnissa.

Idean vaiheessa tekniikka on keskipisteenä – mitä malleja käytetään, miten niitä koulutetaan ja mitä lähestymistapoja sovelletaan. Perehdymme aiheeseen, tutkimme, keskustelemme arkkitehtuureista ja testaamme hypoteeseja. Tämä on luonnollista: tekniikka tuntuu konkreettisimmalta ja ilmeisimmältä osalta ongelmaa.

Harvemmin tiimit kysyvät suoraa ja käytännöllistä kysymystä tässä vaiheessa: kuinka paljon se maksaa?

Kun projekti siirtyy teoriasta toteutukseen, selviää, että jokaisen mallin takana on kymmeniä tuhansia tunteja dataa. Tämän datan kerääminen vaatii aikaa, pääsyä todellisiin ympäristöihin ja asiantuntijoiden osallistumista. Merkintä lisää vielä yhden kerroksen monimutkaisuutta ja kustannuksia. Tuloksena lopulliset numerot ovat usein kertaluokkia suuremmat kuin aluksi odotettiin.

Tämä ei tarkoita, ettei tällaisia projekteja pitäisi toteuttaa. Päinvastoin, ne vievät alaa eteenpäin.

Tärkeää on kuitenkin ymmärtää haasteen mittakaava heti alusta. On tunnistettava, että mallikoulutuksessa jokaisen hämmästyttävän algoritmin takana on monimutkaista, runsaasti resursseja vaativaa datatyötä.

Vahvatkin ideat jäävät toteutumatta täysimittaisesti, kun datan kustannukset nousevat reilusti yli seitsennumeroisten summien.

Ehkä tärkein robotiikassa nyt tapahtuva muutos liittyy juuri tähän oivallukseen. Näiden järjestelmien tulevaisuutta määrittää sekä niiden ”älykkyys” että se, miten tehokkaasti ja täsmällisesti koko dataputki rakennetaan datan keräämisestä lopulliseen tulkintaan.