Robotit voivat oppia monimutkaisia tehtäviä vain muutamasta esittelystä

Yhdysvaltain Etelä-Carolinan yliopiston (USC) tutkijat ovat kehittäneet järjestelmän, jossa robotit voivat oppia monimutkaisia tehtäviä vain muutamasta esittelystä. Tutkimus esiteltiin Robot Learning -konferenssissa (CoRL) 18. marraskuuta, ja sen otsikko oli “Oppiminen esittelyistä käyttäen signaali-ajallista logiikkaa.”

Tutkimuksen johtaja on Aniruddh Puranic, joka on tietokoneiden tutkimuksen tohtorikoulutettava USC Viterbin insinööritieteellisessä tiedekunnassa.

“Monet koneoppimisen ja vahvistusoppimisen järjestelmät vaativat suuria määriä dataa ja satoja esittelyjä – ihminen on esiteltävä useita kertoja, mikä ei ole toteutettavissa”, Puranic sanoo.

“Myös useimmat ihmiset eivät ole ohjelmointitaitoisia, eivätkä he voi selkeästi määritellä, mitä robotti tarvitsee tehdä, ja ihminen ei voi esittää kaikkea, mitä robotti tarvitsee tietää”, hän jatkaa. “Mitä tapahtuu, jos robotti kohtaa jotain, mitä se ei ole aiemmin nähnyt? Tämä on avainhaaste.”

Tutkijat käyttivät “signaali-ajallista logiikkaa” eli STL:ää määrittämään esittelyjen laatua ja luomaan sisäisiä palkkioita.

On kaksi pääsyytä, miksi tutkijat päättivät käyttää STL:ää:

1. Robotit voivat oppia esittelyistä virheitä tai epätoivottuja käyttäytymisiä.
2. Esittelyt voivat vaihdella laadussa riippuen siitä, kuka niitä antaa, ja jotkut esittelyt ovat parempia kuin toiset.

Kehittämällä järjestelmän tällä tavoin robotti voi oppia myös epä täydellisistä esittelyistä, vaikka ne eivät täytä loogisia vaatimuksia. Toisin sanoen, se tekee oman johtopäätöksensä oikeellisuudesta tai onnistumisesta.

Stefanos Nikolaidis on tutkimuksen yhteishistorioitsija ja USC Viterbin apulaisprofessori tietokoneiden tutkimuksessa.

“Kuvitellaan, että robotit oppivat erilaisista esittelyistä – se voi olla käytännön esittely, video tai simulaatio – jos teen jotain, mikä on hyvin vaarallista, perinteiset lähestymistavat tekevät yhden kahdesta asiasta: joko ne hylkäävät sen täysin, tai pahemmassa tapauksessa robotti oppii väärän asian”, Nikolaidis sanoo.

“Tämä työ käyttää järkeä loogisen muodon kautta ymmärtääkseen, mitkä osat esittelyistä ovat hyviä ja mitkä eivät”, hän jatkaa. “Tämä on sama, mitä ihmisetkin tekevät.”

Järjestelmä

Järjestelmä mittaa kunkin esittelyn laatua, jotta se voi oppia onnistumisistaan ja epäonnistumisistaan. Toisin kuin nykyiset menetelmät, jotka vaativat vähintään 100 esittelyä opettaakseen tietyn tehtävän, uusi järjestelmä vaatii vain muutamia esittelyjä. Intuitiivisella tavalla robotit oppivat samalla tavalla kuin ihmiset toisiltaan. Esimerkiksi ihmiset katsovat ja oppivat toisiltaan tehtävien suorittamisesta onnistuneesti tai epäonnistuneesti.

Jyo Deshmukh on entinen Toyota-insinööri ja apulaisprofessori tietokoneiden tutkimuksessa USC:ssa.

“Kun menemme kyberfyysisten järjestelmien maailmaan, kuten roboteihin ja itsestään ajaviin autoihin, joissa aika on kriittinen, lineaarinen ajallinen logiikka tulee hieman kömpelöksi, koska se perustuu totuusarvojen jonoille, kun taas STL sallii fyysisten signaalien perusteella tapahtuvan päättelyn”, Deshmukh sanoo.

Tutkijaryhmä oli yllättynyt järjestelmän menestyksestä.

“Vertailtaessa nykyisiin algoritmien parhaisiin, joita käytetään laajasti robotti-sovelluksissa, havaitaan, että uusi järjestelmä vaatii vain murto-osan esittelyistä”, Nikolaidis sanoo.

Tutkijoiden mukaan järjestelmä voisi oppia myös ajosimulaattoreista ja lopulta videoista. Seuraava askel on testata se oikeilla robooteilla, sillä alustava testaus tehtiin pelisimulaattorilla. Järjestelmä on hyödyllinen sovelluksissa, kuten kotiympäristöissä, varastoissa ja avaruuden tutkimusrobooteissa.

“Jos haluamme, että robotit ovat hyviä tiimikumppaneita ja auttavat ihmisiä, ne tarvitsevat ensin oppia ja sopeutua ihmisten preferensseihin hyvin tehokkaasti”, Nikolaidis sanoo. “Meidän menetelmämme tarjoaa tämän.”