Googleova AI uči robote kako se kretati promatrajući pse

Čak se i neki od najnaprednijih robota danas još uvijek kreću pomalo nezgrapno, trzavo. Kako bi natjerali robote da se kreću na životniji, fluidniji način, istraživači u Googleu razvili su AI sustav koji je sposoban učenje iz pokreta stvarnih životinja. Googleov istraživački tim objavio je a papir za pretisak koji je detaljno opisao svoj pristup krajem prošlog tjedna. U radu i popratnom blog post, istraživački tim opisuje obrazloženje iza sustava. Autori rada vjeruju da bi robotima davanje prirodnijeg kretanja moglo pomoći u ispunjavanju zadataka iz stvarnog svijeta koji zahtijevaju precizno kretanje, kao što je isporuka predmeta između različitih razina zgrade.

Kako je objavio VentureBeat, istraživački tim upotrijebio je učenje s pojačanjem za treniranje svojih robota. Istraživači su započeli prikupljanjem isječaka stvarnih životinja koje se kreću i korištenjem tehnika učenja s pojačanjem (RL) kako bi potaknuli robote da oponašaju pokrete životinja u videoisječcima. U ovom slučaju, istraživači su trenirali robote na isječcima psa, dizajniranim u simulatoru fizike, dajući upute četveronožnom robotu Unitree Laikago da oponaša pokrete psa. Nakon što je robot uvježban, bio je sposoban izvoditi složene pokrete kao što su skakutanje, okretanje i brzo hodanje, brzinom od oko 2.6 milja na sat.

Podaci o obuci sastojali su se od približno 200 milijuna uzoraka pasa u pokretu, praćenih u fizičkoj simulaciji. Različiti pokreti zatim su prošli kroz funkcije nagrađivanja i politike pomoću kojih su agenti učili. Nakon što su pravila stvorena u simulaciji, prebačena su u stvarni svijet pomoću tehnike koja se naziva prilagodba latentnog prostora. Budući da su simulatori fizike korišteni za treniranje robota mogli samo približiti određene aspekte kretanja u stvarnom svijetu, istraživači su nasumično primijenili različite poremećaje na simulaciju, s namjerom da simuliraju rad u različitim uvjetima.

Prema istraživačkom timu, uspjeli su prilagoditi politike simulacije robotima u stvarnom svijetu koristeći samo osam minuta podataka prikupljenih iz više od 50 različitih ispitivanja. Istraživači su uspjeli pokazati da roboti iz stvarnog svijeta mogu oponašati niz različitih, specifičnih pokreta poput kasanja, okretanja, skakutanja i hodanja. Čak su mogli imitirati animacije koje su stvorili umjetnici animacije, poput kombinacije skoka i okretanja.

Istraživači sažimaju nalaze u radu:

“Pokazujemo da korištenjem referentnih podataka o kretanju, jedan pristup temeljen na učenju može automatski sintetizirati kontrolere za raznoliki repertoar [ponašanja] za nožne robote. Uključivanjem uzoraka učinkovitih tehnika prilagodbe domene u proces obuke, naš sustav može naučiti prilagodljive politike u simulaciji koje se potom mogu brzo prilagoditi za implementaciju u stvarnom svijetu.”

Politike kontrole korištene tijekom procesa učenja s potkrepljenjem imale su svoja ograničenja. Zbog ograničenja nametnutih hardverom i algoritmima, bilo je nekoliko stvari koje roboti jednostavno nisu mogli učiniti. Na primjer, nisu mogli trčati ili napraviti velike skokove. Naučene politike također nisu pokazale toliko stabilnosti u usporedbi s pokretima koji su ručno dizajnirani. Istraživački tim želi produžiti posao tako što će kontrolere učiniti robusnijima i sposobnima za učenje iz različitih vrsta podataka. U idealnom slučaju, buduće verzije okvira moći će učiti iz video podataka.