Google’s AI lär robotar att röra sig genom att titta på hundar

Även några av de mest avancerade robotarna idag rör sig fortfarande på ett ganska klumpigt och ryckigt sätt. För att få robotar att röra sig på ett mer levande och flytande sätt har forskare på Google utvecklat ett AI-system som kan lära sig från rörelserna hos verkliga djur. Google-forskningsgruppen publicerade en preprint-artikel som beskrev deras tillvägagångssätt i slutet av förra veckan. I artikeln och en tillhörande blogginlägg, beskriver forskargruppen resonemanget bakom systemet. Författarna till artikeln tror att om man utrustar robotar med mer naturliga rörelser kan de hjälpa dem att utföra verkliga uppgifter som kräver exakt rörelse, såsom att leverera föremål mellan olika nivåer i en byggnad.

Som VentureBeat rapporterade, använde forskargruppen förstärkt inlärning för att träna sina robotar. Forskarna började med att samla in klipp av verkliga djur i rörelse och använde förstärkt inlärning (RL) för att driva robotarna att imitera rörelserna från djuren i videoklippen. I det här fallet tränade forskarna robotarna på klipp av en hund, designad i en fysiksimulator, och instruerade en fyrbenad Unitree Laikago-robot att imitera hundens rörelser. Efter att roboten var tränad kunde den utföra komplexa rörelser som hopp, vändning och snabb gång, med en hastighet på cirka 2,6 miles i timmen.

Träningsdata bestod av cirka 200 miljoner prover av hundar i rörelse, spårade i en fysiksimulator. De olika rörelserna kördes sedan genom belöningsfunktioner och policys som agenter lärde sig med. Efter att policys skapades i simuleringsmiljön överfördes de till den verkliga världen med hjälp av en teknik som kallas latent utrymmeanpassning. Eftersom fysiksimulatorerna som användes för att träna robotarna endast kunde approximera vissa aspekter av rörelse i den verkliga världen, tillämpade forskarna slumpmässigt olika störningar på simuleringsmiljön, avsedda att simulera drift under olika förhållanden.

Enligt forskargruppen kunde de anpassa simuleringspolicys till verkliga robotar med hjälp av endast åtta minuters data som samlats in från 50 olika försök. Forskarna kunde demonstrera att de verkliga robotarna kunde imitera en mängd olika, specifika rörelser som trav, vändning, hopp och gång. De kunde till och med imitera animationer skapade av animationsartister, såsom en kombination av hopp och vändning.

Forskarna sammanfattar resultaten i artikeln:

“Vi visar att genom att utnyttja referensrörelsedata kan en enda inlärningsbaserad approach automatiskt syntetisera kontroller för en mångfald [av] beteenden för beniga robotar. Genom att inkorporera exempel-effektiva domänanpassningstekniker i träningsprocessen kan vårt system lära sig anpassningsbara policys i simuleringsmiljön som sedan kan anpassas snabbt för verklig distribution.”

De kontrollpolicys som användes under den förstärkta inlärningsprocessen hade sina begränsningar. På grund av begränsningar som påtvingats av hårdvaran och algoritmerna kunde robotarna inte göra vissa saker. De kunde till exempel inte springa eller göra stora hopp. De inlärda policys visade inte heller lika stor stabilitet jämfört med rörelser som designats manuellt. Forskargruppen vill ta arbetet vidare genom att göra kontrollerna mer robusta och kapabla att lära sig från olika typer av data. Idealt sett kommer framtida versioner av ramverket att kunna lära sig från videodata.