Googles AI lærer robotter at bevæge sig ved at se på hunde

Even de mest avancerede robotter i dag bevæger sig stadig på en lidt klodset, rykkelig måde. For at få robotterne til at bevæge sig på en mere levende, flydende måde, har forskere ved Google (GOOGL ) udviklet et AI-system, der kan lære af bevægelserne fra rigtige dyr. Google-forskningsholdet offentliggjorde en preprint-artikel, der beskriver deres tilgang, for nylig. I artiklen og en tilhørende blogindlæg, beskriver forskerholdet baggrunden for systemet. Artiklens forfattere mener, at det at give robotter mere naturlig bevægelse kan hjælpe dem med at udføre virkelige opgaver, der kræver præcis bevægelse, såsom at levere varer mellem forskellige etager i en bygning.

Som VentureBeat rapporterede, anvendte forskerholdet forstærkningslæring til at træne deres robotter. Forskerne startede med at indsamle klip af rigtige dyr i bevægelse og anvendte forstærkningsteknikker til at få robotterne til at efterligne dyrenes bevægelser i videooptagelserne. I dette tilfælde trænede forskerne robotterne på klip af en hund, designet i en fysiksimulator, og instruerede en firebenet Unitree Laikago-robot til at efterligne hundens bevægelser. Efter at robotten var trænet, kunne den udføre komplekse bevægelser som hop, dreje og gå hurtigt, med en hastighed på omkring 4,2 kilometer i timen.

Træningsdata bestod af ca. 200 millioner eksempler på hunde i bevægelse, sporet i en fysiksimulator. De forskellige bevægelser blev derefter kørt gennem belønningsfunktioner og politikker, som agenterne lærte af. Efter at politikkerne var oprettet i simulationen, blev de overført til den virkelige verden ved hjælp af en teknik kaldet latent rumtilpasning. Da fysiksimulatorerne, der blev brugt til at træne robotterne, kun kunne approksimere visse aspekter af virkelige bevægelser, anvendte forskerne tilfældigt forskellige perturbationer til simulationen, med det formål at simulere drift under forskellige betingelser.

Ifølge forskerholdet kunne de tilpasse simulationspolitikkerne til de virkelige robotter ved hjælp af kun otte minutters data, indsamlet fra 50 forskellige forsøg. Forskerne kunne demonstrere, at de virkelige robotter kunne efterligne en række forskellige, specifikke bevægelser som trav, dreje, hoppe og gå. De kunne endda efterligne animationer skabt af animationskunstnere, såsom en kombination af hop og drej.

Forskerne sammenfatter resultaterne i artiklen:

“Vi viser, at ved at udnytte referencebevægelsesdata kan en enkelt læringssystem automatisk syntetisere kontrolpolitikker for en bred vifte af adfærd for benede robotter. Ved at inkorporere effektive domænetilpasningsteknikker i træningsprocessen kan vores system lære adaptive politikker i simulation, der derefter kan tilpasses hurtigt for virkelig verden.”

Kontrolpolitikkerne, der blev anvendt under forstærkningslæringen, havde deres begrænsninger. På grund af begrænsninger, der var pålagt af hardwaren og algoritmerne, var der nogle ting, robotterne simpelthen ikke kunne gøre. De kunne ikke løbe eller foretage store spring, for eksempel. De lærte politikker viste heller ikke så meget stabilitet, når de sammenlignes med bevægelser, der var designet manuelt. Forskerholdet ønsker at fortsætte arbejdet ved at gøre kontrolsystemerne mere robuste og i stand til at lære af forskellige typer data. Ideelt set vil fremtidige versioner af rammeværket være i stand til at lære af videodata.