Robot Kendisini Yürümeye Reinforcement Learning İle Öğretti

Boston Dynamics ve dans eden robotlar genellikle en çok dikkat çekenler olurken, sahne arkasında yeterli dikkat görmeyen bazı önemli gelişmeler đang gerçekleşiyor. Bu gelişmelerden biri, Cassie adlı bir robotun Berkeley laboratuvarında reinforcement learning yoluyla yürüyerek öğrenebilmesi.

Deneme ve yanılma yoluyla, robotik bacaklar simüle edilmiş bir ortamda navigasyon öğrendikten sonra gerçek dünyada test edildi. Başlangıçta, robot her yönde yürüyebilme, çömelme, dengesini kaybetmesi durumunda kendini yeniden konumlandırma ve farklı yüzeylere uyum sağlama yeteneği gösterdi.

Cassie robotu, iki bacaklı bir robotun reinforcement learning yoluyla yürüyerek öğrenebilmesinin ilk örneği.

Dans Eden Robotların Heyecanı

Boston Dynamics gibi robotlar非常 etkileyici ve neredeyse herkesi izleyenleri hayran bırakıyorlar, ancak birkaç önemli faktör var. Bu robotlar, elde edilen sonucu elde etmek için el ile programlanıyor ve koreografi yapıyorlar, ancak bu, gerçek dünya durumlarında tercih edilen yöntem değil.

Laboratuvar dışında, robotlar dayanıklı, esnek, güçlü ve çok daha fazlası olmalı. Bunların yanı sıra, beklenmedik durumlarla karşılaşma ve bunları yönetme yeteneğine sahip olmalılar, bu da yalnızca kendilerine böyle durumlarla başa çıkma yeteneği verilerek sağlanabilir.

Zhongyu Li, Cassie üzerinde çalışan Berkeley Üniversitesi ekibinin bir üyesiydi.

“Bu videolar bazı insanların bu problemin çözüldüğünü ve kolay olduğunu düşünmesine neden olabilir,” diyor Li. “Ancak insan benzeri robotların güvenilir bir şekilde çalışması ve insan çevrelerinde yaşaması için masih uzun bir yolümüz var.”

https://www.youtube.com/watch?v=goxCjGPQH7U

Peşışenci Öğrenme

Bu tür bir robot oluşturmak için, Berkeley ekibi, DeepMind gibi şirketlerin dünyanın en karmaşık oyunlarında algoritmaları insanları yenmeye yetiştirmek için kullandığı reinforcement learning yöntemine başvurdu. Peşışenci öğrenme, deneme ve yanılma yoluyla çalışır, robot hatalarından öğrenir.

Cassie robotu, simülasyonda yürüyerek öğrenmek için reinforcement learning kullandı, bu approach daha önce de kullanılmıştı. Ancak bu, genellikle simüle edilmiş ortamdan gerçek dünyaya çıkmaz. Küçük bir fark bile robotun yürüyememesine neden olabilir.

Araştırmacılar, bir değil, iki simülasyon kullandılar, ilki açık kaynaklı bir eğitim ortamı olan MuJoCo idi. Bu ilk simülasyonda, algoritma mümkün hareketlerin kütüphanesinden denedi ve öğrendi, ikinci simülasyonda ise SimMechanics, robotu daha gerçekçi koşullarda test etti.

İki simülasyonda geliştirildikten sonra, algoritmanın gerçek dünyada çalışması için ince ayar yapılması gerekmedi. Zaten hazır halde idi. Sadece yürüyebilme yeteneğine sahip olmakla kalmadı, çok daha fazlasını başardı. Araştırmacılara göre, Cassie, robotun dizindeki iki motorun arızalanmasından sonra da kendini toparlayabildi.

Cassie, diğer bazı robotlara göre tüm özelliklere sahip olmayabilir, ancak birçok yönden çok daha etkileyici. Ayrıca, gerçek dünya kullanımına gelince, teknoloji için daha büyük etkileri var, çünkü böyle bir yürüyüş robotu birçok farklı sektörde kullanılabiliyor.