Robot Kendini Takviye Öğrenimi Yoluyla Yürümeyi Öğretti

Genellikle Boston Dynamics ve dans eden robotlar en çok ilgiyi görürken, sahne arkasında yeterli ilgi görmeyen önemli gelişmeler đang gerçekleşiyor. Bu gelişmelerden biri, Cassie adlı bir robotun takviye öğrenimi yoluyla yürüyerek öğrenebildiği Berkeley laboratuvarından geliyor.

Deneme ve yanılma yoluyla, robotik bacak çifti simüle edilmiş bir ortamda gezinmeyi öğrendi ve sonra gerçek dünyada test edildi. Başlangıçta, robot her yönde yürüyebilme, çömelirken yürüyebilme, dengeden çıkarıldığında kendini yeniden konumlandırma ve farklı yüzeylere uyum sağlama yeteneğini gösterdi.

Cassie robotu, takviye öğrenimi kullanarak yürüyebilen ilk iki bacaklı robot örneğidir.

Dans Eden Robotların Heyecanı

Boston Dynamics gibi robotlar çok etkileyici ve neredeyse herkesi izleyenleri hayran bırakırken, birkaç önemli faktör var. En dikkat çekici olanı, bu robotların elde edilen sonuçları elde etmek için el ile programlandığı ve koreografi edildiğidir, ancak bu, gerçek dünya durumlarında tercih edilen bir yöntem değildir.

Laboratuvar dışındaki robotlar, sağlam, esnek, dayanıklı ve çok daha fazlası olmalıdır. Bunların üzerinde, beklenmedik durumlarla karşılaşma ve bunları kendileri işleyebilme yeteneğine sahip olmalıdırlar.

Zhongyu Li, Berkeley Üniversitesi’nde Cassie üzerinde çalışan ekibin bir parçasıydı.

“Bu videolar bazı insanları bu sorunun çözüldüğüne ve kolay olduğuna inanmaya yönlendirebilir,” diyor Li. “Ancak insansı robotların güvenilir bir şekilde çalışması ve insan ortamlarında yaşaması için masih uzun bir yolümüz var.”

https://www.youtube.com/watch?v=goxCjGPQH7U

Takviye Öğrenimi

Bu tür bir robot oluşturmak için, Berkeley ekibi, DeepMind gibi şirketlerin dünyanın en karmaşık oyunlarında insanları yenmek için algoritmaları eğitmek için kullandığı takviye öğrenimine güvenmiştir. Takviye öğrenimi, deneme ve yanılma temelinde çalışır ve robot hatalarından öğrenir.

Cassie robotu, yürüyeyi simülasyonda öğrenmek için takviye öğrenimini kullandı, bu yaklaşımın daha önce kullanıldığı ilk kez değil. Ancak, bu genellikle simüle edilmiş ortamın dışına çıkıp gerçek dünyaya çıkmaz. Küçük bir fark bile robotun yürüyememesine neden olabilir.

Araştırmacılar, bir tane yerine iki simülasyon kullandılar, ilki açık kaynaklı bir eğitim ortamı olan MuJoCo idi. İlk simülasyonda, algoritma olası hareketlerin bir kütüphanesinden denedi ve öğrendi ve ikinci simülasyonda, SimMechanics adlı daha gerçekçi koşullarda bunları test etti.

İki simülasyonda geliştirildikten sonra, algoritmanın ince ayarlanması gerekmedi. Zaten gerçek dünyada kullanılmaya hazır haldeydi. Sadece yürüyebilme yeteneğine sahip olmakla kalmadı, çok daha fazlasını yaptı. Araştırmacılara göre, Cassie, robotun dizindeki iki motor arızalanmasının ardından kendini toparlayabildi.

Cassie, diğer bazı robotlara göre tüm çan ve çıngırağının olmasa da, birçok yönden çok daha etkileyici. Ayrıca, gerçek dünya kullanımına gelince teknoloji için daha büyük etkileri var, çünkü böyle bir yürüyüş robotu birçok farklı sektörde kullanılabiliyor.