Google’ın AI’sı köpekleri izleyerek robotlara nasıl hareket edeceklerini öğretiyor

Çoğu gelişmiş robot hala biraz hantal ve sıçrayarak hareket ediyor. Robotların daha gerçekçi ve akıcı bir şekilde hareket etmesini sağlamak için Google’ (GOOGL ) daki araştırmacılar, gerçek hayvanların hareketlerinden öğrenen bir AI sistemi geliştirdiler. Google araştırma ekibi, yaklaşımını geçen hafta bir ön baskı makalesinde yayınladı. Makalede ve eşlik eden blog gönderisinde, araştırma ekibi sistemi anlatıyor. Makale yazarları, robotlara daha doğal hareket kazandırmakla gerçek dünya görevlerini, örneğin bir binanın farklı katları arasında eşyaları teslim etmek gibi, gerçekleştirmelerine yardımcı olabileceğine inanıyor.

VentureBeat’in raporuna göre, araştırma ekibi pekiştirme öğrenimi kullanarak robotlarını eğitti. Araştırmacılar, gerçek hayvanların hareketlerini gösteren klipler topladı ve pekiştirme öğrenimi (RL) tekniklerini kullanarak robotları video kliplerindeki hayvanların hareketlerini taklit etmeye yöneltti. Bu durumda, araştırmacılar robotları bir köpeğin hareketlerini gösteren kliplerle eğitti, dört ayaklı Unitree Laikago robotuna köpeğin hareketlerini taklit etmesini söyledi. Robot eğitildikten sonra, zıplama, dönme ve hızlı yürüyebilme gibi karmaşık hareketleri gerçekleştirebildi, saatte yaklaşık 4,2 kilometre hızda.

Eğitim verisi, yaklaşık 200 milyon örnekten oluşan fiziksel bir simülasyonda hareket halindeki köpeklerden oluşuyordu. Farklı hareketler daha sonra ödül fonksiyonları ve ajanların öğrendiği politikalar aracılığıyla çalışıldı. Politikalar simülasyonda oluşturulduktan sonra, bir teknik called latent space adaptation kullanarak gerçek dünyaya aktarıldı. Fiziksel simülatörlerin, robotları eğitmek için yalnızca belirli yönleri yaklaşık olarak temsil edebilmesi nedeniyle, araştırmacılar simülasyona çeşitli pertürbasyonları rastgele uyguladı, farklı koşullarda çalışmayı simüle etti.

Araştırma ekibine göre, sadece 50 farklı denemeden topladıkları 8 dakika veri kullanarak simülasyon politikalarını gerçek dünya robotlarına uyarlayabildiler. Araştırmacılar, gerçek dünya robotlarının çeşitli farklı, özel hareketleri taklit edebildiğini gösterdi, örneğin tören, dönme, zıplama ve tempolu yürüyüş. Hatta animasyon sanatçıları tarafından oluşturulan animasyonları bile taklit edebildiler, örneğin bir zıplama ve dönme kombinasyonu.

Araştırmacılar, bulgularını makalede şöyle özetliyor:

“Referans hareket verilerini kullanarak, tek bir öğrenme tabanlı yaklaşımın, bacaklı robotlar için çeşitli davranışlar için kontrolörler sentezlemesini gösteriyoruz. Eğitim sürecine örnek verimli alan adaptasyon tekniklerini entegre ederek, sistemimiz simülasyonda uyarlanabilir politikalar öğrenmektedir, daha sonra bunlar gerçek dünya dağıtıma hızla uyarlanabilmektedir.”

Pekiştirme öğrenimi过程inde kullanılan kontrol politikaları sınırlamalara sahipti. Donanım ve algoritmalar tarafından dayatılan kısıtlamalar nedeniyle, robotların yapamayacağı birkaç şey vardı. Örneğin, koşamıyor veya büyük atlayamıyorlardı. Öğrenilen politikalar ayrıca, manuel olarak tasarlanan hareketlerle karşılaştırıldığında, o kadar da stabil değildi. Araştırma ekibi, kontrolörleri daha güçlü ve farklı veri türlerinden öğrenme yeteneğine sahip hâle getirerek çalışmayı daha da ilerletmek istiyor. İdeal olarak, çerçevenin gelecekteki sürümlerinin video verisinden öğrenmesi bekleniyor.