Bilgisayar Bilimciler Robotları Pozitif Peşinat ile Eğitiyorlar

Johns Hopkins Üniversitesi’nden bilgisayar bilimciler, uzun süredir hayvanları eğitmek için kullanılan pozitif peşinat eğitim tekniğini bir robota uyguladılar, böylece robot yeni numaralar öğrenebiliyor. Bunlar arasında blokları istiflemek de vardı.

Robotun adı Spot ve araştırmacılara göre, geleneksel olarak bir ay süren becerileri sadece birkaç gün içinde öğrenebiliyor.

Pozitif Peşinat

Pozitif peşinat, takım tarafından robotun beceri setini artırmak için kullanıldı. Bunu yapacak takımın hızı, bu tür robotların gerçek dünyada dağıtımını kolaylaştırıyor.

Çalışma IEEE Robotics and Automation Letters adlı dergide yayınlandı ve “İyi Robot! Çok Adımlı Görsel Görevler için Sim’den Gerçeğe Aktarım ile Verimli Takviye Öğrenimi” başlığını taşıyor.

Andrew Hundt, Johns Hopkins Üniversitesi’nde doktora öğrencisi ve araştırmanın baş yazarı.

“Buradaki soru, robota bir beceri nasıl öğreteceğimizdi” dedi. “Köpeğim vardı, ödüllerin işe yaradığını biliyorum ve bu, öğrenme algoritmasını tasarlamam için ilham verdi.”

Pozitif peşinatın bilgisayarlarda işe yaradığı nedenlerden biri, onların sezgisel beyinlere sahip olmamalarıdır, yani temelde her şeye açık bir beyaz sayfa gibidirler. Diğer bir deyişle, her şeyi sıfırdan öğrenmeleri gerekir. Bilgisayarlar için en etkili öğrenme yöntemlerinden biri deneme yanılma yöntemidir ve bu, robotikçiler tarafından hala çalışılan bir alandır.

Araştırmacılar, bir köpeği eğitim verirken yaptığı gibi, robota bir ödül sistemi oluşturdu. Fark, robotun bir görevi doğru şekilde tamamladığında numeric puanlar almasıdır.

https://www.youtube.com/watch?v=dvxqjJBWFD4

Öğrenilen Beceriler

Blokları istiflemeyi öğrenirken, robotun inşaatçı eylemlere odaklanması gerekiyordu. Yöntemde, Spot robot, blokları istiflerken doğru davranışları tamamladığında daha yüksek puanlar aldı. Diğer yandan, yanlış davranışlar için hiçbir puan almadı. Dört bloktan oluşan bir yığın oluşturup en üstte son bloğu yerleştirdiğinde en yüksek puanı aldı.

Araştırmacılar, bu yöntemde büyük bir başarı gördü, robotun birkaç gün içinde öğrendiği şeyi geçmişte haftalar almaktaydı. Bir simüle robota eğitim vererek, ekip Spot robota geçmeden önce uygulama süresini azalttı.

“Robot daha yüksek puan istiyor” dedi Hundt. “Hızlı bir şekilde en iyi ödülü elde etmek için doğru davranışı öğrenir. Aslında, robota %100 doğruluk elde etmesi bir ay sürerdi. İki günde yaptık.”

Blokları istiflemeyi öğrenmenin yanı sıra, robot ayrıca bir simüle navigasyon oyunu oynamayı da pozitif peşinat kullanarak öğrendi.

“Başlangıçta robot ne yaptığını bilmez, ancak her uygulamayla daha da iyi olur ve asla vazgeçmez, istiflemeye devam eder ve görevi %100 oranında tamamlayabilir” dedi Hundt.

Bu yöntemin olası uygulamaları arasında, ev robotlarının belirli görevleri tamamlamasını öğretmek ve otonom araçları geliştirmek yer alıyor.

“Son hedefimiz, sonunda gerçek dünyada kompleks görevleri güvenli ve verimli bir şekilde gerçekleştirebilen robotlar geliştirmek — ürün montajı, yaşlı bakımı ve cerrahi gibi” dedi Hager. “Şu anda böyle görevleri programlamak bilmiyoruz — dünya çok karmaşık. Ancak bu tür çalışmalar, robotların gerçek dünya görevlerini öğrenme fikrine umut veriyor.”