Karmaşık Görevleri Az Gösterimden Öğrenen Robotlar

Robotik alanındaki son gelişmelerden biri olarak, Güney Kaliforniya Üniversitesi (USC) araştırmacıları, robotların az gösterimden karmaşık görevleri öğrenmesini sağlayan bir sistem geliştirdiler. Daha da etkileyici olan şey, bazı gösterimlerin mükemmel olmamasıdır.

Araştırma, 18 Kasım’da “Signal Temporal Logic Kullanarak Gösterimden Öğrenme” başlıklı bir sunumla Robot Öğrenme Konferansı’nda (CoRL) sunuldu.

Sistem

Her gösterimin kalitesi ölçülür, böylece sistem başarılı ve başarısızlıklarından öğrenir. Mevcut yöntemlerin aksine, bir görevi öğretmek için en az 100 gösterim gerektirirken, yeni sistem sadece birkaç gösterim gerektirir. İnsanların birbirlerinden öğrenmesi gibi, bu robotlar da benzer şekilde öğrenirler. Örneğin, insanlar başkalarının görevleri başarılı veya mükemmel olmayan bir şekilde tamamlamasını izler ve öğrenirler.

Aniruddh Puranic, araştırmanın baş yazarı ve USC Viterbi Mühendislik Okulu’nda bilgisayar bilimi doktorası öğrencisidir.

“Çok fazla makine öğrenimi ve pekiştirme öğrenimi sistemi, büyük miktarda veri ve yüzlerce gösterim gerektirir – bir insanın tekrar tekrar göstermesi gerekir, bu mümkün değildir” dedi Puranic.

“Ayrıca, çoğu insan programlama bilgisine sahip değildir ve bir robota ne yapması gerektiğini açıkça söyleyemez, ve bir insan possibly bir robota ihtiyaç duyduğu her şeyi gösteremez” diye devam etti. “Robot daha önce görmediği bir şeyle karşılaştığında ne olur? Bu, ana bir zorluktur.”

Araştırmacılar, gösterimlerin kalitesini belirlemek için “sinyal zamanlı mantık” veya STL’yi kullandılar, onları sıraladılar ve içsel ödüller oluşturdular.

Araştırmacılar STL’yi seçmelerinin iki ana nedeni vardır:

1. Robotlar, gösterimlerden mükemmel olmayan veya güvensiz davranışları ve istenmeyen eylemleri öğrenebilirler.
2. Gösterimler, kullanıcıların sunduğu kaliteye bağlı olarak farklılık gösterebilir ve bazı gösterimler others daha iyi davranış göstergeleri olabilir.

Sistemi bu şekilde geliştirerek, robot mükemmel olmayan gösterimlerden bile öğrenilebilir, mantık gereksinimlerini karşılamasa da. Diğer bir deyişle, doğruluk veya başarı hakkında kendi sonucuna varır.

Stefanos Nikolaidis, ortak yazar ve USC Viterbi’de bilgisayar bilimi yardımcı profesörüdür.

“Şöyle diyelim, robotlar farklı türden gösterimlerden öğreniyor – bu, elle gösterim, videolar veya simülasyonlar olabilir – eğer çok tehlikeli bir şey yaparsam, standart yaklaşımlar iki şey yapar: ya tamamen görmezden gelir, ya da daha kötüsü, robot yanlış şeyi öğrenir” diyor Nikolaidis.

“Bu çalışmada, mantık形式inde ortak akıl kullanarak, gösterimin hangi kısımlarının iyi ve hangi kısımlarının olmadığını anlar” diye devam ediyor. “Aslında, bu tam olarak insanların da yaptığı şeydir.”

Sinyal Zamanlı Mantık

Robotlar, STL sayesinde mevcut ve gelecekteki sonuçlar hakkında akıl yürütebilirler, bu, ifade edici bir matematiksel sembolik dildir. Önceki çalışmalarda, “lineer zamanlı mantık” kullanılmıştır.

Jyo Deshmukh, eski Toyota mühendisi ve USC’de bilgisayar bilimi yardımcı profesörüdür.

“Siber fiziksel sistemler dünyasına, robotlar ve otonom arabalar gibi, zaman kritik olduğunda, lineer zamanlı mantık biraz hantal hale gelir, çünkü değişkenlerin true/false değerlerinin dizileri hakkında akıl yürütür, oysa STL fiziksel sinyaller hakkında akıl yürütme sağlar” diyor Deshmukh.

Araştırmacılar ekibi, sistemin başarısı düzeyinden şaşırdı.

“Robotik uygulamalarda yaygın olarak kullanılan bir algoritma ile karşılaştırıldığında, gerekli gösterimlerin sayısı açısından bir büyüklük sırası farkı görüyoruz” diyor Nikolaidis.

Araştırmacılara göre, sistemler sürüş simülatörlerinden ve sonunda videolardan öğrenilebilir. Bir sonraki adım, ilk testlerin bir oyun simülatöründe yapıldığı gerçek robotlarda test etmektir. Sistem, ev ortamları, depolar ve uzay araştırma araçları gibi uygulamalar için faydalı olacaktır.

“Robotların iyi takım arkadaşları olması ve insanlara yardım etmesi için, önce insan tercihlerine çok verimli bir şekilde öğrenmesi ve uyum sağlaması gerekir” diyor Nikolaidis. “Bizim yöntemimiz bunu sağlar.”