Karmaşık Görevleri Az Gösterimden Öğrenen Robotlar

Robotik alanındaki son gelişmelerin birinde, Güney Kaliforniya Üniversitesi (USC) araştırmacıları, robotların az gösterimle karmaşık görevleri öğrenebilecekleri bir sistem geliştirdiler. Daha da etkileyici olanı, bazı gösterimlerin kusurlu olabileceği.

Araştırma, 18 Kasım’da “Gösterimlerden Öğrenme Kullanarak Sinyal Zaman Mantığı” başlıklı bir sunumla Robot Öğrenme Konferansı’nda (CoRL) sunuldu.

Sistem

Her bir gösterimin kalitesi ölçülür, böylece sistem başarılı ve başarısızlıklarından öğrenir. Mevcut yöntemlerin aksine, bir robota belirli bir görevi öğretmek için en az 100 gösterim gerektirirken, yeni sistem sadece birkaç tane gerektirir. İnsanlar birbirlerinden başarılı veya kusurlu bir şekilde görevleri tamamlayarak nasıl öğreniyorsa, bu robotların öğrenme şekli de benzerdir.

Aniruddh Puranic, araştırmanın baş yazarı ve USC Viterbi Mühendislik Okulu’nda bilgisayar bilimi doktorası öğrencisidir.

“Çok sayıda makine öğrenimi ve pekiştirmeli öğrenim sistemi, büyük miktarda veri ve yüzlerce gösterim gerektirir – bir insan tekrar tekrar göstermelidir, bu uygulanabilir değildir” dedi Puranic.

“Ayrıca, çoğu insan programlama bilgisine sahip değildir ve bir robota ne yapması gerektiğini açıkça söyleyemez, ve bir insan bir robota bilmesi gereken her şeyi gösteremez” diye devam etti. “Robot daha önce görmediği bir şeyle karşılaştığında ne olur? Bu, ana bir zorluktur.”

Araştırmacılar, gösterimlerin kalitesini belirlemek için “sinyal zaman mantığı” veya STL’yi kullandılar, onları sıraladılar ve içsel ödüller oluşturdular.

Araştırmacıların STL’yi seçmelerinin iki ana nedeni vardır:

1. Gösterimlerden öğrenen robotlar, kusurları veya istenmeyen davranışları ve eylemleri alabilir.
2. Gösterimler, onları sağlayan kullanıcıya bağlı olarak kalite açısından farklılık gösterebilir ve bazı gösterimler diğerlerinden daha iyi davranış göstergeleridir.

Sistemi bu şekilde geliştirerek, robot kusurlu gösterimlerden öğrenmeye devam edebilir, mantık gereksinimlerini karşılamasa bile. Diğer bir deyişle, doğruluk veya başarı hakkında kendi sonucuna varır.

Stefanos Nikolaidis, ortak yazar ve USC Viterbi bilgisayar bilimi yardımcı profesörüdür.

“Şöyle diyelim ki, robotlar farklı türden gösterimlerden öğreniyor – bu, elle gösterim, videolar veya simülasyonlar olabilir – eğer çok tehlikeli bir şey yaparsam, standart yaklaşımlar iki şeyden birini yapacak: ya tamamen görmezden gelecektir, ya da daha kötüsü, robot yanlış şeyi öğrenecektir” diyor Nikolaidis.

“Karşıt olarak, bu çalışma, mantığın ortak-sense akıl yürütme biçimini kullanarak, gösterimin hangi kısımlarının iyi ve hangi kısımlarının olmadığını anlamak için çok zeki bir şekilde kullanıyor” diye devam ediyor. “Aslında, bu tam olarak insanların yaptığı şeydir.”

Sinyal Zaman Mantığı

Robotlar, STL sayesinde, önceki “lineer zaman mantığı”na göre, şimdiki ve gelecekteki sonuçlar hakkında akıl yürütebilirler. STL, fiziksel sinyaller hakkında akıl yürütme izni veren ifadesel bir matematiksel sembolik dildir.

Jyo Deshmukh, eski Toyota mühendisi ve USC bilgisayar bilimi yardımcı profesörüdür.

“Çevrimiçi fiziksel sistemlerin dünyasına girdiğimizde, robotlar ve otonom araçlar gibi, zaman çok önemlidir, lineer zaman mantığı biraz hantal hale gelir, çünkü değişkenlerin doğru/yanlış değerlerinin dizileri hakkında akıl yürütürken, STL fiziksel sinyaller hakkında akıl yürütme izni verir” diyor Deshmukh.

Araştırmacı ekibi, sistemin başarısı düzeyinden şaşırdı.

“Robotik uygulamalarda yaygın olarak kullanılan bir state-of-the-art algoritma ile karşılaştırıldığında, gerekli gösterimlerin sayısı açısından bir büyüklük sırası farkı görüyoruz” diyor Nikolaidis.

Araştırmacılara göre, sistemler sürüş simülatörlerinden ve sonunda videolardan öğrenilebilir. Bir sonraki adım, ilk testlerin oyun simülatöründe yapıldığı için, sistemi gerçek robotlarda test etmektir. Sistem, ev ortamları, depolar ve uzay keşif araçları gibi uygulamalar için yararlı olacaktır.

“Robotların iyi takım arkadaşları olmasını ve insanlara yardım etmesini istiyorsak, önce insan tercihlerine çok verimli bir şekilde öğrenmeleri ve uyum sağlamaları gerekir” diyor Nikolaidis. “Yöntemimiz bunu sağlar.”