AI Araştırmacıları Geçmiş Olayları Hatırlayabilen Video Oyunu Oynayabilen Model Geliştirdi

Uber’ın AI laboratuvarındaki bir araştırma ekibi yakın zamanda bir sistem geliştirdi. Bu sistem, klasik Atari video oyunlarında hem insan oyuncuların hem de diğer AI sistemlerinin performansını geçti. Araştırmacılar tarafından geliştirilen AI sistemi, daha önce başarılı olan stratejileri hatırlayabilme ve geçmişte neler işe yaradığını temel alarak yeni stratejiler oluşturabilme kabiliyetine sahip. Çalışmanın araştırma ekibi, geliştirdikleri algoritmaların dil işleme ve robotik gibi diğer teknik alanlarda da potansiyel uygulamalara sahip olduğuna inanıyor.

Video oyunları oynayabilen AI sistemleri oluşturmak için kullanılan tipik yöntem, pekiştirme öğrenimi algoritması kullanmaktır. Pekiştirme öğrenimi algoritmaları, mümkün olan eylemlerin bir diziğini keşfederek ve her eylemin ardından bir tür pekiştirme (ödül veya ceza) sağlayarak bir görevi gerçekleştirmeyi öğrenirler. Zamanla, AI modeli daha büyük ödüllere yol açan eylemleri öğrenir ve bu eylemleri gerçekleştirmesi daha olası hale gelir. Maalesef, pekiştirme öğrenimi modelleri, veri kümesindeki diğerleriyle uyumsuz olan veri noktalarına rastladığında sorunlarla karşılaşır.

Araştırma ekibine göre, onların yaklaşımının diğer AI araştırmacıları tarafından dikkate alınmamasının nedeni, stratejisinin “içsel motivasyon” yaklaşımından farklı olmasıdır. İçsel motivasyon yaklaşımının sorunu, modelin potansiyel olarak ödüllendirici alanları “unutma” eğiliminde olmasıdır. Bu olgu “ayrılma” olarak adlandırılır. Sonuç olarak, model beklenmedik veri noktalarına rastladığında, hala keşfedilmeye değer alanları unutabilir.

TechXplore’a göre, araştırma ekibi daha esnek ve beklenmedik verilere yanıt verebilen bir öğrenme modeli oluşturmaya çalıştı. Araştırmacılar, bir önceki modelin bir problemi çözmeye çalışırken aldığı tüm eylemleri hatırlayabilen bir algoritma tanıtarak bu sorunu aşmayı başardılar. AI modeli tutarlı olmayan bir veri noktasına rastladığında, model harita belleğine bakar. Model sonra hangi stratejilerin başarılı ve hangilerinin başarısız olduğunu belirler ve stratejileri uygun şekilde seçer.

Bir video oyunu oynarken, model oyun oynarken ekran görüntüleri toplar ve eylemlerinin bir kaydını tutar. Görüntüler benzerliklerine göre gruplandırılır ve modelin geri dönebileceği açık zaman noktaları oluşturur. Algoritma, kaydedilen görüntüleri kullanarak ilginç bir zaman noktasına dönebilir ve oradan keşfetmeye devam edebilir. Model kaybediyor olduğunu fark ettiğinde, ekran görüntülerine geri döner ve farklı bir strateji dener.

BBC’ye göre, AI aracının oyun oynarken tehlikeli senaryolarla başa çıkma sorunu da vardır. Eğer aracın karşılaştığı bir tehlike onu öldürecekse, bu, aracın daha fazla keşfedilmeye değer alanlara dönmesini engelleyecektir. Bu sorun “raydan çıkma” olarak adlandırılır. AI modeli, eski alanların keşfini teşvik etmek için kullanılan işlemden ayrı bir işlem kullanarak raydan çıkma sorunlarını ele alır.

Araştırma ekibi, modellerini 55 Atari oyununda oynattı. Bu oyunlar genellikle AI modellerinin performansını ölçmek için kullanılır, ancak araştırmacılar modeli için bir dönüş yaptı. Araştırmacılar oyunlara ek kurallar ekledi ve modeli sadece mümkün olan en yüksek puanı elde etmekle kalmayıp her seferinde daha yüksek bir puan elde etmeye çalıştırdı. Modelin performansının sonuçları analiz edildiğinde, araştırmacılar modelin diğer AI’lerin performansını oyunların yaklaşık %85’inde geçtiğini buldu. AI, özellikle Montezuma’s Revenge adlı platform oyununda, oyuncu tehlike ve hazine toplarken, insan oyuncunun rekorunu geçti ve diğer herhangi bir AI sisteminden daha yüksek puan elde etti.

Uber AI araştırmacılarına göre, araştırma ekibinin kullandığı stratejilerin robotik gibi endüstriler için uygulamaları vardır. Robotlar, hangi eylemlerin başarılı olduğunu, hangilerinin işe yaramadığını ve hangilerinin denenmediğini hatırlama yeteneğinden yararlanırlar.