Ubisoft, Yarış Oyununda Bir Arabayı Sürmek İçin AI Ajanı Eğitir

“AI” terimi video oyunları tartışmalarında sıkça kullanılır, ancak genellikle video oyunlarındaki non-player karakterlerin kontrolünü sağlayan mantık için kullanılır, bilgisayar bilimcilerinin tanıdığı AI’yi içeren bir sistem için değil. Yapay sinir ağlarını kullanan AI uygulamaları video oyunları endüstrisinde khá nadirdir, ancak VentureBeat’in raporuna göre oyun şirketi Ubisoft, pekiştirme öğrenimi ile eğitilen bir AI aracının olası kullanımlarını araştıran bir makale yayınladı.

DeepMind ve OpenAI gibi varlıklar, StarCraft 2, Dota 2 ve Minecraft gibi çeşitli video oyunlarında AI’lerin nasıl performans gösterdiklerini araştırdı, ancak oyun geliştiricilerinin sıkça karşılaştığı belirli kısıtlamalar altında AI kullanımına ilişkin çok az araştırma yapılmıştır. Ubisoft La Forge, Ubisoft’un prototip kolunun yakın zamanda, bir ticari video oyununda öngörülebilir eylemler gerçekleştirebilen bir algoritma hakkında bir makale yayınladı. Raporlara göre, AI algoritmaları mevcut benchmark’leri vurabiliyor ve karmaşık görevleri güvenilir bir şekilde gerçekleştirebiliyordu.

Makale yazarları, pekiştirme öğreniminin belirli video oyunları bağlamında büyük bir etkiye sahip olduğunu, bu oyunların en iyi insan oyuncularıyla eşdeğerlik elde ettiğini, ancak OpenAI ve DeepMind tarafından oluşturulan sistemlerin genellikle oyun geliştiricileri için faydasız olduğunu belirtiyorlar. Yazarlar, erişilemezliğin büyük bir sorun olduğunu ve en etkileyici sonuçların genellikle büyük araştırma grupları tarafından, video oyunu stüdyolarının erişebileceğinden çok daha büyük ölçekli hesaplamalı kaynaklara sahip gruplar tarafından elde edildiğini belirtiyorlar. Araştırmacılar şunları yazdı:

“Bu sistemler video oyunları endüstrisinde比較 olarak çok az kullanılmıştır ve erişilemezliğin büyük bir neden olduğuna inanıyoruz. Gerçekten etkileyici sonuçlar … büyük araştırma grupları tarafından, video oyunu stüdyolarının erişebileceğinden çok daha büyük ölçekli hesaplamalı kaynaklara sahip gruplar tarafından elde edilmektedir.”

Ubisoft araştırma ekibi, bu sorunların bir kısmını çözmek için veri örnekleri toplama ve çalışma zamanı bütçe kısıtlamaları gibi sorunları optimize eden bir pekiştirme öğrenimi yaklaşımı oluşturmayı amaçladı. Ubisoft’un çözümü, California Üniversitesi, Berkeley’de yapılan araştırmalardan uyarlandı. UC Berkeley araştırmacıları tarafından geliştirilen Soft Actor-Critic modeli, yeni koşullara etkili bir şekilde genelleyebilen ve çoğu modelden daha örnek verimli bir model oluşturabiliyor. Ubisoft ekibi, bu yaklaşımı hem ayrıntılı hem de sürekli eylemler için uyarladı.

Ubisoft araştırma ekibi, algoritmalarının performansını üç farklı oyunda değerlendirdi. Algoritmaları test etmek için iki futbol oyunu ve bir basit platform oyunu kullanıldı. Bu oyunlarda elde edilen sonuçlar, endüstri standardı sonuçlarından biraz daha kötüydü, ancak başka bir test yapıldı ve algoritmalar çok daha iyi performans gösterdi. Araştırmacılar, bir sürüş video oyununu test przypadı olarak kullandılar, AI aracının belirli bir yolu takip etmesini ve eğitim sırasında görmediği bir ortamda engelleri aşmasını sağladılar. İki sürekli eylem, direksiyon ve hızlanma, ve bir ikili eylem (frenleme) vardı.

Araştırmacılar, makalelerinde sonuçlarını özetlediler ve melez Soft Actor-Critic yaklaşımının, bir ticari olarak उपलबabilir video oyununda yüksek hızlarda araç sürmek için eğitilen bir AI aracını eğitmek için başarılı olduğunu açıkladılar. Araştırmacılar, eğitim yaklaşımının, AI aracının oyuncunun sahip olduğu aynı girdi seçeneklerine sahip olduğu durumlar da dahil olmak üzere, çeşitli olası etkileşim yaklaşımları için çalışabileceğini belirtiyorlar. Bu, “video oyunları endüstrisi için böyle bir algoritmanın pratik faydasını” gösteriyor.