Ubisoft Bir Yarış Oyununda Araba Sürmek İçin AI Ajanı Eğitir

“AI” terimi video oyunları tartışmalarında çok kullanılır, ancak genellikle video oyunlarında non-player karakterleri kontrol eden mantığa atıfta bulunmak için kullanılır, bilgisayar bilimcilerinin tanıdığı AI tarafından işletilen bir sistem yerine. Yapay sinir ağlarını kullanan AI uygulamaları video oyunları endüstrisinde oldukça nadirdir, ancak VentureBeat’in raporuna göre oyun şirketi Ubisoft, pekiştirmeye dayalı öğrenme ile eğitilmiş bir AI ajanı için olası kullanımları araştıran bir makale yayınladı.

DeepMind ve OpenAI gibi varlıklar, StarCraft 2, Dota 2 ve Minecraft gibi çeşitli video oyunlarında AI’lerin nasıl performans gösterdiğini araştırdı, ancak oyun geliştiricilerinin karşılaştığı özel kısıtlamalar altında AI kullanımına ilişkin çok az araştırma yapılmıştır. Ubisoft La Forge, Ubisoft’un prototip koludur ve yakın zamanda bir ticari video oyununda öngörülebilir eylemleri gerçekleştirebilen bir algoritma hakkında bir makale yayınladı. Raporlara göre, AI algoritmaları mevcut benchmark’leri vurabiliyor ve karmaşık görevleri güvenilir bir şekilde gerçekleştiriyordu.

Makalenin yazarları, pekiştirmeye dayalı öğrenmenin belirli video oyunları bağlamında büyük bir etkiye sahip olduğunu, souvent insan oyuncularla eşitlik sağladığını, ancak OpenAI ve DeepMind tarafından oluşturulan sistemlerin nadiren oyun geliştiricileri için полез olduğunu belirtiyorlar. Yazarlar, erişilemezliğin büyük bir sorun olduğunu ve en etkileyici sonuçların, genellikle video oyunu stüdyolarında bulunan kaynakların ötesinde hesaplamalı kaynaklara sahip büyük araştırma grupları tarafından üretildiğini belirtiyorlar. Araştırmacılar şunları yazdı:

“Bu sistemler, video oyunları endüstrisinde比較 olarak çok az kullanılmıştır ve erişilemezliğin bunun arkasındaki büyük bir neden olduğuna inanıyoruz. Gerçekten de etkileyici sonuçlar … genellikle video oyunu stüdyolarında bulunan kaynakların ötesinde hesaplamalı kaynaklara sahip büyük araştırma grupları tarafından üretilir.”

Ubisoft’tan araştırma ekibi, bu sorunların bazılarını çözmek için veri örnekleri toplama ve çalışma zamanı bütçe kısıtlamaları gibi sorunlara optimize edilmiş bir pekiştirmeye dayalı öğrenme yaklaşımı oluşturmayı amaçladı. Ubisoft’un çözümü, California Üniversitesi, Berkeley’de yapılan araştırmelerden uyarlandı. UC Berkely araştırmacılarının geliştirdiği Soft Actor-Critic modeli, yeni koşullara etkili bir şekilde genelleyebilen bir model oluşturabilir ve çoğu modelden daha örnek verimlidir. Ubisoft ekibi, bu yaklaşımı hem sürekli hem de sürekli olmayan eylemler için uyarladı.

Ubisoft araştırma ekibi, algoritmalarının performansını üç farklı oyunda değerlendirdi. Algoritmayı test etmek için kullanılan iki futbol oyunu ve bir basit platform oyunu vardı. Bu oyunlarda sonuçlar, endüstri standardı sonuçlarından slightly daha kötüydü, ancak bir başka test yapıldı ve algoritmalar daha iyi performans gösterdi. Araştırmacılar, bir sürüş video oyununu test durumu olarak kullandılar ve AI ajanının verilen bir yolu takip etmesini ve eğitim sırasında görmediği bir ortamda engelleri aşmasını sağladılar. İki sürekli eylem, direksiyon ve hızlanma, ve bir ikili eylem (frenleme) vardı.

Araştırmacılar, sonuçlarını makalede özetledi ve melez Soft Actor-Critic yaklaşiminin, bir ticari olarak disponible video oyununda yüksek hızlarda araba sürmek için bir AI ajanını eğitmek için başarılı olduğunu açıkladı. Araştırmacılara göre, eğitim yaklaşimleri, AI ajanının oyuncunun sahip olduğu aynı girdi seçeneklerine sahip olduğu durumlar da dahil olmak üzere, çeşitli etkileşim yaklaşımları için çalışabilir. Bunlar, “böyle bir algoritmanın video oyunları endüstrisi için pratik yararlılığını” gösteriyor.