Gelecekte Diğer Ajansların Gelecek Eylemlerini Düşünen Tekniğin Etkileri

MIT, MIT-IBM Watson AI Lab ve diğer kurumların araştırmacılarından oluşan bir ekip, yapay zeka (AI) ajanslarının uzak bir gelecek perspektifine ulaşmasını sağlayan yeni bir yaklaşım geliştirdi. Diğer bir deyişle, AI, bir görevi tamamlarken diğer AI ajanslarının davranışlarını da dikkate alarak gelecekte neler olabileceğini düşünebiliyor.

Bu araştırma, Neural Information Processing Systems Konferansı’nda sunulacak.

Diğer Ajansların Gelecek Eylemlerini Düşünen AI

Ekibin oluşturduğu makine öğrenimi çerçevesi, işbirliği yapan veya rekabet halinde olan AI ajanslarının, diğer ajansların neler yapacağını dikkate almalarına olanak tanır. Bu, sadece sonraki adımlar değil, sonsuzluğa yaklaşırken de geçerli.

Ekibin belirttiğine göre, bu çerçeve, örneğin, kaybolan bir trekçi bulmak için birlikte çalışan otonom dronlar tarafından kullanılabilir. Ayrıca, self-driving araçlar, diğer araçların gelecekteki hamlelerini tahmin etmek ve yolcu güvenliğini artırmak için de kullanılabilir.

Dong-Ki Kim, MIT Laboratory for Information and Decision Systems (LIDS) lisansüstü öğrencisi ve araştırma makalesinin baş yazarı.

“AI ajansları işbirliği yapıyor veya rekabet halinde olduğunda, en önemli şey, davranışlarının gelecekte某 bir noktada birleşmesi,” diyor Kim. “Orada çok geçici davranışlar var, ama uzun vadede çok önemli değil. Bu birleşmiş davranışı elde etmek bizim için gerçekten önemli ve şimdi bunu ermögleyen bir matematiksel yolumuz var.”

Araştırmacıların ele aldığı problem, çoklu ajans pekiştirme öğrenimi olarak adlandırılıyor ve pekiştirme öğrenimi, AI ajanslarının deneme yanılma yoluyla öğrenmesini sağlayan bir makine öğrenimi biçimi.

Birden fazla işbirliği yapan veya rekabet halinde olan ajans同时 öğrenmeye başladığında, süreç çok daha karmaşık hale gelebiliyor. Ajanslar, diğer ajansların gelecekteki adımlarını, kendi davranışlarını ve diğerlerini nasıl etkilediğini dikkate aldıkça, problem çok fazla hesaplama gücünü gerektiriyor.

Sonsuzluğu Düşünen AI

“AI ajansları gerçekten oyunun sonunu düşünmek istiyor, ama oyunun ne zaman sona ereceğini bilmiyorlar,” diyor Kim. “Sonsuzluğa kadar davranışlarını nasıl uyarlayacaklarını düşünmeleri gerekiyor, böylece gelecekte某 bir zamanda kazanabilecekler. Makalemiz temel olarak, AI ajanslarına sonsuzluğu düşünme olanağı sağlayan yeni bir hedef öneriyor.”

Sonsuzluğu bir algoritmaya entegre etmek imkansız, bu nedenle ekip, ajansların diğer ajanslarla davranışlarının birleşeceği gelecekteki bir noktaya odaklanmasını sağlayan bir sistem tasarladı. Bu, denge olarak adlandırılıyor ve denge noktası, ajansların uzun vadeli performansını belirliyor.

Birden fazla denge noktası, çoklu ajans senaryosunda mevcut olabilir ve etkili bir ajans, diğer ajansların gelecekteki davranışlarını aktif olarak etkileyerek, kendi açısından arzu edilen bir dengeye ulaşabilir. Tüm ajanslar birbirlerini etkilediğinde, genel bir kavram olarak adlandırılan “etkin dengeye” ulaşırlar.

FURTHER Çerçevesi

Ekibin makine öğrenimi çerçevesi, FURTHER olarak adlandırılıyor ve ajansların, diğer ajanslarla etkileşimlerine dayanarak davranışlarını uyarlamalarına ve etkin dengeye ulaşmalarına olanak tanıyor.

Çerçeve, iki makine öğrenimi modülüne dayanır. İlk modül, bir ajansın, diğer ajansların gelecekteki davranışlarını ve kullandıkları öğrenme algoritmalarını, önceki eylemlerine dayanarak tahmin etmesini sağlayan bir çıkarım modülüdür. Bilgiler, daha sonra ajansın davranışını uyarlayabilmesi ve diğer ajansları etkileyebilmesi için kullanılan pekiştirme öğrenimi modülüne aktarılır.

“Sonsuzluğu düşünmek zor oldu,” diyor Kim. “Bunun için birçok farklı matematiksel aracı kullanmak ve bunu pratikte çalışır hale getirmek için bazı varsayımlar yapmak zorunda kaldık.”

Ekibin yöntemi, farklı senaryolarda, FURTHER kullanan AI ajanslarının, diğer çoklu ajans pekiştirme öğrenimi çerçevelerine göre daha iyi performans gösterdiği test edildi.

Yaklaşım, merkezden bağımsız çalışıyor, yani ajanslar bağımsız olarak öğreniyor. Buna ek olarak, diğer yöntemlere kıyasla daha iyi ölçeklenebilir, çünkü merkezi bir bilgisayar tarafından kontrol edilmeleri gerekmiyor.

Ekibin belirttiğine göre, FURTHER, çoklu ajans sorunlarının geniş bir yelpazede kullanılabilir. Kim, özellikle ekonomideki uygulamalarına umutlu, burada birçok etkileşen varlık ve değişen davranışlarla ilgilenen politika geliştirmek için kullanılabilir.