Marlos C. Machado, Alberta Üniversitesi’nden Yardımcı Profesör, Amii Fellow, CIFAR AI Chair – Röportaj Serisi

Marlos C. Machado, Alberta Makine Zekâ Enstitüsü’nde (Amii) Fellow, Alberta Üniversitesi’nde yardımcı profesör ve Amii fellow’dur ve ayrıca Kanada CIFAR AI Chair’unu da elinde bulundurmaktadır. Marlos’un araştırmaları büyük ölçüde pekiştirme öğrenimi problemine odaklanmaktadır. Brezilya’daki UFMG’den lisans ve yüksek lisans derecelerini almış ve Alberta Üniversitesi’nden doktorasını tamamlamıştır. Alberta Üniversitesi’nde, zamanla genişletilmiş keşif kavramını popüler hale getirmiştir.

2021’den 2023’e kadar DeepMind’de ve 2019’dan 2021’e kadar Google (GOOGL ) Brain’de araştırmacı olarak görev yapmıştır. Bu süre zarfında, özellikle Loon’un stratosferik balonlarının kontrolü için derin pekiştirme öğreniminin uygulanması konusunda önemli katkılar sağlamıştır. Marlos’un çalışmaları, Nature, JMLR, JAIR, NeurIPS, ICML, ICLR ve AAAI gibi AI’nin önde gelen konferans ve dergilerinde yayımlanmıştır. Araştırmaları ayrıca BBC, Bloomberg TV, The Verge ve Wired gibi popüler medya organlarında yer almıştır.

2023 Upper Bound AI Konferansı’nda, Amii (Alberta Makine Zekâ Enstitüsü) tarafından Edmonton, AB’de düzenlenen yıllık toplantıda bir röportaj gerçekleştirdik.

Pekiştirme öğrenimi üzerine odaklanmanızın sebebi nedir?

Pekiştirme öğrenimi hakkında sevdiğim şey, öğrenmenin doğal bir yolu olmasıdır. İnsanların öğrenme şekline benzer – deneme yanılma yoluyla. Bir şeyleri dener, bazıları iyi bazıları kötü hissettirir ve iyi hissettiren şeyleri yapmaya devam edersiniz. Pekiştirme öğrenimi, ajanın dünya ile etkileşime girmesi ve hipotezler oluşturup test etmesi yoluyla yeni davranışlar keşfetmesine olanak tanır.

Örneğin, AlphaGo’nun 37. hamlesi, insanların hiç görmediği bir hamle olarak kabul edildi. Pekiştirme öğrenimi, bu tür davranışların keşfedilmesine olanak tanır. Stratosferik balonların kontrolü için çalışırken de benzer şeyler gördük. Davranışların ortaya çıkması, herkesi etkileyen ve hiç düşünmediğimiz şeylerdi.

Neden pekiştirme öğrenimi?

Pekiştirme öğrenimi, dünya ile etkileşime girerek öğrenmeyi sağlar. Ajan, hipotezler oluşturup test edebilir ve yeni davranışlar keşfedebilir. Bu, keşiflerin yapılmasına olanak tanır. Örneğin, Loon’un stratosferik balonlarının kontrolü için çalışırken, balonların rüzgar akımlarını takip ederek belirli bir bölgeye ulaşması gerekiyordu. Pekiştirme öğrenimi, bu problemi çözmek için kullanıldı.

Loon’un stratosferik balonları projesinde çalışırken hangi sorunlarla karşılaştınız?

Loon’un projesinin amacı, zor ulaşılabilir bölgelere internet erişimi sağlamaktı. Balonlar, güneş enerjisi ile çalışan ve stratosferde uçan sabit hacimli balonlardı. Ancak, balonların navigasyonu için rüzgar akımlarını takip etmesi gerekiyordu. Bu, partial observability problemi olarak bilinen bir sorundu. Rüzgar akımlarını tam olarak bilemediklerinden, balonların navigasyonu için bir model oluşturmak gerekiyordu.

Bu problemi çözmek için, bir pekiştirme öğrenimi algoritması geliştirildi. Algoritma, balonun konumuna ve rüzgar akımlarına göre hareketini belirlemeye çalışıyordu. Ancak, bu problem çok zorlu olduğu için, algoritmanın öğrenmesi için bir simülasyon ortamı oluşturuldu. Simülasyon, geçmiş veri kullanılarak oluşturuldu ve algoritma, bu simülasyon ortamında öğrenmeye çalıştı.

Şu an üzerinde çalıştığınız araştırma nedir?

Şu an, Alberta Üniversitesi’nde bir araştırma grubum var ve çeşitli konularda çalışıyoruz. Bir konuda özellikle heyecanlandığım şey, sürekli öğrenme kavramı. Makine öğrenimi, genellikle bir modeli eğitmek ve ardından bu modeli kullanmak şeklinde düşünülür. Ancak, bazı durumlarda, modelin sürekli olarak öğrenmesi ve adapte olması gerekir. Örneğin, bir su arıtma tesisi için, su kalitesinin değişmesi nedeniyle modelin sürekli olarak öğrenmesi gerekir.

Bu problemi çözmek için, sürekli öğrenme algoritmaları geliştiriyoruz. Bu algoritmalar, veri akışı boyunca öğrenmeyi sağlar ve modelin sürekli olarak adapte olmasını sağlar. Bu, pekiştirme öğrenimi için özellikle uygundur, çünkü pekiştirme öğrenimi algoritmaları, veri akışı boyunca öğrenmeyi sağlar.

Gelecekte bu sürekli öğrenme kavramını kullanarak hangi uygulamaları görmek istersiniz?

Gelecekte, bu sürekli öğrenme kavramını kullanarak various uygulamalar görmek istiyorum. Örneğin, su arıtma tesisleri, binaların soğutulması, veri merkezlerinin soğutulması gibi alanlarda bu kavramın uygulanması mümkün olabilir. Bu, enerji tüketimini azaltmaya ve daha verimli bir şekilde çalışmaya olanak tanır.

Harika bir röportaj için teşekkür ederiz. Daha fazla bilgi için aşağıdaki kaynakları ziyaret edebilirsiniz:

• Upper Bound AI Konferansı.
• Amii (Alberta Makine Zekâ Enstitüsü)