Marlos C. Machado, Alberta Üniversitesi’nde yarı zamanlı öğretim üyesi, Amii araştırmacısı ve CIFAR AI araştırma kürsüsü sahibi – Röportaj Serisi

Marlos C. Machado, Alberta Machine Intelligence Institute’ta (Amii) Fellow in Residence, Alberta Üniversitesi’nde yarı zamanlı öğretim üyesi ve Amii araştırmacısıdır; ayrıca Canada CIFAR AI Chair araştırma kürsüsüne sahiptir. Araştırmaları ağırlıklı olarak pekiştirmeli öğrenmeye odaklanır. Lisans ve yüksek lisansını Brezilya’daki UFMG’de, doktorasını Alberta Üniversitesi’nde tamamlamış; burada “options” yaklaşımıyla zamana yayılan keşif fikrini yaygınlaştırmıştır.

2021–2023 arasında DeepMind’da, 2019–2021 arasında Google (GOOGL ) Brain’de araştırmacıydı. Pekiştirmeli öğrenmeye, özellikle Loon’un stratosfer balonlarının kontrolünde derin pekiştirmeli öğrenme kullanımına önemli katkılar yaptı. Çalışmaları Nature, JMLR, JAIR, NeurIPS, ICML, ICLR ve AAAI gibi önde gelen dergi ve konferanslarda yayımlandı; BBC, Bloomberg TV, The Verge ve Wired’da da yer aldı.

2023’te Edmonton, Alberta’da düzenlenen yıllık Upper Bound yapay zekâ konferansında görüştük. Etkinliğin düzenleyicisi Amii , yani Alberta Machine Intelligence Institute.

Öncelikle pekiştirmeli öğrenmeye odaklanıyorsunuz. Bu makine öğrenimi türünde sizi ne çekiyor?

Etkileşim yoluyla öğrenme fikrini seviyorum. Bana çok doğal, bir bakıma insanların öğrenme biçimine benzer geliyor. Yapay zekâyı insanlaştırmak istemiyorum ama sezgisel olarak bir şey denersiniz, bazı sonuçlar iyi bazıları kötü gelir, daha iyi sonuç veren şeyleri yapmayı öğrenirsiniz. Beni büyüleyen, ajanın dünyayla gerçekten etkileşmesi, bir hipotez oluşturup sınayabilmesidir.

Bu, yeni davranışların keşfini sağlar. Ünlü örnek AlphaGo’nun belgeselde yaratıcılık olarak anlatılan 37. hamlesidir. Daha önce görülmemişti, hepimizi şaşırttı. Hazır bir kaynakta bulunmadı; dünyayla etkileşimden çıktı. Stratosfer balonları projemde de benzer şeyler gördük.

Kimsenin düşünmediği ama müthiş olan davranışlar ortaya çıktı. Pekiştirmeli öğrenme, etkileşim nedeniyle bunları keşfetmeye özellikle uygundur. Zor sorulardan biri karşıolgusaldır: Yaptığım yerine başka bir şey yapsaydım ne olurdu? Birçok makine öğrenimi araştırmasında bunu deneyemezsiniz. Pekiştirmeli öğrenmede aynı durumla karşılaştığınızda alternatifi deneyebilirsiniz. Bu etkileşim yönünü gerçekten seviyorum.

Elbette ilginç uygulamaların çekiciliğini de inkâr etmeyeceğim. Onlarca yıl önceki ilk büyük başarılar bile alanı bana cazip kıldı.

Geçmişteki favori uygulamanız neydi?

İki ünlü örnek var: Stanford’da pekiştirmeli öğrenmeyle kontrol edilen helikopter ve 1990’larda dünya şampiyonu olan tavla programı TD-Gammon. Doktoram sırasında IBM’de Gerald Tesauro’yla staj yapmayı özellikle istedim. TD-Gammon projesini o yönetiyordu; bu harikaydı.

İşin ilginci, başlangıçta pekiştirmeli öğrenmenin tam olarak ne olduğunu bilmiyordum. Lisansüstüne başvururken genel olarak makine öğrenimi istiyordum. Birçok profesörün sitesindeki araştırma açıklamasını okuyor, bazılarını ilginç buluyordum. Geriye bakınca, alanı bilmeden ünlü pekiştirmeli öğrenme profesörlerini seçmişim; ünlü oldukları için değil, araştırmaları ilgimi çektiği için. Güzel bir site görüp o araştırmacıyla çalışmak istiyordum.

Yani onları doğal biçimde keşfettiniz.

Aynen. Geriye bakınca, çok önce birlikte çalışmak için başvurduğum insanlar bunlardı. Ne yaptığımı tam anlamadan bile başka makalelerde araştırmalarının açıklamasını okuyup bunu okumalıyım diyordum. İlgi alanım hep pekiştirmeli öğrenmeye dönüyordu.

Google Brain’de stratosfer balonlarının otonom navigasyonu üzerinde çalıştınız. Bu, zor ulaşılan yerlere internet sunmak için neden uygundu?

Bu kısmın uzmanı değilim; fikir Alphabet’in (GOOG ) yan kuruluşu Loon’a aitti. Genellikle örneğin Edmonton’a bir anten kurar, beş-altı kilometre yarıçapı kapsarsınız. New York merkezinde milyonlarca kişiye hizmet verebilir. Ama Amazon ormanında belki 50 kişilik bir topluluk için anten kurmanın maliyetini gerekçelendirmek zordur; bölgeye erişmek de güçtür.

Seyrek nüfuslu, zor ulaşılan bir yerde büyük altyapı yatırımı ekonomik değildir. Balon fikri şöyleydi: Anten çok yüksek, mesela 20 kilometre olsa? Böyle bir anten yapamıyoruz ama oraya balon koyabiliriz. Yarıçap on kat büyürse alan yüz kat olur. Ormanın ortasında bir balon, normalde her biri ayrı anten gerektiren birkaç topluluğa hizmet verebilir.

Motivasyonlardan biri buydu. Loon’un sloganı sonraki bir milyar kişiye değil, son bir milyar kişiye internetti. Yani en zor ulaşılabilenlere; çok iddialıydı.

Hangi navigasyon sorunlarını çözüyordunuz?

Balonların itki sistemi yok. Sıcak hava balonu gibi yükselip alçalarak istediğiniz yönde esen rüzgârı bulur, onunla ilerlersiniz. Başka yöne gitmek isterseniz irtifa değiştirip başka akım ararsınız. Fakat bunlar sıcak hava balonu değil; stratosferde uçan sabit hacimli balonlardır.

Navigasyonda yalnızca yükselme, alçalma veya aynı irtifada kalma seçeneği vardır; uygun rüzgârı bulmalıdırlar. Zorluk çoktur. İnternet sunduğunuz bölgede kalırken güneş enerjisiyle çalışan balonun gücünü de korumalısınız. Hem doğru konum hem enerji verimliliği isteyen çok amaçlı optimizasyondur.

Bulunduğunuz yerde rüzgârı bilirsiniz ama 500 metre yukarıdakini bilmezsiniz. Buna kısmi gözlemlenebilirlik diyoruz. Tahminler vardır ama yön 90 dereceye kadar yanlış olabilir. Yüzlerce rüzgâr katmanı, hız, yön, modelleme ve tahmine güven düzeyiyle son derece yüksek boyutlu bir problemdir.

Kavramak ve ne kadar zor olduğunu başkasına anlatmak bile güçtür. Bütün boyutları ekranda görmezsiniz. Rüzgârları, son ölçüm zamanını, enerjiyi, günün saatini ve hedef konumu birlikte değerlendirmelisiniz. Çok fazla şey vardır.

Makine öğrenimi neyi inceliyor? Yalnızca rüzgâr örüntüleri ve sıcaklığı mı?

Makine öğrenimine dayanan bir rüzgâr modelimiz vardı ama pekiştirmeli öğrenme değildi. Loon, farklı irtifalardaki geçmiş verilerle modeli Google Brain katılmadan önce geliştirmişti. Ben o bölümde yer almadım. Model, irtifalar arasında enterpolasyon da yapmalıydı.

İki yıl önce belli yükseklikteki rüzgârı bilip on metre yukarıdakini bilmeyebilirsiniz. Bunun üzerine Gauss süreci eklenmişti; modelin kalitesi hakkında makaleler var. Pekiştirmeli öğrenme açısından elimizde iyi bir balon dinamiği simülatörü ve bu rüzgâr simülatörü vardı. Kendimizi 2010’da varsayabiliyorduk. O yılın kaba küresel rüzgâr verilerini makine öğrenimi modeli ve Gauss süreciyle tamamlıyor, gürültü ve başka değişimler ekleyebiliyorduk.

Balon dinamiği, rüzgârlar ve geçmişte olduğumuzu varsaymak birlikte bir simülatör oluşturuyordu.

Geçmişteki bir dijital ikiz gibi.

Aynen. Hedefte kalmayı ve bir miktar enerji verimliliğini ödüllendiren bir fonksiyon tasarladık. Balon bu dünyayla etkileşerek öğrendi. Bunu geçmişi kullanarak yapabiliyorduk; aksi hâlde hava ve rüzgârları tam olarak modellemeyi bilmiyoruz. Böylece navigasyonu öğrendik: Çevremde olanlara göre yükseleyim mi, alçalayım mı, kalayım mı? Sonuçta amaç bölgeye internet vermekti.

Pekiştirmeli öğrenmeyi oyunlara kıyasla gerçek dünyada kullanmanın zorlukları neler?

Birkaç zorluk var. Ayrım mutlaka oyun ve gerçek dünya değil, temel ve uygulamalı araştırma arasındadır. Milyonlara dağıtılacak bir oyun için de uygulamalı araştırma yapabilirsiniz. Büyük zorluklardan biri mühendisliktir. Oyunlar önem verdiğimiz özellikleri daha iyi tanımlanmış kısıtlarla sunduğundan araştırma ortamı olarak kullanılır. Daha iyi anladığımız sınırlı ortamda araştırıp öğrenmeyi doğrulayabiliriz.

Araştırmanın tamamen farklı olması gerekmez ama gerçek dünya güvenlik gibi ek sorunlar getirir. Balonun saçma bir şey yapmamasını, ajanın öngörülmeyen zararlı davranış öğrenmemesini sağlamalıydık. En önemli kaygılarımızdan biriydi. Oyunda en kötü ihtimalle kaybedersiniz.

Bir de bütün ürünün teknik sistemi vardır. Tek başına araştırmacı olarak bilgisayar oyununda deneme yapmak kolaydır. Üründe istediğinizi yapamaz, sistemin kalanını öğrenmek zorunda kalırsınız. Ekip büyüklüğü de değişir. Loon’da onlarca, belki yüzlerce kişi vardı. Biz az sayıda kişiyle görüşüyorduk ama havacılık personeliyle iletişim kuran bir kontrol odası da vardı.

Dolayısıyla daha çok paydaş vardır. Mühendislik ve güvenliğin yanında, algoritmaların varsayımlarının çoğu gerçek dünyada geçmez; bunu ele almalısınız. Dünya, kendi başınıza çalıştığınız dar kapsamlı bir oyun kadar dost değildir.

Sevdiğim bir örnek şu: Gerekenleri aldık, bir-iki hafta çalıştık, Loon mühendislerine dönüp yüzde 100 doğrulukla sorunu çözdüğümüzü söyledik. Gülümseyip bunun imkânsız olduğunu, bazen gereken rüzgârların bulunmadığını söylediler.

Algoritmanın balonu bölgenin merkezine götürüp patlayana kadar yükselttiğini fark ettik. Balon yere düşüyor ve sonsuza dek bölgede kalıyordu. Elbette istenen bu değildi. Simülasyonda olmuştu; düzeltmelerden biri balonun patlayacağı seviyenin üzerine çıkmasını engellemekti.

Bu gerçek kısıtları ve diğer şeylerle etkileşimi yalnızca oyunlarda çalışan araştırmacılar kolayca gözden kaçırabilir. Gerçekte eylemlerin sonuçları vardır ve farkında olmalısınız. Başlıca güçlüklerden biri budur.

Deney döngüsü de çok uzundur. Oyunda başlat tuşuna basıp en kötü bir haftada sonuç alırım. Stratosferdeyse benim “stratosferin A/B testi” dediğim şey gerekiyordu. Çözüme güvendikten sonra istatistiksel olarak daha iyi olduğunu göstermeliydik. Sanırım 13 balonu Pasifik üzerinde bir aydan fazla uçurarak doğruladık. Zaman ölçeği çok farklıdır; deneme fırsatı azdır.

Oyunların aksine aynı deneyin bir milyon sürümünü eşzamanlı çalıştıramazsınız.

Evet. Eğitimde simülasyon kullanabiliyorduk; simülatör oyunlardan çok yavaş olsa da mühendislikle bunun üstesinden geldik. Gerçek dünyada farklıdır.

Bugün ne araştırıyorsunuz?

Alberta Üniversitesi’nde çok sayıda öğrencinin olduğu bir araştırma grubum var. Öğrenciler daha çeşitli konulara yönelmemi sağlıyor. Özellikle sürekli öğrenme fikri beni heyecanlandırıyor. Genellikle simülatör veya veri kümesi üzerinde hesaplama yapar, model eğitir, kullanıma alır ve iyi çalışmasını umarız. Çoğu zaman gereken tam budur. Ama bazen dünya o kadar karmaşıktır ki ne kadar büyük olursa olsun model her şeyi kapsayamaz. O zaman uyum gerekir.

Buradaki bir projemiz su arıtma tesisiyle ilgili. Pekiştirmeli öğrenme insan kararlarını nasıl destekler veya arıtmayı nasıl otonom yönetir? Verimiz var ama su kalitesi saatler içinde değişebilir. Her gün önceki günün verisiyle eğitseniz bile model birkaç saat sonra geçersizleşebilir: veri dağılımı kayar, durağan değildir. Yukarı havzada orman yangını olabilir veya kar erimeye başlayabilir. Hepsini modellemek için bütün dünyayı modellemeniz gerekir.

Bunu kimse yapmaz, insanlar da yapmaz. Eski yöntem işlemediğinde uyum sağlayıp öğreniriz. Birçok gerçek uygulama sürekli öğrenme ister ama makine öğrenimi genellikle böyle anlatılmaz. Büyük hesaplama, modelin kullanıma alınması ve belki günler ya da haftalar sonra yenisi düşünülür. Bazen bu zaman ölçeği uymaz.

Soru, nasıl sonsuza kadar öğrenip daha iyi olabilir ve uyum sağlayabiliriz? Bu çok zor. Bu konuda makalelerimiz var; mevcut yöntemler bunu yeterince yapamıyor. Alanın en iyi çözümleri bile eğitimi durdurup sabit modeli kullanmak yerine öğrenmeye devam edince hızla kötüleşiyor. Sabit modellerle başarılar sürdükten sonra, ki onları kullanmaya devam edeceğiz, sürekli öğrenme araştırmanın yeni sınırlarından biri.

Pekiştirmeli öğrenme uygun, çünkü birçok algoritma veriyi geldikçe işler. Sürekli öğrenmeye doğal biçimde uyar; bu, şimdiden bunu yaptıkları veya iyi oldukları anlamına gelmez. Çok ilginç araştırma soruları var.

Sürekli öğrenmenin gelecekteki hangi uygulamaları sizi en çok heyecanlandırıyor?

Milyar dolarlık soru bu; ben de bu uygulamaları arıyorum. Doğru soruları sormak araştırmanın yarısından fazlasıdır. Somut sorunların yön vermesini severim: Stratosferde beş balon var, nasıl çözeriz? Yol boyunca bilimsel ilerleme olur. Adam White ve Martha White’la onların yönettiği su arıtma projesinde çalışıyorum. Sorunu dille anlatmak bile zor olduğundan heyecan verici; dil alanındaki bugünkü başarılar doğrudan uygulanamaz.

Suyun bulanıklığı ve sıcaklığı sıkça, farklı zaman ölçeklerinde değişir. Sürekli öğrenmek kaçınılmazdır. Toplumsal etkisi muazzam: halka içme suyu sağlamaktan önemli bir şey düşünmek zor. Kuzey Kanada gibi seyrek nüfuslu yerlerde bazen tesisi çalıştıracak operatör bile yok. Amaç mutlaka operatörlerin yerini almak değil, personel veya kapasite eksikliğinde yapamayacağımız işleri mümkün kılmaktır.

Çok zor bir araştırma ve büyük toplumsal etki fırsatıdır. Simülatörümüz ve onu edinme imkânımız yok; veriyi en iyi kullanıp çevrimiçi, gelen verilerden öğrenmeliyiz. Çok çalışmadığım başka bir alan bina soğutması; hava ve iklim değişikliğiyle de ilgili. Soğutmaya nasıl karar verilir? Bugün burada yüzlerce kişi var, geçen haftadan farklı. Aynı kontrol politikası mı kullanılmalı? Çoğunlukla en fazla termostatımız var. Daha akıllı uyum sağlayabiliriz; bir odada çok, diğerinde az kişi olması da önemlidir.

Zihinde kavraması zor yüksek boyutlu kontrol sistemlerinde mevcut standart yöntemlerden daha iyi sonuç alma fırsatı çoktur.

Bazı yerlerde elektriğin yüzde 75’ine kadarı klimalarda kullanılıyor; bu nedenle çok mantıklı.

Aynen. Evde makine öğrenimiyle müşteriden öğrenen ürünler zaten var. Büyük binalarda çok daha ayrıntılı yaklaşılabilir. Florida, Brezilya ve pek çok yerde ihtiyaç büyük. Veri merkezi soğutması da bazı şirketlerin başladığı bir başka örnek. Neredeyse bilimkurgu gibi ama ihtiyaca göre sürekli öğrenip uyum sağlamak yüksek boyutlu kontrol sorunlarını büyük ölçüde etkileyebilir.

Balonlarda gösterdiğimiz gibi, pekiştirmeli öğrenme ve özellikle derin pekiştirmeli öğrenme, sensörlerden insanların tasarlayabildiğinden çok daha karmaşık kararlar öğrenebilir. İnsan bir tepki eğrisini doğrusal veya ikinci dereceden tasarlayabilir. Sinir ağı tüm doğrusal olmayan ilişkileri öğrenerek daha ayrıntılı, bazen çok etkili kararlar verebilir.

Harika röportaj için teşekkür ederiz. Daha fazla bilgi isteyen okurlar şu kaynakları ziyaret edebilir:

• Upper Bound Yapay Zekâ Konferansı.
• Amii (Alberta Machine Intelligence Institute)