Marlos C. Machado, Profesor Adjunct di Universitas Alberta, Amii Fellow, CIFAR AI Chair – Seri Wawancara

Marlos C. Machado adalah Fellow di Alberta Machine Intelligence Institute (Amii), seorang profesor adjunct di Universitas Alberta, dan seorang Amii fellow, di mana ia juga memegang posisi Canada CIFAR AI Chair. Penelitian Marlos sebagian besar berfokus pada masalah reinforcement learning. Ia memperoleh gelar B.Sc. dan M.Sc. dari UFMG, di Brasil, dan Ph.D. dari Universitas Alberta, di mana ia mempopulerkan gagasan tentang eksplorasi yang diperpanjang melalui opsi.

Ia adalah seorang peneliti di DeepMind dari tahun 2021 hingga 2023 dan di Google (GOOGL ) Brain dari tahun 2019 hingga 2021, selama waktu itu ia membuat kontribusi besar pada reinforcement learning, terutama aplikasi deep reinforcement learning untuk mengontrol balon stratosfer Loon. Karya Marlos telah dipublikasikan di konferensi dan jurnal AI terkemuka, termasuk Nature, JMLR, JAIR, NeurIPS, ICML, ICLR, dan AAAI. Penelitiannya juga telah ditampilkan di media populer seperti BBC, Bloomberg TV, The Verge, dan Wired.

Kami duduk untuk melakukan wawancara di konferensi tahunan 2023 Upper Bound tentang AI yang diadakan di Edmonton, AB dan diselenggarakan oleh Amii (Alberta Machine Intelligence Institute).

Fokus utama Anda telah menjadi reinforcement learning, apa yang menarik Anda ke jenis machine learning ini?

Apa yang saya sukai tentang reinforcement learning adalah konsepnya, yaitu cara alami untuk belajar, yaitu dengan interaksi. Ini terasa seperti cara kita belajar sebagai manusia, dalam arti. Saya tidak suka mengantropomorfisasi AI, tetapi ini hanya cara yang intuitif untuk mencoba hal-hal, beberapa hal terasa baik, beberapa hal terasa buruk, dan Anda belajar untuk melakukan hal-hal yang membuat Anda merasa lebih baik. Salah satu hal yang saya tertarik tentang reinforcement learning adalah fakta bahwa karena Anda benar-benar berinteraksi dengan dunia, Anda adalah agen yang kita bicarakan, yang mencoba hal-hal di dunia dan agen dapat mengembangkan hipotesis, dan menguji hipotesis.

Alasan ini penting adalah karena memungkinkan penemuan perilaku baru. Misalnya, salah satu contoh paling terkenal adalah AlphaGo, langkah 37 yang mereka bicarakan dalam dokumenter, yang merupakan langkah yang dikatakan kreatif. Ini adalah sesuatu yang tidak pernah terlihat sebelumnya, itu meninggalkan kita semua tercengang. Ini bukan hanya karena kita berinteraksi dengan dunia, Anda mendapatkan kemampuan untuk menemukan hal-hal tersebut. Anda mendapatkan kemampuan untuk menemukan, seperti salah satu proyek yang saya kerjakan adalah mengarahkan balon stratosfer, dan kita melihat hal-hal yang sangat mirip juga.

Kita melihat perilaku yang muncul yang membuat semua orang terkesan dan seperti kita tidak pernah memikirkannya, tetapi itu brilian. Saya pikir bahwa reinforcement learning secara unik dapat memungkinkan kita untuk menemukan jenis perilaku ini karena Anda berinteraksi, karena dalam arti, salah satu hal yang sangat sulit adalah kontrafaktual, seperti apa yang akan terjadi jika saya melakukan sesuatu yang berbeda? Ini adalah masalah yang sangat sulit secara umum, tetapi dalam banyak pengaturan studi machine learning, tidak ada yang bisa Anda lakukan tentang itu. Dalam reinforcement learning, Anda bisa, “Apa yang akan terjadi jika saya melakukan sesuatu yang berbeda?” Saya mungkin akan mencobanya berikutnya ketika saya mengalami ini. Saya pikir bahwa aspek interaktif ini, saya sangat menyukainya.

Tentu saja, saya tidak akan menjadi hipokrit, saya pikir bahwa banyak aplikasi yang sangat keren yang datang dengan itu membuatnya sangat menarik. Seperti kembali beberapa dekade yang lalu, bahkan ketika kita berbicara tentang contoh awal keberhasilan besar reinforcement learning, ini semua membuatnya sangat menarik bagi saya.

Aplikasi historis favorit Anda?

Saya pikir bahwa ada dua contoh yang sangat terkenal, satu adalah helikopter yang terbang di Stanford dengan reinforcement learning, dan lainnya adalah TD-Gammon, yang merupakan pemain backgammon yang menjadi juara dunia. Ini kembali pada tahun 90-an, dan saya melakukan internship di IBM dengan Gerald Tesauro dan Gerald Tesauro adalah orang yang memimpin proyek TD-Gammon, jadi ini sangat keren. Ini lucu karena ketika saya memulai reinforcement learning, saya tidak sepenuhnya menyadari apa itu. Ketika saya mendaftar ke sekolah pascasarjana, saya ingat saya mengunjungi banyak situs web profesor karena saya ingin melakukan machine learning, seperti secara umum, dan saya membaca deskripsi penelitian mereka, dan saya seperti, “Oh, ini menarik.” Ketika saya melihat kembali, tanpa menyadari bidang ini, saya memilih semua profesor terkenal di reinforcement learning, tetapi bukan karena mereka terkenal, tetapi karena deskripsi penelitian mereka menarik bagi saya. Saya seperti, “Oh, situs web ini sangat bagus, saya ingin bekerja dengan orang ini dan orang itu,” jadi dalam arti, saya-

seperti Anda menemukannya secara organik.

Tepat, jadi ketika saya melihat kembali, saya seperti, “Oh, ini adalah orang-orang yang saya ajukan untuk bekerja dengannya sejak lama,” atau ini adalah kertas yang sebelumnya saya baca, saya seperti, “Oh, ini sesuatu yang harus saya baca,” itu konsisten kembali ke reinforcement learning.

Ketika Anda di Google Brain, Anda bekerja pada navigasi otonom balon stratosfer. Mengapa ini adalah kasus penggunaan yang baik untuk memberikan akses internet ke daerah yang sulit dijangkau?

Itu bukan ahli saya, ini adalah pitch yang Loon, yang merupakan anak perusahaan Alphabet (GOOG ), sedang bekerja. Ketika Anda melalui cara kita memberikan internet kepada banyak orang di dunia, itu adalah membangun antena, seperti membangun antena di Edmonton, dan antena ini memungkinkan Anda untuk melayani internet ke wilayah dengan radius lima atau enam kilometer. Jika Anda memasang antena di pusat kota New York, Anda dapat melayani jutaan orang, tetapi bayangkan Anda mencoba memberikan internet kepada suku di hutan hujan Amazon. Mungkin Anda memiliki 50 orang di suku, biaya ekonomi untuk memasang antena di sana sangat tinggi, tidak hanya biaya akses ke wilayah tersebut.

Secara ekonomi, tidak masuk akal untuk melakukan investasi infrastruktur besar di daerah yang sulit dijangkau dan jarang penduduknya. Ide balon adalah, “Tapi bagaimana jika kita bisa membangun antena yang sangat tinggi? Bagaimana jika kita bisa memasang balon di sana?” Dan balon itu dapat melayani wilayah dengan radius 10 kali lebih besar, atau jika Anda berbicara tentang radius, maka itu adalah area 100 kali lebih besar dari internet. Jika Anda meletakkan balon di tengah hutan atau di tengah hutan, maka mungkin Anda dapat melayani beberapa suku yang sebelumnya memerlukan antena tunggal untuk masing-masing.

Memberikan akses internet ke daerah yang sulit dijangkau adalah salah satu motivasi. Saya ingat bahwa motto Loon adalah tidak untuk memberikan internet kepada miliaran orang berikutnya, tetapi untuk memberikan internet kepada miliaran orang terakhir, yang sangat ambisius dalam arti.

Apa masalah navigasi yang Anda coba selesaikan?

Cara balon ini bekerja adalah bahwa mereka tidak memiliki propulsi, seperti cara orang navigasi balon udara panas adalah bahwa Anda bisa naik atau turun dan Anda menemukan aliran angin yang membawa Anda ke arah tertentu, lalu Anda menunggangi angin itu, dan kemudian Anda seperti, “Oh, saya tidak ingin pergi ke sana lagi,” mungkin Anda naik atau turun dan Anda menemukan aliran angin yang berbeda dan seterusnya. Ini adalah cara balon ini bekerja. Ini bukan balon udara panas, ini adalah balon volume tetap yang terbang di stratosfer.

Semua yang bisa dilakukan balon dari perspektif navigasi adalah naik, turun, atau tetap di tempat, dan kemudian Anda harus menemukan angin yang akan membawa Anda ke tempat yang Anda inginkan. Dalam arti, ini adalah cara kita navigasi. Ada banyak tantangan, sebenarnya. Yang pertama adalah bahwa, berbicara tentang formulasi pertama, Anda ingin berada di wilayah, melayani internet, tetapi Anda juga ingin memastikan bahwa balon ini hemat energi, karena mereka ditenagai oleh surya. Ada masalah optimisasi multi-objek, untuk tidak hanya memastikan bahwa saya berada di wilayah yang saya inginkan, tetapi juga bahwa saya hemat energi dalam beberapa cara.

Ini adalah masalah itu sendiri, tetapi ketika Anda melihat detailnya, Anda tidak tahu bagaimana angin terlihat, Anda tahu bagaimana angin terlihat di tempat Anda, tetapi Anda tidak tahu bagaimana angin terlihat 500 meter di atas Anda. Anda memiliki apa yang kita sebut dalam AI sebagai observabilitas parsial, jadi Anda tidak memiliki data tersebut. Anda bisa memiliki prakiraan, dan ada kertas yang ditulis tentang hal ini, tetapi prakiraan sering kali bisa salah hingga 90 derajat. Ini adalah masalah yang sangat sulit dalam arti bagaimana Anda menangani observabilitas parsial ini, ini adalah masalah yang sangat tinggi dimensi karena kita berbicara tentang ratusan lapisan angin, dan kemudian Anda harus mempertimbangkan kecepatan angin, arah angin, cara kita memodelkannya, seberapa yakin kita tentang prakiraan tersebut, ketidakpastian.

Ini hanya membuat masalah menjadi sangat sulit untuk ditangani. Salah satu hal yang kita paling sulit dalam proyek ini adalah bahwa setelah semuanya selesai dan sebagainya, itu seperti bagaimana kita bisa menyampaikan betapa sulitnya masalah ini? Karena itu sulit untuk memahami, karena itu bukan sesuatu yang bisa Anda lihat di layar, itu ratusan dimensi dan angin, dan kapan terakhir kali saya memiliki pengukuran angin itu? Dalam arti, Anda harus mengkonsumsi semua itu sambil Anda berpikir tentang energi, waktu hari, di mana Anda ingin berada, itu banyak.

Apa yang dipelajari oleh machine learning? Apakah itu hanya pola angin dan suhu?

Cara kerjanya adalah bahwa kita memiliki model angin yang merupakan sistem machine learning, tetapi itu bukan reinforcement learning. Anda memiliki data historis tentang berbagai ketinggian, lalu Anda membangun model machine learning di atasnya. Ketika saya mengatakan “kita”, saya tidak termasuk dalam hal ini, ini adalah sesuatu yang dilakukan Loon bahkan sebelum Google Brain terlibat. Mereka memiliki model angin yang tidak hanya tentang ketinggian yang berbeda, tetapi bagaimana Anda melakukan interpolasi antara ketinggian yang berbeda?

Anda bisa mengatakan, “Mari kita lihat, dua tahun yang lalu, ini adalah bagaimana angin terlihat, tetapi bagaimana jika 10 meter di atasnya, kita tidak tahu”. Lalu Anda meletakkan proses Gaussian di atasnya, jadi mereka memiliki kertas yang ditulis tentang bagaimana baiknya model tersebut. Cara kita melakukannya adalah bahwa kita mulai dari perspektif reinforcement learning, kita memiliki simulator yang sangat baik tentang dinamika balon, dan kemudian kita juga memiliki simulator angin. Lalu apa yang kita lakukan adalah bahwa kita kembali ke masa lalu dan mengatakan, “Mari kita pura-pura bahwa saya berada di tahun 2010.” Kita memiliki data tentang apa yang angin terlihat seperti di tahun 2010 di seluruh dunia, tetapi sangat kasar, lalu kita dapat menumpangkan model machine learning ini, proses Gaussian, di atasnya sehingga kita mendapatkan pengukuran sebenarnya dari angin, dan kemudian kita dapat memperkenalkan noise, kita dapat melakukan berbagai hal.

Kemudian akhirnya, karena kita memiliki dinamika model dan kita memiliki angin dan kita kembali ke masa lalu dan berpura-pura bahwa ini adalah di mana kita berada, lalu kita sebenarnya memiliki simulator.

Itu seperti kembaran digital kembali ke masa lalu.

Tepat, kita merancang fungsi reward yang membuat balon tetap di target dan sedikit hemat energi, tetapi kita merancang fungsi reward ini sehingga balon dapat belajar dengan berinteraksi dengan dunia ini, tetapi balon hanya dapat berinteraksi dengan dunia karena kita tidak tahu bagaimana memodelkan cuaca dan angin, tetapi karena kita berpura-pura bahwa kita berada di masa lalu, lalu kita berhasil belajar untuk navigasi. Secara dasar, itu adalah apakah saya naik, turun, atau tetap? Diberikan semua yang terjadi di sekitar saya, pada akhirnya, garis bawahnya adalah bahwa saya ingin melayani internet ke wilayah tersebut. Itulah masalahnya, dalam arti.

Apa tantangan dalam menerapkan reinforcement learning di dunia nyata versus pengaturan permainan?

Saya pikir bahwa ada beberapa tantangan. Saya tidak pikir itu harus tentang permainan dan dunia nyata, itu tentang penelitian dasar dan penelitian terapan. Karena Anda bisa melakukan penelitian terapan dalam permainan, misalnya, Anda mencoba menerapkan model berikutnya dalam permainan yang akan dikirim ke jutaan orang, tetapi saya pikir bahwa salah satu tantangan utama adalah teknik. Jika Anda bekerja, sering kali Anda menggunakan permainan sebagai lingkungan penelitian karena mereka menangkap banyak sifat yang kita pedulikan, tetapi mereka menangkapnya dalam satu set konstrain yang lebih terdefinisi dengan baik. Karena itu, kita dapat melakukan penelitian, kita dapat memvalidasi pembelajaran, tetapi itu adalah lingkungan yang lebih “aman” yang kita pahami lebih baik.

Ini bukan bahwa penelitian harus sangat berbeda, tetapi saya pikir bahwa dunia nyata membawa banyak tantangan ekstra. Ini tentang menerapkan sistem seperti konstrain keamanan, seperti kita harus memastikan bahwa solusi yang kita dapatkan aman. Ketika Anda hanya melakukan permainan, Anda tidak perlu memikirkan tentang itu. Bagaimana Anda memastikan bahwa balon tidak melakukan sesuatu yang bodoh, atau bahwa agen pembelajaran reinforcement tidak belajar sesuatu yang tidak kita antisipasi, dan itu akan memiliki konsekuensi buruk? Ini adalah salah satu kekhawatiran utama yang kita miliki, yaitu keamanan. Tentu saja, jika Anda hanya bermain permainan, maka kita tidak terlalu memikirkan tentang itu, yang terburuk yang bisa terjadi adalah Anda kalah dalam permainan.

Ini adalah tantangan, yang lain adalah tumpukan teknik. Ini sangat berbeda dari jika Anda adalah seorang peneliti yang bekerja sendiri untuk berinteraksi dengan permainan komputer karena Anda ingin memvalidasi, itu tidak masalah, tetapi sekarang Anda memiliki tumpukan teknik dari produk keseluruhan yang harus Anda tangani. Ini bukan bahwa mereka hanya akan membiarkan Anda melakukan apa saja yang Anda inginkan, jadi saya pikir Anda harus menjadi lebih akrab dengan bagian tambahan itu juga. Saya pikir bahwa ukuran tim juga bisa sangat berbeda, seperti Loon pada saat itu, mereka memiliki puluhan jika tidak ratusan orang. Kami masih berinteraksi dengan sejumlah kecil dari mereka, tetapi kemudian mereka memiliki ruang kontrol yang sebenarnya berbicara dengan staf aviasi.

Kami tidak tahu tentang itu, tetapi kemudian Anda memiliki banyak lebih banyak pemangku kepentingan dalam arti. Saya pikir bahwa banyak perbedaan adalah bahwa, satu, teknik, keamanan, dan sebagainya, dan mungkin yang lain adalah bahwa asumsi Anda tidak berlaku. Banyak asumsi yang Anda buat yang algoritma ini berdasarkan, ketika Anda membawa mereka ke dunia nyata, mereka tidak berlaku, dan kemudian Anda harus mencari tahu bagaimana menangani itu. Dunia tidak sebaik aplikasi apa pun yang Anda lakukan dalam permainan, itu terutama jika Anda berbicara tentang permainan yang sangat terbatas yang Anda lakukan sendiri.

Salah satu contoh yang saya sangat suka adalah bahwa mereka memberi kita semua, kita seperti, “Ok, sekarang kita bisa mencoba beberapa hal ini untuk menyelesaikan masalah,” dan kemudian kita pergi melakukannya, dan kemudian satu minggu kemudian, dua minggu kemudian, kita kembali ke insinyur Loon seperti, “Kita telah menyelesaikan masalah Anda.” Kita sangat pintar, mereka melihat kita dengan senyum di wajah mereka seperti, “Kamu tidak menyelesaikan masalah, kita tahu kamu tidak bisa menyelesaikan masalah, itu terlalu sulit,” seperti, “Tidak, kita telah menyelesaikan masalah Anda, lihat, kita memiliki akurasi 100%.” Seperti, “Ini secara harfiah tidak mungkin, kadang-kadang Anda tidak memiliki angin yang memungkinkan Anda …” “Tidak, mari kita lihat apa yang terjadi.”

Kita mencari tahu apa yang terjadi. Balon, algoritma pembelajaran reinforcement, belajar untuk pergi ke pusat wilayah, dan kemudian akan naik, dan naik, dan kemudian balon akan meledak, dan kemudian balon akan turun dan akan berada di dalam wilayah selamanya. Mereka seperti, “Ini jelas tidak apa yang kita inginkan,” tetapi kemudian tentu saja ini adalah simulasi, tetapi kemudian kita seperti, “Oh ya, bagaimana kita memperbaiki itu?” Mereka seperti, “Oh ya, tentu saja ada beberapa hal, tetapi salah satu halnya adalah kita membuat pasti balon tidak bisa naik di atas tingkat yang akan membuatnya meledak.”

Konstrain ini di dunia nyata, aspek ini tentang bagaimana solusi Anda sebenarnya berinteraksi dengan hal-hal lain, itu mudah untuk diabaikan ketika Anda hanya seorang peneliti reinforcement learning yang bekerja pada permainan, dan kemudian ketika Anda sebenarnya pergi ke dunia nyata, Anda seperti, “Oh tunggu, hal-hal ini memiliki konsekuensi, dan saya harus menyadari itu.” Saya pikir bahwa ini adalah salah satu kesulitan utama.

Saya pikir bahwa yang lain adalah bahwa siklus eksperimen ini sangat lama, seperti dalam permainan saya bisa hanya mengklik mainkan. Yang terburuk yang bisa terjadi adalah setelah seminggu saya memiliki hasil, tetapi kemudian jika saya sebenarnya harus terbang balon di stratosfer, kita memiliki ungkapan yang saya suka gunakan dalam ceramah saya yang seperti kita melakukan pengujian A/B stratosfer, karena akhirnya setelah kita memiliki solusi dan kita yakin dengan itu, sekarang kita ingin memastikan bahwa itu sebenarnya lebih baik secara statistik. Kita mendapatkan 13 balon, saya pikir, dan kita terbang di Samudra Pasifik selama lebih dari sebulan, karena itu berapa lama waktu yang dibutuhkan untuk kita bahkan memvalidasi bahwa apa yang kita dapatkan sebenarnya lebih baik. Waktu skala ini sangat berbeda juga, jadi Anda tidak mendapatkan banyak kesempatan untuk mencoba hal-hal.

Tidak seperti permainan, tidak ada jutaan iterasi dari permainan yang sama yang berjalan secara bersamaan.

Ya. Kita memiliki itu untuk pelatihan karena kita menggunakan simulasi, meskipun, lagi, simulator itu jauh lebih lambat daripada permainan apa pun yang Anda miliki, tetapi kita bisa menangani itu secara teknis. Ketika Anda melakukannya di dunia nyata, maka itu berbeda.

Apa penelitian yang Anda kerjakan saat ini?

Sekarang saya berada di Universitas Alberta, dan saya memiliki kelompok penelitian di sini dengan banyak mahasiswa. Penelitian saya jauh lebih beragam dalam arti, karena mahasiswa saya memungkinkan saya untuk melakukan itu. Salah satu hal yang saya sangat antusias adalah konsep pembelajaran kontinu. Apa yang terjadi adalah bahwa hampir setiap kali kita berbicara tentang machine learning secara umum, kita akan melakukan beberapa komputasi baik menggunakan simulator, baik menggunakan dataset dan memproses data, dan kita akan belajar model machine learning, dan kita menerapkan model itu dan kita berharap itu berjalan dengan baik, dan itu tidak apa-apa. Banyak kali itu adalah apa yang Anda butuhkan, banyak kali itu sudah cukup, tetapi kadang-kadang itu tidak cukup karena kadang-kadang masalah di dunia nyata terlalu kompleks untuk Anda harapkan bahwa model, tidak peduli seberapa besar itu, sebenarnya bisa memasukkan semua kompleksitas di dunia, jadi Anda harus beradaptasi.

Salah satu proyek yang saya kerjakan, misalnya, di sini di Universitas Alberta adalah pengolahan air. Secara dasar, ini adalah bagaimana kita bisa mengembangkan algoritma pembelajaran reinforcement yang dapat mendukung manusia dalam proses pengambilan keputusan, atau bagaimana melakukan itu secara otonom untuk pengolahan air? Kita memiliki data, kita bisa melihat data, dan kadang-kadang kualitas air berubah dalam beberapa jam, jadi bahkan jika Anda mengatakan bahwa, “Setiap hari saya akan melatih model machine learning dari hari sebelumnya, dan saya akan menerapkan itu dalam beberapa jam hari ini,” model itu tidak valid lagi karena ada pergeseran data, itu tidak stasioner. Ini sangat sulit untuk Anda modelkan karena mungkin itu kebakaran hutan yang terjadi di hulu, atau mungkin salju mulai mencair, jadi Anda harus memodelkan seluruh dunia untuk bisa melakukan itu.

Tentu saja tidak ada yang melakukan itu, kita tidak melakukan itu sebagai manusia, jadi apa yang kita lakukan? Kita beradaptasi, kita terus belajar, kita seperti, “Oh, hal yang saya lakukan sebelumnya tidak berfungsi lagi, jadi saya mungkin akan belajar untuk melakukan sesuatu yang lain.” Saya pikir bahwa ada banyak publikasi, terutama yang nyata, yang memerlukan Anda untuk terus belajar dan selamanya, dan ini bukan cara standar yang kita bicarakan tentang machine learning. Sering kali kita berbicara tentang, “Saya akan melakukan komputasi besar, dan saya akan menerapkan model,” dan mungkin saya menerapkan model sementara saya sudah melakukan komputasi lagi karena saya akan menerapkan model beberapa hari atau minggu kemudian, tetapi kadang-kadang skala waktu dari hal-hal itu tidak berfungsi.

Pertanyaannya adalah, “Bagaimana kita bisa terus belajar selamanya, sehingga kita terus membaik dan beradaptasi?” dan ini sangat sulit. Kita memiliki beberapa kertas tentang ini, seperti mesin kita saat ini tidak bisa melakukan itu, seperti banyak solusi yang kita miliki yang merupakan standar emas di bidang, jika Anda hanya memiliki sesuatu yang terus belajar bukan berhenti dan menerapkan, hal-hal menjadi buruk sangat cepat. Ini adalah salah satu hal yang saya sangat antusias, yang saya pikir seperti sekarang bahwa kita telah melakukan banyak hal sukses, menerapkan model tetap, dan kita akan terus melakukannya, tetapi berpikir sebagai peneliti, “Apa yang merupakan batas dari bidang ini?” Saya pikir bahwa salah satu batas yang kita miliki adalah aspek pembelajaran kontinu ini.

Saya pikir bahwa salah satu hal yang reinforcement learning sangat cocok untuk melakukan ini, karena banyak algoritma kita, mereka memproses data saat data datang, dan banyak algoritma hanya secara langsung cocok untuk belajar. Ini tidak berarti bahwa mereka melakukannya atau bahwa mereka baik dalam melakukan itu, tetapi kita tidak perlu mempertanyakan diri kita sendiri, dan saya pikir kita memiliki banyak pertanyaan penelitian yang menarik tentang apa yang bisa kita lakukan.

Aplikasi apa di masa depan menggunakan pembelajaran kontinu yang paling Anda antusias?

Ini adalah pertanyaan sejuta dolar, karena dalam arti saya telah mencari aplikasi tersebut. Saya pikir bahwa sebagai peneliti, saya telah dapat meminta pertanyaan yang tepat, itu lebih dari setengah dari pekerjaan, jadi saya pikir bahwa dalam reinforcement learning, saya suka didorong oleh masalah. Ini seperti, “Oh, kita memiliki tantangan ini, mari kita mencoba menyelesaikannya,” dan kemudian di sepanjang jalan Anda membuat kemajuan ilmiah. Sekarang saya bekerja dengan beberapa API seperti Adam White, Martha White pada ini, yang sebenarnya dipimpin oleh mereka pada proyek pengolahan air. Ini adalah sesuatu yang saya sangat antusias karena itu adalah sesuatu yang sangat sulit untuk dijelaskan dengan bahasa, jadi itu seperti itu tidak semua keberhasilan saat ini yang kita miliki dengan bahasa, mereka mudah diterapkan di sana.

Mereka memerlukan aspek pembelajaran kontinu ini, seperti saya sebutkan, Anda memiliki perubahan air yang terjadi cukup sering, baik itu kekeruhan, suhu, dan sebagainya, dan beroperasi pada skala waktu yang berbeda. Saya pikir bahwa itu tidak dapat dihindari bahwa kita perlu terus belajar. Ini memiliki dampak sosial yang besar, itu sulit untuk membayangkan sesuatu yang lebih penting daripada memberikan air minum kepada populasi, dan kadang-kadang itu sangat penting. Karena itu mudah untuk mengabaikan fakta bahwa kadang-kadang kita tidak memiliki operator untuk mengoperasikan pengolahan air. Ini bukan bahwa itu harus menggantikan operator, tetapi itu untuk memberi kita kekuatan untuk melakukan hal-hal yang sebelumnya kita tidak bisa, karena kita tidak memiliki personil atau kekuatan untuk melakukan itu.

Saya pikir bahwa itu memiliki potensi dampak sosial yang besar, itu adalah masalah penelitian yang sangat menantang. Kita tidak memiliki simulator, kita tidak memiliki cara untuk memperolehnya, jadi kemudian kita harus menggunakan data terbaik, kita harus belajar secara online, jadi ada banyak tantangan di sana, dan ini adalah salah satu hal yang saya antusias. Yang lain, dan ini bukan sesuatu yang saya lakukan banyak, tetapi yang lain adalah pendinginan bangunan, dan lagi, berpikir tentang cuaca, perubahan iklim, dan hal-hal yang kita bisa memiliki dampak pada, sering kali itu seperti bagaimana kita memutuskan bagaimana kita akan mendinginkan bangunan? Seperti bangunan ini yang kita miliki ratusan orang hari ini, ini sangat berbeda dari apa yang kita miliki minggu lalu, dan apakah kita akan menggunakan kebijakan yang sama? Paling banyak kita memiliki thermostat, jadi kita seperti, “Oh, itu panas, jadi kita mungkin bisa lebih cerdas tentang itu dan beradaptasi,” lagi, dan kadang-kadang ada banyak orang di satu ruangan, tidak di ruangan lain.

Ada banyak kesempatan tentang sistem kontrol yang tinggi dimensi, sangat sulit untuk dipahami oleh pikiran kita yang bisa kita lakukan lebih baik daripada pendekatan standar yang kita miliki saat ini di bidang.

Di beberapa tempat, hingga 75% konsumsi daya adalah unit AC, jadi itu membuat banyak sense.

Tepat, dan saya pikir bahwa banyak dari ini di rumah Anda, mereka sudah memiliki produk yang melakukan machine learning dan yang kemudian mereka belajar dari klien mereka. Di bangunan, Anda bisa memiliki pendekatan yang lebih halus, seperti Florida, Brasil, itu banyak tempat yang memiliki kebutuhan ini. Pendinginan pusat data, ini adalah lainnya juga, ada beberapa perusahaan yang mulai melakukan ini, dan ini terdengar seperti fiksi ilmiah, tetapi ada kemampuan untuk terus belajar dan beradaptasi saat kebutuhan datang. Ini bisa memiliki dampak besar pada masalah kontrol yang tinggi dimensi dan sebagainya, seperti ketika kita terbang balon. Misalnya, salah satu hal yang kita bisa tunjukkan adalah bagaimana reinforcement learning, dan khususnya deep reinforcement learning, dapat belajar keputusan berdasarkan sensor yang jauh lebih kompleks daripada yang bisa dirancang oleh manusia.

Hanya dengan definisi, Anda melihat bagaimana manusia akan merancang kurva respons, hanya beberapa sense di mana itu seperti, “Ya, itu mungkin linier, kuadratik,” tetapi ketika Anda memiliki jaringan saraf, itu bisa belajar semua non-linier yang membuatnya menjadi keputusan yang lebih halus, yang kadang-kadang sangat efektif. Terima kasih atas wawancara yang luar biasa, pembaca yang ingin mempelajari lebih lanjut harus mengunjungi sumber daya berikut:

• Upper Bound AI Conference.
• Amii (Alberta Machine Intelligence Institute)