สัมภาษณ์

มาร์ลอส ซี. มาชาโด้ ผู้ช่วยศาสตราจารย์ที่มหาวิทยาลัยอัลเบอร์ตา Fellow ของ Amii และประธานกรรมการ AI ของ CIFAR – ซีรีส์สัมภาษณ์

เผยแพร่ 13 มิถุนายน 2023

อัปเดต 23 พฤษภาคม 2026

Antoine Tardif, ซีอีโอและผู้ก่อตั้ง Unite.AI

เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google

มาร์ลอส ซี. มาชาโด้ เป็น Fellow ใน Amii (Alberta Machine Intelligence Institute) และเป็นผู้ช่วยศาสตราจารย์ที่มหาวิทยาลัยอัลเบอร์ตา เขายังเป็น Fellow ของ Amii และประธานกรรมการ AI ของ CIFAR อีกด้วย การวิจัยของมาร์ลอสส่วนใหญ่มุ่งเน้นไปที่ปัญหา Reinforcement Learning เขาได้รับปริญญาตรีและปริญญาโทจาก UFMG ในบราซิล และได้รับปริญญาเอกจากมหาวิทยาลัยอัลเบอร์ตา โดยที่เขานำเสนอแนวคิดเรื่อง Temporally-extended exploration ผ่าน Options

เขาทำงานเป็นนักวิจัยที่ DeepMind ระหว่างปี 2021 ถึง 2023 และที่ Google (GOOGL ) Brain ระหว่างปี 2019 ถึง 2021 ในช่วงเวลานั้นเขาทำงานเกี่ยวกับ Reinforcement Learning โดยเฉพาะการนำ Deep Reinforcement Learning ไปใช้กับการควบคุมบอลลูนในระดับสตราโตสเฟียร์ของ Loon ผลงานวิจัยของมาร์ลอสได้รับการตีพิมพ์ในงานประชุมและวารสารชั้นนำด้าน AI รวมถึง Nature, JMLR, JAIR, NeurIPS, ICML, ICLR และ AAAI ผลงานวิจัยของเขายังได้รับการนำเสนอในสื่อเช่น BBC, Bloomberg TV, The Verge และ Wired

เรานั่งสัมภาษณ์กันที่งาน Upper Bound AI Conference ประจำปี 2023 ที่เมืองเอ็ดมอนตัน รัฐอัลเบอร์ตา ซึ่งจัดโดย Amii (Alberta Machine Intelligence Institute)

คุณมุ่งเน้นไปที่ Reinforcement Learning มาโดยตลอด คุณถูกดึงดูดให้เข้าสู่สาขานี้ได้อย่างไร?

สิ่งที่ฉันชอบเกี่ยวกับ Reinforcement Learning คือแนวคิดที่ว่ามันเป็นวิธีการเรียนรู้ที่เป็นธรรมชาติ คุณเรียนรู้โดยการโต้ตอบกับสิ่งแวดล้อม และมันทำให้คุณได้เรียนรู้สิ่งใหม่ๆ อยู่เสมอ

เหตุผลที่มันสำคัญคือเพราะมันช่วยให้คุณสามารถค้นพบพฤติกรรมใหม่ๆ ที่คุณไม่เคยเห็นมาก่อน เช่น ในกรณีของ AlphaGo ที่สามารถเล่นโกะได้ดีกว่ามนุษย์

เรายังเห็นพฤติกรรมที่น่าประทับใจในโครงการที่ฉัน曾ทำงาน เช่น การบินบอลลูนในระดับสตราโตสเฟียร์

ฉันไม่ต้องการที่จะไม่ซื่อสัตย์ แต่ฉันคิดว่าหนึ่งในสิ่งที่ทำให้ Reinforcement Learning น่าสนใจคือการนำไปใช้จริงในหลายๆ ด้าน

คุณมีประสบการณ์เกี่ยวกับ Reinforcement Learning ในอดีตหรือไม่?

ฉันคิดว่ามีสองตัวอย่างที่มีชื่อเสียง คือ การบินเฮลิคอปเตอร์โดยใช้ Reinforcement Learning ที่ Stanford และ TD-Gammon ซึ่งเป็นโปรแกรมเล่นแบ็คแกมมอนที่สามารถเป็นแชมป์โลกได้

ฉันเคยทำงานที่ IBM กับ Gerald Tesauro ซึ่งเป็นผู้นำโครงการ TD-Gammon

คุณพบกับ Reinforcement Learning อย่างไร?

ฉันคิดว่าฉันพบกับ Reinforcement Learning ในแบบออร์แกนิก เมื่อฉันกำลังศึกษาด้าน Machine Learning ฉันเห็นคำอธิบายการวิจัยของหลายๆ ศาสตราจารย์ และฉันพบว่าคำอธิบายเหล่านั้นน่าสนใจ

ฉันจึงตัดสินใจที่จะทำงานกับพวกเขา และฉันก็พบว่าตัวเองอยู่ในด้าน Reinforcement Learning

คุณทำงานเกี่ยวกับการนำทางบอลลูนในระดับสตราโตสเฟียร์เมื่อทำงานที่ Google Brain คุณสามารถอธิบายได้หรือไม่ว่าทำไมมันเป็นกรณีการใช้งานที่ดีสำหรับการให้บริการอินเทอร์เน็ตในพื้นที่ที่เข้าถึงยาก?

นี่ไม่ใช่สิ่งที่ฉันเชี่ยวชาญ แต่ฉันสามารถอธิบายได้ว่า Loon ซึ่งเป็นบริษัทลูกของ Alphabet (GOOG ) มีเป้าหมายที่จะให้บริการอินเทอร์เน็ตแก่พื้นที่ที่เข้าถึงยาก

การให้บริการอินเทอร์เน็ตในพื้นที่ที่เข้าถึงยากมีค่าใช้จ่ายสูง และไม่คุ้มค่าในการลงทุนในโครงสร้างพื้นฐาน

การบินบอลลูนในระดับสตราโตสเฟียร์สามารถให้บริการอินเทอร์เน็ตแก่พื้นที่ที่เข้าถึงยากได้ โดยไม่ต้องลงทุนในโครงสร้างพื้นฐาน

คุณพบกับปัญหาการนำทางบอลลูนในระดับสตราโตสเฟียร์หรือไม่?

บอลลูนที่บินในระดับสตราโตสเฟียร์ไม่สามารถขับเคลื่อนได้ แต่สามารถบินขึ้นหรือลงได้ และสามารถหาทิศทางลมที่จะพาไปสู่จุดหมาย

มีหลายปัญหาที่ต้องเผชิญ เช่น การคาดการณ์ลมที่ไม่แน่นอน และการควบคุมบอลลูนให้ไปสู่จุดหมาย

คุณสามารถอธิบายได้หรือไม่ว่า Machine Learning เรียนรู้อะไรในกรณีนี้?

เรามีแบบจำลองลมที่เป็นระบบ Machine Learning แต่ไม่ใช่ Reinforcement Learning

เราสามารถสร้างแบบจำลองลมได้โดยใช้ข้อมูลในอดีต และสามารถคาดการณ์ลมได้

เราสามารถสร้างแบบจำลองการบินบอลลูนได้ และสามารถเรียนรู้การบินบอลลูนโดยการโต้ตอบกับสิ่งแวดล้อม

คุณพบกับปัญหาการนำทางบอลลูนในระดับสตราโตสเฟียร์หรือไม่?

เราพบว่าบอลลูนที่บินในระดับสตราโตสเฟียร์สามารถเรียนรู้การบินได้โดยการโต้ตอบกับสิ่งแวดล้อม

คุณสามารถอธิบายได้หรือไม่ว่าปัญหาการนำทางบอลลูนในระดับสตราโตสเฟียร์แตกต่างจากเกมหรือไม่?

เราพบว่าปัญหาการนำทางบอลลูนในระดับสตราโตสเฟียร์แตกต่างจากเกม

ในเกม เราสามารถสร้างสภาพแวดล้อมที่เป็นแบบจำลองได้ แต่ในกรณีนี้ เราต้องเผชิญกับสภาพแวดล้อมที่ไม่แน่นอนและเปลี่ยนแปลงได้

เราพบว่าปัญหาการนำทางบอลลูนในระดับสตราโตสเฟียร์แตกต่างจากเกม

คุณสามารถอธิบายได้หรือไม่ว่าคุณกำลังทำงานเกี่ยวกับอะไรในขณะนี้?