مقابلات
مارلوس سي ماتشادو، أستاذ مساعد في جامعة ألبرتا، زميل في معهد ألبرتا للمachine Intelligence، CIFAR AI Chair – سلسلة المقابلات
أضف Unite.AI إلى مصادرك المفضلة على Google
مارلوس سي ماتشادو هو زميل في معهد ألبرتا للمachine Intelligence (Amii)، وأستاذ مساعد في جامعة ألبرتا، وزميل في Amii، حيث يحمل أيضًا كرسي كندا CIFAR AI. يركز بحث مارلوس بشكل رئيسي على مشكلة التعلم التعزيزي. حصل على درجة البكالوريوس والماجستير من UFMG في البرازيل، ودكتوراه من جامعة ألبرتا، حيث شجع على فكرة الاستكشاف الممتد زمنيًا من خلال الخيارات.
كان باحثًا في DeepMind من 2021 إلى 2023 وفي Google (GOOGL ) Brain من 2019 إلى 2021، خلال ذلك الوقت قدم مساهمات كبيرة في التعلم التعزيزي، خاصة في تطبيق التعلم التعزيزي العميق لتحكم بالونات Loon في层 الستراتوسفير. تم نشر أبحاث مارلوس في المؤتمرات والمنشورات الرائدة في مجال الذكاء الاصطناعي، بما في ذلك Nature و JMLR و JAIR و NeurIPS و ICML و ICLR و AAAI. كما تم عرض أبحاثه في وسائل الإعلام الشعبية مثل BBC و Bloomberg TV و The Verge و Wired.
جلسنا معًا لمقابلة في المؤتمر السنوي 2023 Upper Bound على الذكاء الاصطناعي في إدمونتون، ألبرتا، والذي استضافه Amii (معهد ألبرتا للمachine Intelligence).
ما هو التركيز الرئيسي لديك على التعلم التعزيزي، ما الذي يdrawsك إلى هذا النوع من التعلم الاصطناعي؟
ما يعجبني في التعلم التعزيزي هو هذا المفهوم، إنه طريقة طبيعية جدًا، في رأيي، للتعلم، وهو أنك تتعلم من خلال التفاعل. يبدو أنه كيف نتعلم نحن البشر، بمعنى ما. لا أحب أن أنthropomorphize الذكاء الاصطناعي، ولكن إنه فقط مثل هذه الطريقة الذكية التي تتعلم بها، حيث تحاول أشياءً، وبعضها يبدو جيدًا، وبعضها يبدو سيئًا، وتتعلم القيام بالأشياء التي تجعل你 تشعر بالتحسن.
أحد الأشياء التي ألهمتني حول التعلم التعزيزي هو حقيقة أنك تكتشف سلوكيات جديدة. على سبيل المثال، أحد الأمثلة الأكثر شهرة هو AlphaGo، الخطوة 37 التي يتحدثون عنها في الوثائقي، والتي كانت هذه الخطوة التي قال الناس إنها إبداعية. لم تكن موجودة من قبل، وتركتنا جميعًا مذهولين.
رأينا سلوكيات تظهر التي تركت الجميع مذهولًا، مثل أحد المشاريع التي عملت عليها كانت طيران بالونات مرئية في الستراتوسفير، ورأينا أشياءً مشابهة.
رأينا سلوكيات تظهر التي تركت الجميع مذهولًا، مثل أحد المشاريع التي عملت عليها كانت طيران بالونات مرئية في الستراتوسفير، ورأينا أشياءً مشابهة.
ما هو التطبيق التاريخي المفضل لديك؟
أعتقد أن هناك مثالين مشهورين، أحدهما طائرة هليكوبتر طائرة في ستانفورد باستخدام التعلم التعزيزي، والآخر هو TD-Gammon، وهو لاعب الباكغامون الذي أصبح بطلًا عالميًا. كان هذا في التسعينيات، وخلال فترة الدكتوراه، قمت بضمان الحصول على منحة دراسية في IBM مع جيرالد تيساورو، وجيرالد تيساورو كان يقود مشروع TD-Gammon.
كانت هذه هي المرة الأولى التي أسمع فيها عن التعلم التعزيزي، وكنت مهتمًا جدًا به. كنت أقرأ وصف أبحاث كل الأستاذين لأنني أردت أن أفعل شيئًا في التعلم الاصطناعي، وكنت أقرأ وصف أبحاثهم، وكنت مثل، “أوه، هذا مثير للاهتمام”. عندما أعود إلى الوراء، دون أن أعرف مجال البحث، اخترت جميع الأستاذين المشهورين في التعلم التعزيزي، ولكن ليس لأنهم كانوا مشهورين، بل لأن وصف أبحاثهم كان جذابًا بالنسبة لي.
كنت تعمل في Google Brain، عملت على الملاحة الذاتية للبالونات في الستراتوسفير. لماذا كانت هذه حالة استخدام جيدة لتوفير الوصول إلى الإنترنت في المناطق الصعبة الوصول إليها؟
ذلك ليس خبيرًا لي، هذا هو الاقتراح الذي كان يعمل عليه Loon، وهو شركة تابعة لشركة Alphabet. عندما ننظر إلى كيفية توفير الإنترنت للناس في جميع أنحاء العالم، من الناحية الاقتصادية، لا يعتبر استثمار البنية التحتية في منطقة نائية جدًا مكتظًا بالسكان أمرًا مجديًا.
كانت فكرة البالونات مثل، “ماذا لو كنا نستطيع بناء هوائي يصل ارتفاعه إلى 20 كيلومترًا؟” بالطبع لا نعرف كيف نبني هذا الهوائي، ولكننا يمكننا وضع بالون هناك، والبالون سيكون قادرًا على توفير الإنترنت لمنطقة أكبر 10 مرات، أو إذا تحدثنا عن نصف القطر، فسيكون مساحة أكبر 100 مرة.
كان توفير الوصول إلى الإنترنت لهذه المناطق الصعبة الوصول إليها أحد الدوافع. أتذكر أن شعار Loon كان ليس لتوفير الإنترنت للمليار التالي من الناس، بل لتوفير الإنترنت للمليار الأخير من الناس، وهو هدف طموح جدًا.
ما كانت مشاكل الملاحة التي كنت تحاول حلها؟
طريقة عمل هذه البالونات هي أنها لا يتم دفعها، مثل طريقة ملاحة بالونات الهواء الساخن، حيث تذهب إما لأعلى أو لأسفل وتجد تيارًا هوائيًا يأخذك في اتجاه معين، ثم تركب عليه، ثم مثل، “أوه، لا أريد أن أذهب هناك بعد الآن،” ربما تذهب لأعلى أو لأسفل وتجد تيارًا آخر.
كل ما يمكن أن تفعله هو الذهاب لأعلى أو لأسفل أو البقاء حيث هو، ثم يجب أن تجد رياحًا تأخذه إلى حيث تريد أن تكون. هناك تحديات كثيرة، أولها هو تحديد موقعك، تريد أن تكون في منطقة معينة لتوفير الإنترنت، ولكنك تريد أيضًا أن تكون كفؤًا في الطاقة لأن البالونات تعمل بالطاقة الشمسية.
كانت هذه هي المشكلة نفسها، ولكن عندما ننظر إلى التفاصيل، لا نعرف كيف تبدو الرياح، نعرف كيف تبدو الرياح حيث نحن، ولكن لا نعرف كيف تبدو الرياح 500 متر فوقنا. لدينا ما نسميه في الذكاء الاصطناعي Observatory غير كامل، ولا نعرف هذه البيانات.
يمكننا الحصول على توقعات، وهناك أوراق كتبت عن هذا، ولكن التوقعات غالبًا ما تكون خاطئة بنسبة تصل إلى 90 درجة. إنه مشكلة صعبة جدًا، لأننا نتحدث عن مئات من طبقات الرياح، ويجب أن نأخذ في الاعتبار سرعة الرياح وطولها وطريقة نمذجتها ومدى ثقتنا في هذا التوقع من عدمه.
جعلت هذه المشكلة صعبة للغاية. واحدة من الأشياء التي كنا ن斗لها أكثر في هذا المشروع هي كيف ن传ل كم هذه المشكلة صعبة. بعد كل شيء، كان مثل، “نحن حلنا مشكلتك.” كانوا ينظرون إلينا بابتسامة على وجوههم مثل، “لا، أنتم لم تحلوا مشكلتنا، نحن نعرف أنك لا تستطيع حلها،” مثل، “لا، نحن فعلنا، نحن حلنا مشكلتكم، انظروا، لدينا دقة 100٪”.
كانت مشاكل الملاحة التي كنا نحاول حلها هي كيف نضمن أن البالون يبقى في المنطقة التي نريدها، وكيف نضمن أن البالون لا يفقد الطاقة، وكيف نضمن أن البالون لا يفقد الاتصال بالإنترنت.
ماذا يدرس التعلم الاصطناعي؟ هل هو ببساطة أنماط الرياح ودرجات الحرارة؟
طريقة عملها هي أننا لدينا نموذج للرياح وهو نظام تعلم اصطناعي، ولكن لم يكن تعلم تعزيزي. لدينا بيانات تاريخية عن الرياح في مختلف الارتفاعات، ثم بنينا نظام تعلم اصطناعي على هذه البيانات.
ما فعلناه هو أننا بدأنا من منظور تعلم تعزيزي، لدينا محاكي جيد جدًا لديناميكيات البالون، وكذلك لدينا محاكي للرياح. ثم ما فعلناه هو أننا عدنا في الزمن وقولنا، “دعونا نتخيل أننا في عام 2010”. لدينا بيانات عن كيف كانت الرياح في عام 2010 في جميع أنحاء العالم، ولكنها كانت خشنة جدًا، ثم وضعنا عملية غاوسية على هذه البيانات.
كانت هذه هي الطريقة التي عملنا بها. ثم بعد ذلك، لأننا لدينا ديناميكيات البالون ومحاكي الرياح، وكنا نpretend أننا في الماضي، ثم كنا نستخدم هذه البيانات التاريخية ونضع عملية غاوسية عليها، ثم كنا نضيف ضوضاء، وكنا نستطيع فعل أشياء أخرى.
ثم في النهاية، لأننا لدينا ديناميكيات النموذج والرياح، وكنا نpretend أننا في الماضي، ثم كنا لدينا محاكي.
إنه مثل توأم رقمي في الماضي.
بالضبط، قمنا بتصميم دالة مكافأة كانت تتمثل في البقاء على الهدف وتكون كفؤًا في الطاقة، وقمنا بتصميم دالة مكافأة كنا لدينا بالون يتعلم بالتفاعل مع هذا العالم، ولكن يمكنه التفاعل مع العالم فقط لأننا لا نعرف كيف نمذج الطقس والرياح، ولكن لأننا كنا نpretend أننا في الماضي، ثم كنا قادرين على التعلم.
كان السؤال هو، “كيف يمكننا الملاحة؟” كان الجواب هو، “هل أذهب لأعلى، أو لأسفل، أو أبقى حيث أنا؟” مع كل ما يحيط بي، في النهاية، ما أريده هو توفير الإنترنت لمنطقة معينة.
ما هي بعض التحديات في نشر التعلم التعزيزي في العالم الحقيقي مقابل بيئة الألعاب؟
أعتقد أن هناك تحديات عديدة. لا أعتقد أنه يعتمد على الألعاب أو العالم الحقيقي، بل يعتمد على البحث الأساسي والبحث التطبيقي. يمكنك القيام بأبحاث تطبيقية في الألعاب، على سبيل المثال، إذا كنت تحاول نشر نموذج في لعبة سيتم شحنها لملايين الناس.
أعتقد أن أحد التحديات الرئيسية هو الهندسة. إذا كنت تعمل على مشروع، فمن السهل عليك التفاعل مع الكمبيوتر، ولكن عندما تذهب إلى العالم الحقيقي، عليك التعامل مع هندسة منتج كامل.
أعتقد أن التحدي الآخر هو أن افتراضاتك لا تتحقق. العديد من الافتراضات التي تقوم عليها الخوارزميات، عندما تذهب إلى العالم الحقيقي، لا تتحقق، وعليك أن تتعامل مع ذلك.
أحد الأمثلة التي أحبها جدًا هو أنهم أعطونا كل شيء، وكنا مثل، “حسنا، الآن يمكننا محاولة حل هذه المشكلة،” ثم عدنا بعد أسبوع أو أسبوعين إلى مهندسي Loon مثل، “لقد حلنا مشكلتكم.” كنا مثل، “نحن حلنا مشكلتكم، انظروا، لدينا دقة 100٪”.
كانوا ينظرون إلينا بابتسامة على وجوههم مثل، “لا، أنتم لم تحلوا مشكلتنا، نحن نعرف أنك لا تستطيع حلها،” مثل، “نعم، نحن فعلنا، نحن حلنا مشكلتكم، انظروا، لدينا دقة 100٪”.
كانت هذه هي التحديات في نشر التعلم التعزيزي في العالم الحقيقي.
ما هي الأبحاث التي تعمل عليها اليوم؟
الآن أنا في جامعة ألبرتا، ولدي مجموعة بحثية هنا مع العديد من الطلاب. أبحاثي أكثر تنوعًا، لأن طلابي يسمحون لي بذلك. شيء واحد أهتم به جدًا هو مفهوم التعلم المستمر.
ما يحدث هو أن معظم الأحيان التي نتحدث عن التعلم الاصطناعي بشكل عام، سنقوم ببعض الحوسبة باستخدام محاكي أو باستخدام بيانات ومعالجة البيانات، وسنتعلم نموذج تعلم اصطناعي، وننشر هذا النموذج، ونأمل أن يفعل بشكل جيد، وهذا جيد.
أعتقد أن أحد الأشياء التي أهتم بها هو مشروع معامل معالجة المياه.基本ًا، هو كيف يمكننا تطوير خوارزميات تعلم تعزيزي قادرة على دعم البشر في عملية اتخاذ القرار، أو كيف يمكننا القيام بذلك بشكل مستقل لمعالجة المياه.
لدينا البيانات، يمكننا رؤية البيانات، وأحيانًا تتغير جودة المياه في غضون ساعات، حتى لو قلت، “كل يوم سأقوم بتدريب نموذج التعلم الاصطناعي من اليوم السابق، وسأقوم بنشره في غضون ساعات من يومي،” هذا النموذج لا يزال صالحًا لأن البيانات ليست ثابتة.
من الصعب جدًا نمذجة هذه الأشياء لأنها قد تكون نتيجة حريق في الغابة أو ذوبان الثلج، لذلك عليك نمذجة العالم كله لكي تتمكن من القيام بذلك.
أعتقد أن هناك العديد من المنشورات، خاصة في العالم الحقيقي، التي تتطلب منك التعلم المستمر. أعتقد أن هناك العديد من الأسئلة البحثية حول ما يمكننا القيام به.
ما هي التطبيقات المستقبلية باستخدام التعلم المستمر التي أنت أكثر حماسًا لها؟
هذه هي السؤال المليار دولار، لأنني كنت أبحث عن هذه التطبيقات. أعتقد أنني كنت قادرًا على طرح الأسئلة الصحيحة، وأعتقد أنني سأكون مدفوعًا بالمشاكل.
أنا أعمل مع آدم وايت ومارثا وايت على هذا المشروع، وهو مشروع معامل معالجة المياه. إنه شيء أهتم به جدًا لأنها تحديات كبيرة.
أعتقد أن هناك تأثيرًا اجتماعيًا كبيرًا، وهو توفير مياه الشرب للسكان، وأحيانًا يعتبر هذا الأمر مهمًا جدًا. لأن في بعض الأحيان، في كندا، على سبيل المثال، عندما نذهب إلى المناطق النائية، قد لا يكون لدينا مشغل لمعامل المياه.
أعتقد أن هناك فرصًا كثيرة لتحكم في الأنظمة التي هي عالية الأبعاد وصعبة للتعامل معها، وأعتقد أن التعلم المستمر مناسب جدًا لذلك.
أعتقد أن هناك العديد من الأسئلة البحثية حول ما يمكننا القيام به، وأعتقد أن هناك العديد من التطبيقات المستقبلية التي يمكننا القيام بها باستخدام التعلم المستمر.
أعتقد أن التعلم المستمر سيكون له تأثير كبير في السنوات القادمة، وأعتقد أن هناك العديد من الفرص للبحث في هذا المجال.
شكرًا لك على المقابلة الرائعة، القراء الذين يرغبون في معرفة المزيد يجب أن يزوروا الموارد التالية:
