Συνεντεύξεις
Μαρλός Σ. Ματσάντο, Επίκουρος Καθηγητής στο Πανεπιστήμιο του Αλμπέρτα, Amii Fellow, CIFAR AI Chair – Σειρά Συνεντεύξεων
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Ο Μαρλός Σ. Ματσάντο είναι Επίκουρος Καθηγητής στο Πανεπιστήμιο του Αλμπέρτα, Fellow στο Alberta Machine Intelligence Institute (Amii) και κατέχει την καρέκλα του Canada CIFAR AI. Η έρευνά του επικεντρώνεται κυρίως στο πρόβλημα της ενισχυτικής μάθησης. Σπούδασε στο UFMG της Βραζιλίας και έλαβε το διδακτορικό του από το Πανεπιστήμιο του Αλμπέρτα, όπου популяризάρει την ιδέα της μακροχρόνιας εξερεύνησης μέσω επιλογών.
Ήταν ερευνητής στη DeepMind από το 2021 έως το 2023 και στη Google (GOOGL ) Brain από το 2019 έως το 2021, κατά τη διάρκεια της οποίας έκανε σημαντικές συνεισφορές στην ενισχυτική μάθηση, ιδιαίτερα στην εφαρμογή της βαθιάς ενισχυτικής μάθησης για τον έλεγχο των stratospheric balloons της Loon. Η έρευνά του έχει δημοσιευθεί σε κορυφαίες конференσίες και περιοδικά του τομέα του AI, συμπεριλαμβανομένων των Nature, JMLR, JAIR, NeurIPS, ICML, ICLR και AAAI. Η έρευνά του έχει επίσης παρουσιαστεί σε δημοφιλή μέσα ενημέρωσης όπως το BBC, το Bloomberg TV, το The Verge και το Wired.
Καθίσαμε για μια συνέντευξη στο ετήσιο συνέδριο Upper Bound για το AI, το οποίο διεξάγεται στο Εντμοντόν και οργανώνεται από το Amii (Alberta Machine Intelligence Institute).
Η έρευνά σας επικεντρώνεται στην ενισχυτική μάθηση. Τι σας προσελκύει σε αυτόν τον τύπο μηχανικής μάθησης;
Αυτό που μου αρέσει στην ενισχυτική μάθηση είναι η концепτός της, είναι ένας πολύ φυσικός τρόπος μάθησης, που βασίζεται στην αλληλεπίδραση. Νιώθω ότι είναι ο τρόπος με τον οποίο μαθαίνουμε ως άνθρωποι. Δεν μου αρέσει να ανθρωπομορφίζω το AI, αλλά είναι ένας ενστικτικός τρόπος να δοκιμάζουμε πράγματα, να τα κάνουμε και να μαθαίνουμε από τα αποτελέσματα. Ένα από τα πράγματα που με ενδιαφέρουν στην ενισχυτική μάθηση είναι η ικανότητά της να ανακαλύπτει νέες συμπεριφορές.
Για παράδειγμα, ένα από τα πιο διάσημα παραδείγματα είναι το AlphaGo, η κίνηση 37 που αναφέρουν στην ταινία, η οποία ήταν κάτι που δεν είχε δει κανείς πριν. Ήταν κάτι που ανακαλύφθηκε μέσω της αλληλεπίδρασης με τον κόσμο. Αυτή η ικανότητα να ανακαλύπτεις νέες συμπεριφορές είναι κάτι που με ενδιαφέρει πολύ.
Επίσης, η ενισχυτική μάθηση είναι ιδιαίτερα κατάλληλη για την ανακάλυψη νέων συμπεριφορών, επειδή μπορεί να δοκιμάζει πράγματα και να μαθαίνει από τα αποτελέσματα. Αυτή η ικανότητα να ανακαλύπτεις νέες συμπεριφορές είναι κάτι που με ενδιαφέρει πολύ.
Ποια ήταν η αγαπημένη σας ιστορική εφαρμογή;
Νομίζω ότι υπάρχουν δύο πολύ διάσημες εφαρμογές, η μια είναι το ελικόπτερο που έφτιαξαν στο Στάνφορντ με την ενισχυτική μάθηση και η άλλη είναι το TD-Gammon, το οποίο ήταν ένα πρόγραμμα για το παιχνίδι του μπακγκάμον που έγινε παγκόσμιος πρωταθλητής. Αυτό ήταν πριν από δεκαετίες, και ήταν κάτι που με ενδιαφέρωνε πολύ.
Όταν άρχισα να μελετάω την ενισχυτική μάθηση, δεν ήξερα πολύ για το πεδίο. Όταν έκανα αίτηση για το μεταπτυχιακό, διάβαζα τις περιγραφές των ερευνητικών έργων των καθηγητών και μου άρεσε η περιγραφή της έρευνας τους. Όταν έμαθα για την ενισχυτική μάθηση, ήταν κάτι που με ενδιαφέρωνε πολύ.
Εργαστήκατε στη Google Brain και στη DeepMind. Ποια ήταν η αγαπημένη σας εμπειρία;
Η αγαπημένη μου εμπειρία ήταν η εργασία μου στη Google Brain, όπου εργάστηκα στην αυτόνομη πλοήγηση των stratospheric balloons. Η Loon, η οποία ήταν μια θυγατρική της Alphabet (GOOG ), εργαζόταν σε ένα проект για την παροχή интерνετ σε περιοχές που ήταν δύσκολο να φτάσουν. Η ιδέα ήταν να χρησιμοποιήσουμε μπαλόνια που θα μπορούσαν να φτάσουν σε υψόμετρα 20 χιλιομέτρων και να παρέχουν интерνετ σε μια περιοχή που ήταν 10 φορές μεγαλύτερη από ότι θα ήταν αν χρησιμοποιούσαμε μια κλασική κεραία.
Η πρόκληση ήταν να βρούμε έναν τρόπο να πλοηγήσουμε αυτά τα μπαλόνια, ώστε να παραμείνουν στην περιοχή που χρειαζόμαστε. Η ενισχυτική μάθηση ήταν ο ιδανικός τρόπος για να λυθεί αυτό το πρόβλημα, επειδή μπορούσε να μάθει από την αλληλεπίδραση με τον κόσμο και να ανακαλύψει νέες συμπεριφορές.
Η έρευνά μας επικεντρώθηκε στην ανάπτυξη eines αλγορίθμου που θα μπορούσε να πλοηγήσει τα μπαλόνια και να τα giữσει στην περιοχή που χρειαζόμαστε. Χρησιμοποιήσαμε μια συνδυασμένη προσέγγιση, που συνδύαζε την ενισχυτική μάθηση με άλλες τεχνικές, όπως η Gaussian process.
Η πρόκληση ήταν να βρούμε έναν τρόπο να πλοηγήσουμε αυτά τα μπαλόνια, ώστε να παραμείνουν στην περιοχή που χρειαζόμαστε. Η ενισχυτική μάθηση ήταν ο ιδανικός τρόπος για να λυθεί αυτό το πρόβλημα, επειδή μπορούσε να μάθει από την αλληλεπίδραση με τον κόσμο και να ανακαλύψει νέες συμπεριφορές.
Τι είναι η έρευνά σας σήμερα;
Σήμερα, εργάζομαι στο Πανεπιστήμιο του Αλμπέρτα και έχω μια ερευνητική ομάδα με πολλούς φοιτητές. Η έρευνά μου είναι πιο διαφοροποιημένη, επειδή οι φοιτητές μου μου επιτρέπουν να το κάνω. Ένα από τα πράγματα που με ενδιαφέρουν είναι η συνεχής μάθηση. Η συνεχής μάθηση είναι η ικανότητα eines αλγορίθμου να μάθει συνεχώς και να προσαρμοστεί σε νέες συνθήκες.
Ένα από τα projects που εργάζομαι είναι η ανάπτυξη eines αλγορίθμου που θα μπορούσε να πλοηγήσει ένα σύστημα για την επεξεργασία νερού. Το σύστημα αυτό πρέπει να είναι σε θέση να προσαρμοστεί σε νέες συνθήκες και να μάθει από την αλληλεπίδραση με τον κόσμο.
Η συνεχής μάθηση είναι κάτι που με ενδιαφέρωνε πολύ, επειδή είναι η ικανότητα eines αλγορίθμου να μάθει συνεχώς και να προσαρμοστεί σε νέες συνθήκες. Νομίζω ότι η ενισχυτική μάθηση είναι ιδιαίτερα κατάλληλη για αυτό το πρόβλημα, επειδή μπορεί να μάθει από την αλληλεπίδραση με τον κόσμο και να ανακαλύψει νέες συμπεριφορές.
Τι είναι η έρευνά σας για το μέλλον;
Νομίζω ότι η έρευνά μου για το μέλλον θα επικεντρωθεί στην ανάπτυξη eines αλγορίθμου που θα μπορούσε να πλοηγήσει ένα σύστημα για την επεξεργασία νερού. Το σύστημα αυτό πρέπει να είναι σε θέση να προσαρμοστεί σε νέες συνθήκες και να μάθει από την αλληλεπίδραση με τον κόσμο.
Η συνεχής μάθηση είναι κάτι που με ενδιαφέρωνε πολύ, επειδή είναι η ικανότητα eines αλγορίθμου να μάθει συνεχώς και να προσαρμοστεί σε νέες συνθήκες. Νομίζω ότι η ενισχυτική μάθηση είναι ιδιαίτερα κατάλληλη για αυτό το πρόβλημα, επειδή μπορεί να μάθει από την αλληλεπίδραση με τον κόσμο και να ανακαλύψει νέες συμπεριφορές.
Ευχαριστούμε για την υπέροχη συνέντευξη. Οι αναγνώστες που θέλουν να μάθουν περισσότερα μπορούν να επισκεφθούν τις ακόλουθες πηγές:
