Marlos C. Machado, συνεργαζόμενος καθηγητής στο Πανεπιστήμιο της Αλμπέρτα, ερευνητής του Amii και κάτοχος έδρας AI του CIFAR – σειρά συνεντεύξεων

Ο Marlos C. Machado είναι ερευνητής Fellow in Residence στο Alberta Machine Intelligence Institute (Amii), συνεργαζόμενος καθηγητής στο Πανεπιστήμιο της Αλμπέρτα και ερευνητικός εταίρος του Amii, όπου κατέχει και ερευνητική έδρα Canada CIFAR AI. Η έρευνά του επικεντρώνεται στην ενισχυτική μάθηση. Απέκτησε πτυχίο και μεταπτυχιακό από το UFMG στη Βραζιλία και διδακτορικό από το Πανεπιστήμιο της Αλμπέρτα, όπου διέδωσε την ιδέα της χρονικά εκτεταμένης εξερεύνησης μέσω των λεγόμενων «επιλογών» (options).

Εργάστηκε ως ερευνητής στη DeepMind το 2021–2023 και στη Google (GOOGL ) Brain το 2019–2021. Συνέβαλε σημαντικά στην ενισχυτική μάθηση, ιδιαίτερα στην εφαρμογή της βαθιάς ενισχυτικής μάθησης στον έλεγχο των στρατοσφαιρικών αερόστατων της Loon. Το έργο του δημοσιεύτηκε σε κορυφαία περιοδικά και συνέδρια, όπως Nature, JMLR, JAIR, NeurIPS, ICML, ICLR και AAAI, και παρουσιάστηκε από BBC, Bloomberg TV, The Verge και Wired.

Συναντηθήκαμε στο ετήσιο συνέδριο AI Upper Bound του 2023 στο Έντμοντον της Αλμπέρτα, με διοργανωτή το Amii (Alberta Machine Intelligence Institute).

Εστιάζετε στην ενισχυτική μάθηση. Τι σας ελκύει σε αυτή τη μορφή μηχανικής μάθησης;

Μου αρέσει η ιδέα της μάθησης μέσω αλληλεπίδρασης. Μου φαίνεται φυσική, με κάποια ομοιότητα προς τον τρόπο που μαθαίνουμε ως άνθρωποι. Δεν θέλω να ανθρωπομορφίζω την AI, αλλά διαισθητικά δοκιμάζεις πράγματα, κάποια αποτελέσματα είναι καλά και άλλα άσχημα, και μαθαίνεις να κάνεις όσα δίνουν καλύτερα αποτελέσματα. Με συναρπάζει ότι ο πράκτορας αλληλεπιδρά πραγματικά με τον κόσμο, διατυπώνει μια υπόθεση και τη δοκιμάζει.

Έτσι ανακαλύπτει νέες συμπεριφορές. Γνωστό παράδειγμα είναι η κίνηση 37 του AlphaGo, που στο ντοκιμαντέρ περιγράφεται ως δημιουργική. Δεν είχε εμφανιστεί ποτέ και μας άφησε όλους έκπληκτους. Δεν βρέθηκε σε έτοιμο υλικό· ανακαλύφθηκε μέσω αλληλεπίδρασης. Είδαμε παρόμοια πράγματα και στο έργο μου με αερόστατα στη στρατόσφαιρα.

Εμφανίστηκαν συμπεριφορές που δεν είχαμε σκεφτεί αλλά ήταν ευφυείς. Η ενισχυτική μάθηση είναι ιδιαίτερα κατάλληλη για τέτοιες ανακαλύψεις επειδή επιτρέπει την αλληλεπίδραση. Ένα δύσκολο ερώτημα είναι το υποθετικό: τι θα είχε συμβεί αν έκανα κάτι διαφορετικό; Σε πολλά ερευνητικά πλαίσια μηχανικής μάθησης δεν μπορείς να το εξετάσεις. Στην ενισχυτική μάθηση μπορείς να δοκιμάσεις την εναλλακτική την επόμενη φορά που θα συναντήσεις την κατάσταση. Μου αρέσει πολύ αυτή η διαδραστικότητα.

Φυσικά δεν θα αρνηθώ και την έλξη των ενδιαφερουσών εφαρμογών. Ακόμη και οι πρώτες μεγάλες επιτυχίες, πριν από δεκαετίες, έκαναν το πεδίο ελκυστικό για μένα.

Ποια πρώιμη εφαρμογή είναι η αγαπημένη σας;

Υπάρχουν δύο διάσημα παραδείγματα: το ελικόπτερο που ελέγχθηκε με ενισχυτική μάθηση στο Stanford και το πρόγραμμα τάβλι TD-Gammon, που έγινε παγκόσμιος πρωταθλητής τη δεκαετία του 1990. Στο διδακτορικό μου φρόντισα να κάνω πρακτική στην IBM με τον Gerald Tesauro, επικεφαλής του TD-Gammon. Ήταν υπέροχο.

Το αστείο είναι ότι στην αρχή δεν ήξερα πλήρως τι ήταν η ενισχυτική μάθηση. Όταν έκανα αιτήσεις για μεταπτυχιακές σπουδές, ήθελα γενικά μηχανική μάθηση. Διάβαζα τις ερευνητικές περιγραφές πολλών καθηγητών στις ιστοσελίδες τους και κάποιες με ενδιέφεραν. Εκ των υστέρων είδα ότι, χωρίς να γνωρίζω το πεδίο, διάλεξα τους διάσημους καθηγητές ενισχυτικής μάθησης, όχι λόγω φήμης αλλά επειδή με τραβούσε η έρευνά τους. Έβλεπα έναν ωραίο ιστότοπο και ήθελα να συνεργαστώ με τον συγκεκριμένο ερευνητή.

Δηλαδή τους ανακαλύψατε φυσικά.

Ακριβώς. Κοιτώντας πίσω, αυτοί ήταν οι άνθρωποι με τους οποίους είχα ζητήσει να συνεργαστώ από παλιά. Ακόμη και πριν καταλάβω τι θα έκανα, διάβαζα περιγραφές άλλων ερευνών σε άρθρα και σκεφτόμουν ότι πρέπει να τις διαβάσω. Το ενδιαφέρον με έφερνε σταθερά στην ενισχυτική μάθηση.

Στη Google Brain εργαστήκατε στην αυτόνομη πλοήγηση στρατοσφαιρικών αερόστατων. Γιατί ήταν κατάλληλη λύση για ίντερνετ σε δυσπρόσιτες περιοχές;

Δεν είμαι ειδικός σε αυτό το κομμάτι· ήταν η ιδέα της Loon, θυγατρικής της Alphabet (GOOG ). Συνήθως κατασκευάζεις μια κεραία, π.χ. στο Έντμοντον, που καλύπτει ακτίνα πέντε-έξι χιλιομέτρων. Στο κέντρο της Νέας Υόρκης μπορεί να εξυπηρετεί εκατομμύρια. Αλλά για μια κοινότητα ίσως 50 ανθρώπων στον Αμαζόνιο, το κόστος δύσκολα δικαιολογείται, πέρα από τη δυσκολία πρόσβασης.

Μια μεγάλη επένδυση υποδομής σε δυσπρόσιτη, αραιοκατοικημένη περιοχή δεν συμφέρει. Η σκέψη ήταν: αν η κεραία ήταν πολύ ψηλή, στα 20 χιλιόμετρα; Δεν μπορούμε να χτίσουμε μια τέτοια, αλλά μπορούμε να βάλουμε αερόστατο εκεί. Δεκαπλάσια ακτίνα σημαίνει εκατονταπλάσια έκταση. Μέσα στο δάσος, ένα αερόστατο θα μπορούσε να εξυπηρετεί πολλές κοινότητες που αλλιώς θα χρειάζονταν ξεχωριστές κεραίες.

Αυτό ήταν ένα κίνητρο. Το σύνθημα της Loon δεν ήταν ίντερνετ για το επόμενο δισεκατομμύριο αλλά για το τελευταίο δισεκατομμύριο ανθρώπων, τους δυσκολότερους να προσεγγιστούν. Πολύ φιλόδοξο.

Ποια προβλήματα πλοήγησης προσπαθούσατε να λύσετε;

Τα αερόστατα δεν έχουν πρόωση. Πλοηγούνται όπως ένα αερόστατο θερμού αέρα: ανεβαίνεις ή κατεβαίνεις για να βρεις άνεμο προς την επιθυμητή κατεύθυνση και τον ακολουθείς. Για να αλλάξεις πορεία, αλλάζεις ύψος και βρίσκεις άλλον άνεμο. Όμως αυτά δεν είναι θερμού αέρα· έχουν σταθερό όγκο και πετούν στη στρατόσφαιρα.

Από πλευράς πλοήγησης μπορούν μόνο να ανέβουν, να κατέβουν ή να μείνουν στο ίδιο ύψος και να βρουν κατάλληλους ανέμους. Οι προκλήσεις είναι πολλές. Θέλεις να παραμένουν στην περιοχή που παρέχεις ίντερνετ, αλλά και να διατηρούν την ενέργεια των ηλιακών τους συλλεκτών. Είναι βελτιστοποίηση πολλών στόχων: σωστή θέση και ενεργειακή αποδοτικότητα.

Ξέρεις τον άνεμο εκεί που βρίσκεσαι, όχι 500 μέτρα ψηλότερα. Αυτό είναι μερική παρατηρησιμότητα. Υπάρχουν προγνώσεις, αλλά η κατεύθυνση μπορεί να είναι λανθασμένη έως 90 μοίρες. Το πρόβλημα έχει πάρα πολλές διαστάσεις: εκατοντάδες στρώματα ανέμου, ταχύτητα, διεύθυνση, μοντελοποίηση και αβεβαιότητα της πρόγνωσης.

Είναι δύσκολο να το κατανοήσεις και να εξηγήσεις πόσο δύσκολο είναι. Δεν βλέπεις όλες τις διαστάσεις στην οθόνη. Πρέπει να συνυπολογίζεις ανέμους και χρόνο τελευταίας μέτρησης, μαζί με ενέργεια, ώρα και επιθυμητή θέση. Είναι πολλά ταυτόχρονα.

Τι μελετά το σύστημα μηχανικής μάθησης; Μόνο μοτίβα ανέμου και θερμοκρασία;

Είχαμε ένα μοντέλο ανέμου με μηχανική μάθηση, όχι όμως ενισχυτική μάθηση. Η Loon το είχε κατασκευάσει από ιστορικά δεδομένα διαφορετικών υψών πριν εμπλακεί η Google Brain. Δεν συμμετείχα προσωπικά σε αυτό. Το μοντέλο έπρεπε επίσης να παρεμβάλλει τιμές μεταξύ των υψών.

Μπορεί να ξέρεις τον άνεμο πριν από δύο χρόνια σε κάποιο ύψος, όχι δέκα μέτρα παραπάνω. Προστέθηκε μια γκαουσιανή διεργασία, και δημοσιεύτηκαν εργασίες για την ποιότητα της μοντελοποίησης. Για την ενισχυτική μάθηση είχαμε καλό προσομοιωτή της δυναμικής του αερόστατου και αυτόν τον προσομοιωτή ανέμου. Μπορούσαμε να υποθέσουμε ότι είμαστε στο 2010. Είχαμε αδρά παγκόσμια δεδομένα του έτους και χρησιμοποιούσαμε το μοντέλο και τη γκαουσιανή διεργασία για να συμπληρώσουμε τις τιμές, προσθέτοντας θόρυβο και άλλες παραλλαγές.

Με τη δυναμική, τους ανέμους και την υπόθεση ότι βρισκόμαστε στο παρελθόν, είχαμε έναν προσομοιωτή.

Σαν ψηφιακό δίδυμο στο παρελθόν.

Ακριβώς. Σχεδιάσαμε συνάρτηση ανταμοιβής για την παραμονή στον στόχο και κάποια ενεργειακή αποδοτικότητα. Το αερόστατο μάθαινε αλληλεπιδρώντας με αυτόν τον κόσμο. Μπορούσαμε να το κάνουμε χρησιμοποιώντας το παρελθόν, αφού αλλιώς δεν ξέρουμε να μοντελοποιούμε πλήρως καιρό και ανέμους. Έτσι μάθαμε πλοήγηση: να ανέβω, να κατέβω ή να μείνω; Με όλα όσα συμβαίνουν γύρω, ο τελικός στόχος είναι ίντερνετ στην περιοχή.

Ποιες δυσκολίες έχει η εφαρμογή ενισχυτικής μάθησης στον πραγματικό κόσμο αντί σε παιχνίδια;

Υπάρχουν αρκετές. Δεν είναι απαραίτητα παιχνίδια έναντι πραγματικότητας, αλλά βασική έναντι εφαρμοσμένης έρευνας. Εφαρμοσμένη έρευνα γίνεται και για ένα παιχνίδι που θα διατεθεί σε εκατομμύρια. Μεγάλη πρόκληση είναι η μηχανική υλοποίηση. Τα παιχνίδια χρησιμοποιούνται επειδή έχουν ιδιότητες που μας ενδιαφέρουν αλλά με σαφέστερους περιορισμούς. Μπορούμε να ερευνήσουμε και να επαληθεύσουμε τη μάθηση σε ένα περιορισμένο περιβάλλον που κατανοούμε καλύτερα.

Η έρευνα δεν χρειάζεται να αλλάξει ριζικά, αλλά η πραγματικότητα προσθέτει ζητήματα, ιδίως ασφάλειας. Έπρεπε να διασφαλίσουμε ότι το αερόστατο δεν θα κάνει κάτι ανόητο ούτε ο πράκτορας θα μάθει απρόβλεπτη, επιβλαβή συμπεριφορά. Ήταν από τις κύριες ανησυχίες. Στο παιχνίδι συνήθως το χειρότερο είναι να χάσεις.

Υπάρχει επίσης το τεχνικό σύστημα ολόκληρου του προϊόντος. Ένας ερευνητής μόνος του δοκιμάζει εύκολα σε παιχνίδι. Σε προϊόν δεν κάνεις ό,τι θέλεις· χρειάζεται να γνωρίζεις το υπόλοιπο σύστημα. Το μέγεθος ομάδας διαφέρει. Η Loon είχε δεκάδες, ίσως εκατοντάδες εργαζόμενους. Συνεργαζόμασταν με λίγους αλλά υπήρχε και αίθουσα ελέγχου που επικοινωνούσε με προσωπικό αεροπορίας.

Άρα υπάρχουν περισσότεροι εμπλεκόμενοι. Πέρα από τεχνική και ασφάλεια, πολλές παραδοχές των αλγορίθμων δεν ισχύουν στην πραγματικότητα και πρέπει να αντιμετωπιστούν. Ο κόσμος δεν είναι τόσο φιλικός όσο ένα στενά οριοθετημένο παιχνίδι.

Μου αρέσει αυτό το παράδειγμα: πήραμε τα απαραίτητα στοιχεία, δουλέψαμε μία-δύο εβδομάδες και επιστρέψαμε στους μηχανικούς της Loon λέγοντας ότι λύσαμε το πρόβλημα με 100% ακρίβεια. Χαμογέλασαν δύσπιστα: είναι αδύνατο, κάποιες φορές δεν υπάρχουν οι κατάλληλοι άνεμοι.

Διαπιστώσαμε ότι ο αλγόριθμος είχε μάθει να πηγαίνει το αερόστατο στο κέντρο της περιοχής και μετά όλο ψηλότερα ώσπου να σκάσει. Έπεφτε και έμενε στην περιοχή για πάντα. Προφανώς δεν ήταν αυτό το ζητούμενο. Συνέβη στην προσομοίωση· μία διόρθωση ήταν να εμποδίσουμε την άνοδο πάνω από το ύψος όπου σκάει.

Τέτοιοι πραγματικοί περιορισμοί και αλληλεπιδράσεις παραβλέπονται εύκολα στην έρευνα παιχνιδιών. Στην πραγματικότητα οι πράξεις έχουν συνέπειες που πρέπει να γνωρίζεις. Αυτή είναι κύρια δυσκολία.

Οι κύκλοι πειραμάτων είναι επίσης πολύ μεγαλύτεροι. Στο παιχνίδι πατάω έναρξη και έχω αποτελέσματα το αργότερο σε μία εβδομάδα. Στη στρατόσφαιρα κάναμε αυτό που αποκαλώ «δοκιμές A/B της στρατόσφαιρας». Αφού εμπιστευτήκαμε τη λύση, έπρεπε να δείξουμε στατιστικά ότι είναι καλύτερη. Νομίζω πετάξαμε 13 αερόστατα πάνω από τον Ειρηνικό για περισσότερο από έναν μήνα. Έτσι οι ευκαιρίες δοκιμών είναι πολύ λιγότερες.

Σε αντίθεση με τα παιχνίδια, δεν εκτελείτε ένα εκατομμύριο παράλληλες εκδοχές του ίδιου πειράματος.

Ναι. Στην εκπαίδευση χρησιμοποιούσαμε προσομοίωση, αν και ο προσομοιωτής ήταν πολύ πιο αργός από παιχνίδι. Το αντιμετωπίσαμε τεχνικά. Στον πραγματικό κόσμο είναι διαφορετικά.

Τι ερευνάτε σήμερα;

Είμαι στο Πανεπιστήμιο της Αλμπέρτα με ερευνητική ομάδα και πολλούς φοιτητές. Αυτοί επιτρέπουν μεγαλύτερη ποικιλία στην έρευνα. Με ενδιαφέρει ιδιαίτερα η συνεχής μάθηση. Συνήθως κάνουμε υπολογισμούς με προσομοιωτή ή δεδομένα, εκπαιδεύουμε μοντέλο, το χρησιμοποιούμε και ελπίζουμε ότι θα δουλέψει. Συχνά αυτό είναι ακριβώς ό,τι χρειάζεται. Μερικές φορές όμως ο κόσμος είναι υπερβολικά σύνθετος για να χωρέσει κάθε λεπτομέρεια σε οποιοδήποτε μοντέλο. Τότε χρειάζεται προσαρμογή.

Ένα έργο μας αφορά μονάδα επεξεργασίας νερού. Πώς θα υποστηρίξει η ενισχυτική μάθηση ανθρώπινες αποφάσεις ή θα ελέγξει αυτόνομα την επεξεργασία; Έχουμε δεδομένα, αλλά η ποιότητα νερού αλλάζει μέσα σε ώρες. Ακόμη κι αν εκπαιδεύεις καθημερινά σε χθεσινά δεδομένα, το μοντέλο μπορεί σε λίγες ώρες να μην ισχύει: η κατανομή δεδομένων μεταβάλλεται, δεν είναι στάσιμη. Μπορεί να υπάρχει δασική πυρκαγιά ανάντη ή να λιώνει χιόνι. Για να τα προβλέψεις όλα θα έπρεπε να μοντελοποιήσεις ολόκληρο τον κόσμο.

Κανείς δεν το κάνει, ούτε οι άνθρωποι. Προσαρμοζόμαστε και μαθαίνουμε ξανά όταν η παλιά προσέγγιση δεν λειτουργεί. Πολλές πραγματικές εφαρμογές απαιτούν μόνιμη μάθηση, αλλά συνήθως φανταζόμαστε έναν μεγάλο υπολογισμό, ένα μοντέλο σε χρήση και νέο μοντέλο μετά από ημέρες ή εβδομάδες. Αυτή η χρονική κλίμακα δεν ταιριάζει πάντα.

Πώς μαθαίνουμε αδιάκοπα, βελτιωνόμαστε και προσαρμοζόμαστε; Είναι πολύ δύσκολο. Έχουμε σχετικές εργασίες και οι σημερινές μέθοδοι δεν επαρκούν. Ακόμη και οι κορυφαίες λύσεις επιδεινώνονται γρήγορα αν συνεχίζουν να μαθαίνουν αντί να σταματά η εκπαίδευση και να χρησιμοποιείται σταθερό μοντέλο. Μετά τις πολλές επιτυχίες σταθερών μοντέλων, που θα συνεχίσουμε να χρησιμοποιούμε, η συνεχής μάθηση είναι ένα ερευνητικό σύνορο.

Η ενισχυτική μάθηση είναι κατάλληλη επειδή πολλοί αλγόριθμοι επεξεργάζονται δεδομένα καθώς φτάνουν. Ταιριάζουν φυσικά στη συνεχή μάθηση, χωρίς αυτό να σημαίνει ότι ήδη την κάνουν καλά. Υπάρχουν πολλά ενδιαφέροντα ερωτήματα.

Ποιες μελλοντικές εφαρμογές συνεχούς μάθησης σας ενθουσιάζουν περισσότερο;

Αυτή είναι η ερώτηση του δισεκατομμυρίου, γιατί τις αναζητώ. Οι σωστές ερωτήσεις είναι πάνω από τη μισή ερευνητική δουλειά. Μου αρέσουν τα συγκεκριμένα προβλήματα: έχουμε πέντε αερόστατα στη στρατόσφαιρα, πώς το λύνουμε; Στην πορεία προκύπτει επιστημονική πρόοδος. Συνεργάζομαι με τον Adam White και τη Martha White στο έργο επεξεργασίας νερού που διευθύνουν. Είναι συναρπαστικό επειδή το πρόβλημα περιγράφεται δύσκολα ακόμη και με λόγια· οι σημερινές επιτυχίες στη γλώσσα δεν εφαρμόζονται εύκολα.

Η θολότητα και η θερμοκρασία του νερού αλλάζουν συχνά και σε διαφορετικές χρονικές κλίμακες. Η συνεχής μάθηση είναι αναπόφευκτη. Η κοινωνική επίδραση είναι τεράστια: δύσκολα φαντάζεσαι κάτι σημαντικότερο από πόσιμο νερό. Σε αραιοκατοικημένες περιοχές, όπως ο βόρειος Καναδάς, μερικές φορές δεν υπάρχει καν χειριστής. Δεν στοχεύουμε απαραίτητα στην αντικατάστασή του, αλλά σε δυνατότητες που αλλιώς δεν έχουμε λόγω έλλειψης προσωπικού ή δυνάμεων.

Είναι δύσκολο ερευνητικό πρόβλημα με μεγάλο κοινωνικό όφελος. Δεν έχουμε προσομοιωτή ούτε μέσα να αποκτήσουμε, άρα πρέπει να αξιοποιούμε τα δεδομένα και να μαθαίνουμε καθώς έρχονται. Άλλο θέμα, που δεν έχω ερευνήσει πολύ, είναι η ψύξη κτιρίων, σε σχέση και με καιρό και κλιματική αλλαγή. Πώς αποφασίζουμε την ψύξη; Σήμερα έχουμε εκατοντάδες ανθρώπους εδώ, αντίθετα με την περασμένη εβδομάδα. Ίδια στρατηγική; Συχνά έχουμε το πολύ έναν θερμοστάτη. Μπορούμε να προσαρμοζόμαστε εξυπνότερα και να ξεχωρίζουμε τα γεμάτα δωμάτια από τα άδεια.

Αυτά τα υψηλής διάστασης συστήματα ελέγχου, δύσκολα στη νοητική κατανόηση, προσφέρουν πολλές ευκαιρίες υπέρβασης των σημερινών μεθόδων.

Σε κάποια μέρη, έως 75% της κατανάλωσης ρεύματος προέρχεται από κλιματιστικά, οπότε έχει νόημα.

Ακριβώς. Στα σπίτια υπάρχουν ήδη προϊόντα μηχανικής μάθησης που μαθαίνουν από τους πελάτες. Στα μεγάλα κτίρια γίνεται πολύ λεπτομερέστερος έλεγχος. Φλόριντα, Βραζιλία και πολλά μέρη έχουν ανάγκη. Η ψύξη κέντρων δεδομένων είναι άλλο παράδειγμα, με κάποιες εταιρείες να έχουν ξεκινήσει. Ακούγεται σχεδόν επιστημονική φαντασία, αλλά η συνεχής μάθηση και προσαρμογή στις ανάγκες επηρεάζει πολύ αυτά τα πολυδιάστατα προβλήματα.

Στα αερόστατα δείξαμε ότι η ενισχυτική μάθηση, ιδιαίτερα η βαθιά, μαθαίνει από αισθητήρες αποφάσεις πιο σύνθετες από όσες σχεδιάζουν οι άνθρωποι. Ο άνθρωπος ίσως επιλέξει γραμμική ή τετραγωνική καμπύλη απόκρισης. Ένα νευρωνικό δίκτυο μαθαίνει τις μη γραμμικότητες και δίνει λεπτομερέστερες, μερικές φορές πολύ αποτελεσματικές αποφάσεις.

Ευχαριστούμε για την εξαιρετική συνέντευξη. Περισσότερες πληροφορίες υπάρχουν στις ακόλουθες πηγές:

• Συνέδριο AI Upper Bound.
• Amii (Alberta Machine Intelligence Institute)