Yaron Singer, CEO στην Robust Intelligence & Καθηγητής Πληροφορικής στο Πανεπιστήμιο του Χάρβαρντ – Σειρά Συνεντεύξεων

Ο Yaron Singer είναι ο CEO της Robust Intelligence και Καθηγητής Πληροφορικής και Εφαρμοσμένων Μαθηματικών στο Χάρβαρντ. Ο Yaron είναι γνωστός για τις πρωτοποριακά αποτελέσματα του στη μηχανική μάθηση, τους αλγορίθμους και την βελτιστοποίηση. Προηγουμένως, ο Yaron εργάστηκε στο Google (GOOGL ) Research και απέκτησε το διδακτορικό του από το UC Berkeley.

Τι σας έκανε να ενδιαφερθείτε αρχικά για το πεδίο της πληροφορικής και της μηχανικής μάθησης;

Η πορεία μου ξεκίνησε με τα μαθηματικά, τα οποία με οδήγησαν στην πληροφορική και στη συνέχεια για τη μηχανική μάθηση. Τα μαθηματικά αρχικά τράβηξαν την προσοχή μου επειδή το αξιωματικό σύστημα τους μου έδωσε τη δυνατότητα να δημιουργήσω νέους κόσμους. Με την πληροφορική, έμαθα για τις αποδείξεις ύπαρξης, αλλά και τους αλγορίθμους πίσω από αυτές. Από μια δημιουργική προοπτική, η πληροφορική είναι η χάραξη των ορίων ανάμεσα σε όσα μπορούμε και όσα δεν μπορούμε να κάνουμε.

Το ενδιαφέρον μου για τη μηχανική μάθηση έχει πάντα τις ρίζες του σε ένα ενδιαφέρον για τα πραγματικά δεδομένα, σχεδόν τη φυσική πλευρά τους. Λαμβάνοντας πράγματα από τον πραγματικό κόσμο και μοντελοποιώντας τα για να κάνουμε κάτι σημαντικό. Μπορούμε κυριολεκτικά να σχεδιάσουμε έναν καλύτερο κόσμο μέσω σημαντικής μοντελοποίησης. Έτσι, τα μαθηματικά μου έδωσαν μια βάση για να αποδείξω πράγματα, η πληροφορική με βοήθησε να δω τι μπορούμε και τι δεν μπορούμε να κάνουμε, και η μηχανική μάθηση μου επιτρέπει να μοντελοποιήσω αυτές τις έννοιες στον κόσμο.

Μέχρι πρόσφατα ήσασταν Καθηγητής Πληροφορικής και Εφαρμοσμένων Μαθηματικών στο Πανεπιστήμιο του Χάρβαρντ, ποια ήταν κάποια από τα κύρια συμπεράσματα από αυτήν την εμπειρία;

Το μεγαλύτερο συμπέρασμά μου από το να είμαι μέλος της σχολής στο Χάρβαρντ είναι ότι αναπτύσσει την όρεξη για να κάνεις μεγάλα πράγματα. Το Χάρβαρντ παραδοσιακά έχει μικρό διδακτικό προσωπικό και η προσδοκία από τους καθηγητές που βρίσκονται σε πορεία προς τη μονιμοποίηση είναι να αντιμετωπίσουν μεγάλα προβλήματα και να δημιουργήσουν νέους τομείς. Πρέπει να είσαι τολμηρός. Αυτό τελικά γίνεται μια εξαιρετική προετοιμασία για την εκκίνηση ενός startup που δημιουργεί μια νέα κατηγορία και ορίζει έναν νέο χώρο. Δεν συνιστώ απαραίτητα να περάσετε πρώτα από τη διαδικασία μονιμοποίησης του Χάρβαρντ, αλλά αν επιβιώσετε από αυτό, η δημιουργία ενός startup είναι πιο εύκολη.

Μπορείτε να περιγράψετε το στιγμή της ξαφνικής συνειδητοποίησής σας όταν συνειδητοποιήσατε ότι οι σύνθετα συστήματα AI είναι ευάλωτοι σε κακά δεδομένα, με κάποιες πιθανές εκτεταμένες επιπτώσεις;

Όταν ήμουν διδακτορικός φοιτητής στο UC Berkeley, πήρα ένα διάλειμμα για να ιδρύσω μια νεοφυή επιχείρηση που ανέπτυσσε μοντέλα μηχανικής μάθησης για μάρκετινγκ σε κοινωνικά δίκτυα. Αυτό ήταν το 2010. Είχαμε τεράστιες ποσότητες δεδομένων από τα κοινωνικά δίκτυα και κωδικοποιήσαμε όλα τα μοντέλα από την αρχή. Οι οικονομικές επιπτώσεις για τους λιανοπωλητές ήταν αρκετά σημαντικές, οπότε ακολούθαμε στενά την απόδοση των μοντέλων.Επειδή χρησιμοποιούσαμε δεδομένα από τα κοινωνικά δίκτυα, υπήρχαν πολλά λάθη στην είσοδο, καθώς και drift. Είδαμε ότι πολύ μικρά λάθη οδηγούσαν σε μεγάλες αλλαγές στην έξοδο του μοντέλου και θα μπορούσαν να οδηγήσουν σε κακά οικονομικά αποτελέσματα για τους λιανοπωλητές που χρησιμοποιούσαν το προϊόν.

Όταν μεταφέρθηκα στο Google+ (για όσους από εμάς θυμάστε), είδα τις ίδιες επιπτώσεις. Περισσότερο δραματικά, σε συστήματα όπως το AdWords που έκανε προβλέψεις για την πιθανότητα των ανθρώπων να κάνουν κλικ σε μια διαφήμιση για λέξεις-κλειδιά, παρατηρήσαμε ότι μικρά λάθη στην είσοδο του μοντέλου οδηγούσαν σε πολύ κακές προβλέψεις. Όταν μαρτυράτε αυτό το πρόβλημα σε κλίμακα Google, συνειδητοποιείτε ότι το πρόβλημα είναι καθολικό.

Αυτές οι εμπειρίες διαμόρφωσαν έντονα την έρευνά μου, και πέρασα το χρόνο μου στο Χάρβαρντ ερευνώντας γιατί τα μοντέλα AI κάνουν λάθη και, σημαντικά, πώς να σχεδιάσουμε αλγορίθμους που μπορούν να αποτρέψουν τα μοντέλα από το να κάνουν λάθη. Αυτό, φυσικά, οδήγησε σε περισσότερα στιγμές ξαφνικής συνειδητοποίησης και, τελικά, στη δημιουργία της Robust Intelligence.

Μπορείτε να μοιραστείτε την ιστορία πίσω από τη Robust Intelligence;

Η Robust Intelligence ξεκίνησε με έρευνα σε ένα θεωρητικό πρόβλημα: ποιες είναι οι εγγυήσεις που μπορούμε να έχουμε για τις αποφάσεις που λαμβάνονται με χρήση μοντέλων AI. Ο Kojin ήταν φοιτητής στο Χάρβαρντ και δούλεψα μαζί του, αρχικά γράφοντας ερευνητικές εργασίες. Έτσι, ξεκινά με τη γραφή εργασιών που περιγράφουν τι είναι θεμελιωδώς δυνατό και αδύνατο, θεωρητικά. Αυτά τα αποτελέσματα αργότερα συνεχίστηκαν σε ένα πρόγραμμα για τη σχεδίαση αλγορίθμων και μοντέλων που είναι ανθεκτικά σε αστοχίες της AI. Στη συνέχεια κατασκευάσαμε συστήματα που μπορούσαν να εκτελούν αυτούς τους αλγορίθμους στην πράξη. Μετά από αυτό, η έναρξη μιας εταιρείας όπου οι οργανισμοί θα μπορούσαν να χρησιμοποιήσουν ένα σύστημα όπως αυτό ήταν ένα φυσικό επόμενο βήμα.

Ποια είναι κάποια από τα ζητήματα που η Robust Intelligence αντιμετωπίζει, τα λεγόμενα σιωπηλά λάθη, και τι τα κάνει τόσο επικίνδυνα;

Πριν δώσω έναν τεχνικό ορισμό για τα σιωπηλά λάθη, αξίζει να πάρουμε ένα βήμα πίσω και να κατανοήσουμε γιατί μας απασχολούν τα λάθη της AI. Ο λόγος που μας απασχολούν τα λάθη της AI είναι οι συνέπειες αυτών των λαθών. Ο κόσμος μας χρησιμοποιεί AI για να αυτοματοποιήσει κρίσιμες αποφάσεις: ποιος λαμβάνει επιχειρηματικό δάνειο και με ποιο επιτόκιο, ποιος λαμβάνει κάλυψη ασφάλισης υγείας και με ποια ασφάλιστρα, ποιες γειτονιές πρέπει να περιπολούν οι αστυνομικοί, ποιος είναι ο καταλληλότερος υποψήφιος για μια θέση εργασίας, πώς πρέπει να οργανωθεί η ασφάλεια του αεροδρομίου και ούτω καθεξής. Το γεγονός ότι τα μοντέλα AI είναι εξαιρετικά ευάλωτα σε λάθη σημαίνει ότι με την αυτοματοποίηση αυτών των κρίσιμων αποφάσεων κληρονομούμε μεγάλο κίνδυνο. Στη Robust Intelligence, τον αποκαλούμε «κίνδυνο της AI» και η αποστολή της εταιρείας είναι να τον εξαλείψει.

Τα σιωπηλά λάθη είναι σφάλματα ενός μοντέλου AI: το μοντέλο λαμβάνει δεδομένα εισόδου και παράγει μια πρόβλεψη ή απόφαση με λανθασμένο ή μεροληπτικό αποτέλεσμα. Επιφανειακά, όλα φαίνονται να λειτουργούν σωστά, επειδή το μοντέλο εκτελεί τη λειτουργία του. Ωστόσο, η πρόβλεψη ή η απόφαση είναι λανθασμένη. Τα λάθη αυτά είναι σιωπηλά επειδή το σύστημα δεν γνωρίζει ότι υπάρχει σφάλμα. Αυτό μπορεί να είναι χειρότερο από το να μην παράγει καθόλου αποτέλεσμα το μοντέλο, καθώς μπορεί να περάσει πολύς χρόνος μέχρι ένας οργανισμός να αντιληφθεί ότι το σύστημα AI του είναι ελαττωματικό. Τότε ο κίνδυνος της AI γίνεται αστοχία της AI, με ενδεχομένως καταστροφικές συνέπειες.

Η Robust Intelligence σχεδίασε ουσιαστικά ένα τείχος προστασίας της AI, κάτι που προηγουμένως θεωρούνταν αδύνατο. Γιατί αποτελεί τόσο δύσκολη τεχνική πρόκληση;

Ένας λόγος είναι ότι αντιβαίνει στο προηγούμενο παράδειγμα της κοινότητας της μηχανικής μάθησης. Η επικρατούσα προσέγγιση ήταν ότι, για να εξαλειφθούν τα σφάλματα, έπρεπε να τροφοδοτούνται τα μοντέλα με περισσότερα δεδομένα, συμπεριλαμβανομένων λανθασμένων δεδομένων. Έτσι τα μοντέλα θα εκπαιδεύονταν μόνα τους και θα μάθαιναν να διορθώνουν τα λάθη τους. Το πρόβλημα είναι ότι αυτή η προσέγγιση μειώνει δραματικά την ακρίβεια του μοντέλου. Για παράδειγμα, στα καλύτερα γνωστά αποτελέσματα για εικόνες, η ακρίβεια ενός μοντέλου AI πέφτει από 98,5% σε περίπου 37%.

Το τείχος προστασίας της AI προσφέρει μια διαφορετική λύση. Διαχωρίζουμε το πρόβλημα της αναγνώρισης των σφαλμάτων από το έργο της παραγωγής προβλέψεων. Έτσι το τείχος προστασίας μπορεί να επικεντρωθεί σε μία συγκεκριμένη εργασία: να προσδιορίζει αν ένα σημείο δεδομένων θα οδηγήσει σε λανθασμένη πρόβλεψη.

Αυτό ήταν από μόνο του πρόκληση, επειδή είναι δύσκολο να προβλεφθεί αν ένα μεμονωμένο σημείο δεδομένων θα προκαλέσει σφάλμα. Υπάρχουν πολλοί λόγοι για τους οποίους τα μοντέλα κάνουν λάθη, οπότε δεν ήταν εύκολο να αναπτύξουμε τεχνολογία που να προβλέπει αυτά τα σφάλματα. Είμαστε πολύ τυχεροί που έχουμε τους μηχανικούς που διαθέτουμε.

Πώς μπορεί το σύστημα να βοηθήσει στην πρόληψη της προκατάληψης AI;

Η προκατάληψη του μοντέλου προέρχεται από μια διαφορά μεταξύ των δεδομένων στα οποία εκπαιδεύτηκε το μοντέλο και των δεδομένων που χρησιμοποιεί για να κάνει προβλέψεις. Επιστρέφοντας στον κίνδυνο της AI, η προκατάληψη είναι ένα σημαντικό ζήτημα που οφείλεται σε σιωπηλά λάθη. Για παράδειγμα, αυτό είναι συχνά ένα ζήτημα με τους πληθυσμούς που υποεκπροσωπούνται. Ένα μοντέλο μπορεί να έχει προκατάληψη επειδή έχει δει λιγότερα δεδομένα από εκείνον τον πληθυσμό, το οποίο θα επηρεάσει δραματικά την απόδοση του μοντέλου και την ακρίβεια των προβλέψεών του. Το τείχος προστασίας της AI μπορεί να ενημερώσει τις οργανώσεις για αυτές τις διαφορές δεδομένων και να βοηθήσει το μοντέλο να λάβει σωστές αποφάσεις.

Τι είναι κάποια από τα άλλα ζητήματα που η Robust Intelligence βοηθά να προληφθούν;

Κάθε εταιρεία που χρησιμοποιεί AI για να αυτοματοποιήσει αποφάσεις, ιδιαίτερα κρίσιμες αποφάσεις, εισάγει αυτόματα κίνδυνο. Κακά δεδομένα θα μπορούσαν να είναι τόσο απλά όσο η εισαγωγή ενός μηδενός αντί για ένα και να οδηγήσουν σε σημαντικές συνέπειες. Αν ο κίνδυνος είναι λάθος ιατρικές προβλέψεις ή ψευδείς προβλέψεις για δάνεια, το τείχος προστασίας της AI βοηθά τους οργανισμούς να αποτρέψουν τον κίνδυνο.

Υπάρχει κάτι άλλο που θα θέλατε να μοιραστείτε σχετικά με τη Robust Intelligence;

Η Robust Intelligence μεγαλώνει γρήγορα και λαμβάνουμε αιτήσεις από πολλούς εξαιρετικούς υποψηφίους για θέσεις. Αλλά κάτι που πραγματικά θέλω να τονίσω για τους ανθρώπους που σκέφτονται να υποβάλουν αίτηση είναι ότι η πιο σημαντική ιδιότητα που αναζητούμε στους υποψήφιους είναι το πάθος τους για την αποστολή. Συνάντησα πολλούς υποψήφιους που είναι ισχυροί τεχνικά, οπότε το ζήτημα είναι τελικά να κατανοήσουμε αν έχουν πραγματικό πάθος για την εξάλειψη του κινδύνου της AI για να κάνουν τον κόσμο ένα ασφαλέστερο και καλύτερο μέρος.

Στον κόσμο που προχωράμε, πολλές αποφάσεις που λαμβάνονται τώρα από τους ανθρώπους θα αυτοματοποιηθούν. Αν μας αρέσει ή όχι, αυτή είναι μια πραγματικότητα. Δεδομένου αυτού, όλοι μας στη Robust Intelligence θέλουμε οι αυτοματοποιημένες αποφάσεις να γίνονται υπεύθυνα. Οπότε, όποιος είναι ενθουσιασμένος με το να έχει θετικό αντίκτυπο, ο οποίος κατανοεί τον τρόπο με τον οποίο αυτό μπορεί να επηρεάσει τη ζωή των ανθρώπων, είναι ένας υποψήφιος που ψάχνουμε να ενταχθεί στη Robust Intelligence. Αναζητούμε αυτό το πάθος. Ψάχνουμε για τους ανθρώπους που θα δημιουργήσουν αυτήν την τεχνολογία που ολόκληρος ο κόσμος θα χρησιμοποιήσει.

Ευχαριστώ για τη μεγάλη συνέντευξη, χάρηκα που έμαθα για τις απόψεις σας σχετικά με την πρόληψη της προκατάληψης AI και την ανάγκη για ένα AI firewall, οι αναγνώστες που επιθυμούν να μάθουν περισσότερα πρέπει να επισκεφθούν Robust Intelligence.