Αναστασία Λουκίνα, Ανώτερη Ερευνήτρια (NLP/Ομιλία) στην ETS – Σειρά Συνεντεύξεων

Η Αναστασία Λουκίνα είναι ερευνήτρια στην Educational Testing Services (ETS), όπου εργάζεται στην αυτοματοποιημένη αξιολόγηση της ομιλίας. Τα ερευνητικά της ενδιαφέροντα καλύπτουν ένα ευρύ φάσμα θεμάτων. Έχει εργαστεί, μεταξύ άλλων, στις νεότερες διαλέκτους της ελληνικής, τον ρυθμό της ομιλίας και την αυτοματοποιημένη ανάλυση της προσωδίας. Η τρέχουσα εργασία της επικεντρώνεται στη συνδυασμένη χρήση εργαλείων και μεθόδων από τις τεχνολογίες ομιλίας και την машинική μάθηση με επιταγές από μελέτες για την αντίληψη/παραγωγή ομιλίας, προκειμένου να δημιουργηθούν αυτοματοποιημένα μοντέλα αξιολόγησης για την αξιολόγηση της ομιλίας μη μητρικής γλώσσας. Σας έχει προκύψει明显 μια αγάπη για τις γλώσσες, τι σας εισήγαγε σε αυτό το πάθος; Μεγάλωσα μιλώντας ρωσικά στη Санкт-Πετερμπούργκ της Ρωσίας και θυμάμαι ότι με ενθουσίασε όταν μου παρουσιάστηκε για πρώτη φορά η αγγλική γλώσσα: για κάποιες λέξεις, υπήρχε ένα μοτίβο που έκανε δυνατή τη “μετάφραση” μιας ρωσικής λέξης σε αγγλική. Και τότε θα συναντούσα μια λέξη όπου το “μοτίβο” μου απέτυχε και θα προσπαθούσα να βρω ένα καλύτερο, πιο γενικό κανόνα. Τότε, φυσικά, δεν ήξερα τίποτα για τη γλωσσική τυπολογία ή τη διαφορά μεταξύ cognates και δανεισμών, αλλά αυτό ενέπνευσε την περιέργειά μου και την επιθυμία μου να μάθω περισσότερες γλώσσες. Αυτό το πάθος για την αναγνώριση μοτίβων στη façon που μιλάει ο κόσμος και τη δοκιμή τους στα δεδομένα είναι αυτό που με οδήγησε στη φωνητική, την машинική μάθηση και την εργασία που κάνω τώρα. Πριν από την τρέχουσα εργασία σας στη Φυσική Γλώσσα (NLP) ήσασταν μεταφραστής μεταξύ αγγλικών-ρωσικών και νεότερων ελληνικών-ρωσικών. Πιστεύετε ότι η εργασία σας ως μεταφραστή σας έχει δώσει πρόσθετες επιταγές σε ορισμένες από τις νουανσές και τα προβλήματα που σχετίζονται με την NLP; Η πρωταρχική ταυτότητά μου ήταν πάντα αυτή του ερευνητή. Είναι αλήθεια ότι ξεκίνησα την ακαδημαϊκή μου καριέρα ως μελετητής των νεότερων ελληνικών, ή πιο συγκεκριμένα, της φωνητικής των νεότερων ελληνικών. Για τη διδακτορική μου εργασία, έρευνα τις φωνητικές διαφορές μεταξύ διαφόρων νεότερων ελληνικών διαλέκτων και πώς οι διαφορές μεταξύ αυτών των διαλέκτων θα μπορούσαν να συνδεθούν με την ιστορία της περιοχής. Υπέθεσα ότι ορισμένες από τις διαφορές μεταξύ των διαλέκτων θα μπορούσαν να έχουν προκύψει ως αποτέλεσμα της επαφής της γλώσσας μεταξύ κάθε διαλέκτου και άλλων γλωσσών που ομιλούνται στην περιοχή. Ενώ δεν εργάζομαι πλέον στα νεότερα ελληνικά, οι αλλαγές που συμβαίνουν όταν δύο γλώσσες έρχονται σε επαφή είναι ακόμη στο κέντρο της εργασίας μου: αυτή τη φορά, επικεντρώνω στο τι συμβαίνει όταν ένα άτομο μαθαίνει μια νέα γλώσσα και πώς η τεχνολογία μπορεί να βοηθήσει να γίνει αυτό με τη μεγαλύτερη αποτελεσματικότητα. Όταν πρόκειται για την αγγλική γλώσσα, υπάρχουν πολλά ιδιώματα. Πώς σχεδιάζετε μια NLP με την ικανότητα να κατανοήσει όλα τα διαφορετικά ιδιώματα; Είναι ένα απλό ζήτημα να τροφοδοτήσετε τον αλγόριθμο βαθιάς μάθησης με πρόσθετα μεγάλα δεδομένα από κάθε τύπο ιδιώματος; Υπάρχουν διάφορες προσεγγίσεις που έχουν χρησιμοποιηθεί στο παρελθόν για να αντιμετωπίσουν αυτό. Εκτός από την κατασκευή ενός μεγάλου μοντέλου που καλύπτει όλα τα ιδιώματα, θα μπορούσατε πρώτα να αναγνωρίσετε το ιδίωμα και στη συνέχεια να χρησιμοποιήσετε ένα προσαρμοσμένο μοντέλο για αυτό το ιδίωμα, ή θα μπορούσατε να δοκιμάσετε πολλά μοντέλα ταυτόχρονα και να επιλέξετε αυτό που λειτουργεί καλύτερα. Τελικά, για να επιτύχετε μια καλή απόδοση σε ένα ευρύ φάσμα ιδιωμάτων, χρειάζεστε δεδομένα εκπαίδευσης και αξιολόγησης που αντιπροσωπεύουν τα πολλά ιδιώματα που μπορεί να συναντήσει το σύστημα. Στην ETS, πραγματοποιούμε綜合τικές αξιολογήσεις για να βεβαιωθούμε ότι οι βαθμοί που παράγονται από τα αυτοματοποιημένα συστήματά μας αντανακλούν τις διαφορές στις πραγματικές ικανότητες που θέλουμε να μετρήσουμε και δεν επηρεάζονται από τα δημογραφικά χαρακτηριστικά του μαθητή, όπως το φύλο, η φυλή ή η χώρα προέλευσης. Τα παιδιά και/ή οι μαθητές γλωσσών συνήθως έχουν δυσκολία με την τέλεια προφορά. Πώς υπερνικάτε το πρόβλημα της προφοράς; Δεν υπάρχει τέτοιο πράγμα ως τέλεια προφορά: ο τρόπος με τον οποίο μιλάμε είναι στενά συνδεδεμένος με την ταυτότητά μας και ως dévelopπεurs και ερευνητές, ο στόχος μας είναι να βεβαιωθούμε ότι τα συστήματά μας είναι δίκαια για όλους τους χρήστες. Τα παιδιά και οι μαθητές γλωσσών παρουσιάζουν ιδιαίτερες προκλήσεις για τα συστήματα ομιλίας. Για παράδειγμα, οι φωνές των παιδιών δεν έχουν μόνο πολύ διαφορετική ακουστική ποιότητα, αλλά τα παιδιά μιλάουν επίσης διαφορετικά από τους ενήλικες και υπάρχει πολλή μεταβλητότητα μεταξύ των παιδιών. Ως αποτέλεσμα, η ανάπτυξη eines αυτοματοποιημένου συστήματος αναγνώρισης ομιλίας για παιδιά είναι συνήθως một ξεχωριστό έργο που απαιτεί μεγάλη ποσότητα δεδομένων ομιλίας παιδιών. Παρόμοια,尽管 υπάρχουν πολλές ομοιότητες μεταξύ μαθητών γλωσσών από την ίδια βάση, οι μαθητές μπορούν να διαφέρουν ευρέως στη χρήση φωνητικών, γραμματικών και λεξικών μοτίβων, καθιστώντας την αναγνώριση ομιλίας μια ιδιαίτερα προκλητική εργασία. Όταν κατασκευάζουμε τα συστήματά μας για την αξιολόγηση της ικανότητας ομιλίας της αγγλικής γλώσσας, χρησιμοποιούμε δεδομένα από μαθητές γλωσσών με ευρύ φάσμα ικανοτήτων και μητρικών γλωσσών. Τον Ιανουάριο του 2018, δημοσιεύσατε το Χρήση των εξειδικευμένων απαντήσεων για την εκπαίδευση και αξιολόγηση αυτοματοποιημένων συστημάτων αξιολόγησης ομιλίας. Ποια είναι ορισμένα από τα κύρια επιτεύγματα και θεμελιώδεις αρχές που πρέπει να κατανοηθούν από αυτή την εργασία; Σε αυτή την εργασία, εξετάσαμε πώς η ποιότητα των δεδομένων εκπαίδευσης και αξιολόγησης επηρεάζει την απόδοση των αυτοματοποιημένων συστημάτων αξιολόγησης. Τα αυτοματοποιημένα συστήματα αξιολόγησης, όπως και πολλά άλλα αυτοματοποιημένα συστήματα, εκπαιδεύονται σε δεδομένα που έχουν επισημανθεί από ανθρώπους. Σε αυτή την περίπτωση, αυτά είναι οι βαθμοί που έχουν ανατεθεί από ανθρώπινους αξιολογητές. Οι ανθρώπινοι αξιολογητές δεν συμφωνούν πάντα στους βαθμούς που αναθέτουν. Υπάρχουν διάφορες στρατηγικές που χρησιμοποιούνται στην αξιολόγηση για να διασφαλιστεί ότι ο τελικός βαθμός που αναφέρεται στον εξεταζόμενο παραμένει πολύ αξιόπιστος παρά την μεταβλητότητα της συμφωνίας των ανθρώπινων αξιολογητών στο επίπεδο του μεμονωμένου ερωτήματος. Ωστόσο,既然 τα αυτοματοποιημένα συστήματα αξιολόγησης συνήθως εκπαιδεύονται χρησιμοποιώντας βαθμούς επιπέδου απάντησης, οποιαδήποτε ασυνέπεια σε τέτοιους βαθμούς λόγω της ποικιλίας των λόγων που αναφέρονται παραπάνω μπορεί να επηρεάσει αρνητικά το σύστημα. Μπορήκαμε να έχουμε πρόσβαση σε μεγάλη ποσότητα δεδομένων με διαφορετική συμφωνία μεταξύ ανθρώπινων αξιολογητών και να συγκρίνουμε την απόδοση του συστήματος υπό διαφορετικές συνθήκες. Τι βρήκαμε είναι ότι η εκπαίδευση του συστήματος σε τέλεια δεδομένα δεν βελτιώνει στην πραγματικότητα την απόδοσή του πάνω από ένα σύστημα που εκπαιδεύτηκε σε δεδομένα με πιο θορυβώδεις ετικέτες. Τα τέλεια labels δίνουν μόνο ένα πλεονέκτημα όταν ο συνολικός μέγιστος του συνόλου εκπαίδευσης είναι πολύ χαμηλός. Από την άλλη πλευρά, η ποιότητα των ανθρώπινων ετικετών είχε μια τεράστια επίδραση στην αξιολόγηση του συστήματος: οι εκτιμήσεις της απόδοσής σας μπορούν να είναι μέχρι 30% υψηλότερες εάν αξιολογήσετε σε καθαρές ετικέτες. Το μήνυμα που παίρνουμε είναι ότι εάν έχετε πολλά δεδομένα και πόρους για να καθαρίσετε τις χρυσαφί ετικέτες, μπορεί να είναι πιο έξυπνο να καθαρίσετε τις ετικέτες στο σύνολο αξιολόγησης παρά τις ετικέτες στο σύνολο εκπαίδευσης. Και αυτό το εύρημα ισχύει όχι μόνο για την αυτοματοποιημένη αξιολόγηση, αλλά και για πολλά άλλα πεδία. Μπορείτε να περιγράψετε κάποια από την εργασία σας στην ETS; Εργάζομαι σε ένα σύστημα αξιολόγησης ομιλίας που επεξεργάζεται την ομιλία σε ένα εκπαιδευτικό περιβάλλον. Ένα τέτοιο σύστημα είναι το SpeechRater®, το οποίο χρησιμοποιεί προηγμένα εργαλεία αναγνώρισης και ανάλυσης ομιλίας για να αξιολογήσει και να παρέχει λεπτομερή ανατροφοδότηση σχετικά με την ικανότητα ομιλίας της αγγλικής γλώσσας. Το SpeechRater είναι μια πολύ ώριμη εφαρμογή που υπάρχει για περισσότερα από 10 χρόνια. Κατασκευάζω μοντέλα αξιολόγησης για διαφορετικές εφαρμογές και συνεργάζομαι με άλλους συναδέλφους στην ETS για να διασφαλίσω ότι οι βαθμοί μας είναι αξιόπιστοι, δίκαιοι και έγκυροι για όλους τους εξεταζομένους. Επίσης, συνεργάζομαι με άλλες ομάδες στην ETS για να παρακολουθούμε συνεχώς την απόδοση του συστήματος. Εκτός από τη διατήρηση και τη βελτίωση των λειτουργικών συστημάτων μας, προτυποποιούμε νέα συστήματα. Ένα από τα έργα που είμαι πολύ ενθουσιασμένος είναι το RelayReader™: μια εφαρμογή που σχεδιάστηκε για να βοηθήσει τους αναπτυσσόμενους αναγνώστες να κερδίσουν ροή και εμπιστοσύνη. Όταν διαβάζουμε με το RelayReader, ο χρήστης εναλλάσσεται μεταξύ ακρόασης και ανάγνωσης ενός βιβλίου. Η ανάγνωσή του στέλνεται στη συνέχεια στους серверούς μας για να παρέχουμε ανατροφοδότηση. Όσον αφορά την επεξεργασία ομιλίας, η κύρια πρόκληση αυτής της εφαρμογής είναι πώς να μετρήσουμε την μάθηση και να παρέχουμε ενεργό και αξιόπιστη ανατροφοδότηση χωρίς να παρεμβαίνουμε στην εμπλοκή του αναγνώστη με το βιβλίο. Τι είναι το αγαπημένο σας μέρος της εργασίας σας στην ETS; Αυτό που με έκανε να ενδιαφερθώ για την ETS είναι ότι είναι ένας μη κερδοσκοπικός οργανισμός με αποστολή να προωθήσει την ποιότητα της εκπαίδευσης για όλους τους ανθρώπους στον κόσμο. Ενώ είναι φυσικά υπέροχο όταν η έρευνα οδηγεί σε ένα προϊόν, αξιολογώ την ευκαιρία να εργαστώ σε έργα που είναι πιο θεμελιώδη στη φύση τους, αλλά θα βοηθήσουν στην ανάπτυξη προϊόντων στο μέλλον. Επίσης, εκτιμώ το γεγονός ότι η ETS λαμβάνει πολύ σοβαρά θέματα όπως η προστασία των δεδομένων και η δίκαιη αντιμετώπιση και όλα τα συστήματά μας υποβάλλονται σε αυστηρή αξιολόγηση πριν από την επιχειρησιακή ανάπτυξή τους. Αλλά αυτό που πραγματικά κάνει την ETS ένα υπέροχο μέρος για να εργαστείτε είναι οι άνθρωποι. Έχουμε μια εκπληκτική κοινότητα επιστημόνων, μηχανικών και développeurs από πολλά διαφορετικά υπόβαθρα, που επιτρέπει πολλές ενδιαφέρουσες συνεργασίες. Πιστεύετε ότι μια AI θα μπορεί ποτέ να περάσει το Τεστ Turing; Από τη δεκαετία του 1950, υπήρξαν πολλές ερμηνείες για το πώς το Τεστ Turing πρέπει να γίνει στην πράξη. Υπάρχει πιθανώς μια γενική συμφωνία ότι το Τεστ Turing δεν έχει περάσει σε φιλοσοφική έννοια ότι δεν υπάρχει κανένα σύστημα AI που σκέφτεται όπως ο άνθρωπος. Ωστόσο, αυτό έχει επίσης γίνει ένα πολύ εξειδικευμένο θέμα. Οι περισσότεροι άνθρωποι δεν κατασκευάζουν τα συστήματά τους για να περάσουν το Τεστ Turing – θέλουμε να επιτύχουμε συγκεκριμένα στόχους. Για ορισμένες από αυτές τις εργασίες, για παράδειγμα, αναγνώριση ομιλίας ή κατανόηση φυσικής γλώσσας, η απόδοση του ανθρώπου μπορεί να θεωρηθεί σωστά ως το χρυσαφί πρότυπο. Αλλά υπάρχουν επίσης πολλές άλλες εργασίες όπου θα περιμέναμε ένα αυτοματοποιημένο σύστημα να κάνει πολύ καλύτερα από τους ανθρώπους ή όπου ένα αυτοματοποιημένο σύστημα και ένας ανθρώπινος εμπειρογνώμονας χρειάζονται να συνεργαστούν για να επιτύχουν το καλύτερο αποτέλεσμα. Για παράδειγμα, σε ένα εκπαιδευτικό περιβάλλον, δεν θέλουμε ένα σύστημα AI να αντικαταστήσει einen δάσκαλο: θέλουμε να βοηθήσει τους δασκάλους, είτε είναι μέσω της αναγνώρισης μοτίβων στις πορείες μάθησης των μαθητών, είτε με τη βοήθεια στη βαθμολόγηση ή την εύρεση των καλύτερων διδακτικών υλικών. Υπάρχει κάτι άλλο που θα ήθελε να μοιραστείτε σχετικά με την ETS ή την NLP; Πολλοί άνθρωποι γνωρίζουν την ETS για τις αξιολογήσεις και τα αυτοματοποιημένα συστήματα αξιολόγησης. Αλλά κάνουμε πολύ περισσότερα από αυτά. Έχουμε πολλές ικανότητες, από βιομετρία φωνής έως εφαρμογές διαλόγου ομιλίας, και हम ψάχνουμε πάντα για νέους τρόπους για να ενσωματώσουμε την τεχνολογία στην μάθηση. Τώρα που πολλοί μαθητές μαθαίνουν από το σπίτι, abbiamo ανοίξει ορισμένες από τις ερευνητικές μας ικανότητες στο γενικό κοινό. Ευχαριστώ για τη συνέντευξη και για την προσφορά αυτής της εποπτείας στις τελευταίες προόδους στην NLP και την αναγνώριση ομιλίας. Οποιοςδήποτε που θέλει να μάθει περισσότερα μπορεί να επισκεφθεί Educational Testing Services.