Αναστασία Λουκίνα, Senior Research Scientist (NLP/Ομιλία) στο ETS – Σειρά Συνεντεύξεων

Η Αναστασία Λουκίνα είναι ερευνήτρια επιστήμονας στην Educational Testing Services (ETS), όπου εργάζεται στην αυτοματοποιημένη βαθμολόγηση της ομιλίας.

Τα ερευνητικά της ενδιαφέροντα καλύπτουν ένα ευρύ φάσμα θεμάτων. Έχει εργαστεί, μεταξύ άλλων, στις νεοελληνικές διαλέκτους, τον ρυθμό της ομιλίας και την αυτοματοποιημένη ανάλυση της προσωδίας.

Η τρέχουσα εργασία της επικεντρώνεται στην συνδυαστική χρήση εργαλείων και μεθόδων από τις τεχνολογίες της ομιλίας και το machine learning με επιταγές από μελέτες για την αντίληψη/παραγωγή της ομιλίας, προκειμένου να κατασκευαστούν αυτοματοποιημένα μοντέλα βαθμολόγησης για την αξιολόγηση της ομιλίας μη μητρικής γλώσσας.

Σαφώς έχεις μια αγάπη για τις γλώσσες, τι σας εισήγαγε σε αυτό το πάθος;

Εγώ μεγάλωσα μιλώντας ρωσικά στη Санкт-Петербουργκ και θυμάμαι ότι με ενδιέφερε όταν μου παρουσιάστηκε για πρώτη φορά η αγγλική γλώσσα: για κάποια λόγια, υπήρχε ένα μοτίβο που έκανε δυνατή την «μετάφραση» ενός ρωσικού λόγου σε αγγλικό. Και τότε θα συναντούσα ένα λόγο όπου το «δικό μου» μοτίβο αποτυγχάνε και θα προσπαθούσα να βρω ένα καλύτερο, πιο γενικό κανόνα. Τότε, φυσικά, δεν ήξερα τίποτα για γλωσσική τυπολογία ή τη διαφορά μεταξύ cognates και δανεικών λέξεων, αλλά αυτό έτρεψε την περιέργεια και την επιθυμία μου να μάθω περισσότερες γλώσσες. Αυτό το πάθος για την αναγνώριση μοτίβων στη façon που οι άνθρωποι μιλάνε και τη δοκιμή τους στα δεδομένα είναι αυτό που με οδήγησε στη φωνητική, το machine learning και την εργασία που κάνω τώρα.

Πριν από την τρέχουσα εργασία σας στη Φυσική Γλώσσα (NLP) ήσασταν μεταφραστής μεταξύ αγγλικών-ρωσικών και νεοελληνικών-ρωσικών. Πιστεύετε ότι η εργασία σας ως μεταφραστής σας έχει δώσει πρόσθετες εντυπώσεις για τις νουανσές και τα προβλήματα που σχετίζονται με την NLP;

Η πρωταρχική ταυτότητά μου ήταν πάντα αυτή του ερευνητή. Είναι αλήθεια ότι ξεκίνησα την ακαδημαϊκή μου καριέρα ως μελετητής της Νεοελληνικής, ή πιο συγκεκριμένα, της φωνητικής της Νεοελληνικής. Για τη διδακτορική μου εργασία, εξέτασα τις φωνητικές διαφορές μεταξύ διαφόρων νεοελληνικών διαλέκτων και πώς οι διαφορές μεταξύ αυτών των διαλέκτων θα μπορούσαν να συνδεθούν με την ιστορία της περιοχής. Υπέθεσα ότι κάποιες από τις διαφορές μεταξύ των διαλέκτων θα μπορούσαν να έχουν προκύψει ως αποτέλεσμα της γλωσσικής επαφής μεταξύ κάθε διαλέκτου και άλλων γλωσσών που ομιλούνταν στην περιοχή. Ενώ δεν εργάζομαι πλέον στη Νεοελληνική, οι αλλαγές που συμβαίνουν όταν δύο γλώσσες έρχονται σε επαφή είναι ακόμη στο κέντρο της εργασίας μου: αυτή τη φορά, επικεντρώνω σε τι συμβαίνει όταν ένα άτομο μαθαίνει μια νέα γλώσσα και πώς η τεχνολογία μπορεί να βοηθήσει να γίνει αυτό με την πιο αποτελεσματική τρόπο.

Όταν πρόκειται για την αγγλική γλώσσα, υπάρχουν πολλές διαφορετικές προφορές. Πώς σχεδιάζετε μια NLP με την ικανότητα να καταλαβαίνει όλες τις διαφορετικές διαλέκτους; Είναι ένα απλό ζήτημα να τροφοδοτήσετε τον αλγόριθμο deep learning με επιπλέον μεγάλα δεδομένα από κάθε τύπο προφοράς;

Υπάρχουν διάφορες προσεγγίσεις που έχουν χρησιμοποιηθεί στο παρελθόν για να αντιμετωπίσουν αυτό. Εκτός από το να κατασκευάσετε ένα μεγάλο μοντέλο που καλύπτει όλες τις προφορές, θα μπορούσατε πρώτα να αναγνωρίσετε την προφορά και στη συνέχεια να χρησιμοποιήσετε ένα προσαρμοσμένο μοντέλο για αυτήν την προφορά, ή θα μπορούσατε να δοκιμάσετε πολλά μοντέλα ταυτόχρονα και να επιλέξετε αυτό που λειτουργεί καλύτερα. Τελικά, για να επιτύχετε μια καλή απόδοση σε ένα ευρύ φάσμα προφορών, χρειάζεστε δεδομένα εκπαίδευσης και αξιολόγησης που αντιπροσωπεύουν τις πολλές προφορές που μπορεί να συναντήσει το σύστημα.

Στο ETS, διεξάγουμε綜合τικές αξιολογήσεις για να βεβαιωθούμε ότι οι βαθμοί που παράγονται από τα αυτοματοποιημένα συστήματά μας αντανακλούν τις διαφορές στις πραγματικές ικανότητες που θέλουμε να μετρήσουμε και δεν επηρεάζονται από τις δημογραφικές χαρακτηριστικές του μαθητή, όπως το φύλο, η φυλή ή η χώρα προέλευσης.

Τα παιδιά και/ή οι μαθητές γλώσσας συχνά έχουν δυσκολίες με την τέλεια προφορά. Πώς υπερβαίνετε το πρόβλημα της προφοράς;

Δεν υπάρχει τέτοιο πράγμα ως τέλεια προφορά: ο τρόπος με τον οποίο μιλάμε είναι στενά συνδεδεμένος με την ταυτότητά μας και ως dévelopers και ερευνητές, ο στόχος μας είναι να βεβαιωθούμε ότι τα συστήματά μας είναι δίκαια για όλους τους χρήστες.

Και τα παιδιά και οι μαθητές γλώσσας παρουσιάζουν ιδιαίτερες προκλήσεις για τα συστήματα ομιλίας. Για παράδειγμα, οι φωνές των παιδιών δεν έχουν μόνο πολύ διαφορετική ακουστική ποιότητα, αλλά τα παιδιά μιλάνε επίσης διαφορετικά από τους ενήλικες και υπάρχει πολλή παραλλακτικότητα μεταξύ των παιδιών. Ως αποτέλεσμα, η ανάπτυξη ενός αυτοματοποιημένου συστήματος αναγνώρισης ομιλίας για παιδιά είναι συνήθως một ξεχωριστό έργο που απαιτεί μεγάλη ποσότητα δεδομένων ομιλίας παιδιών.

Ομοίως, αν και υπάρχουν πολλές ομοιότητες μεταξύ μαθητών γλώσσας από την ίδια βάση, οι μαθητές μπορούν να διαφέρουν ευρέως στη χρήση φωνητικών, γραμματικών και λεξικών μοτίβων, καθιστώντας την αναγνώριση ομιλίας μια ιδιαίτερα απαιτητική εργασία. Όταν κατασκευάζουμε τα συστήματά μας για την αξιολόγηση της αγγλικής γλώσσας, χρησιμοποιούμε δεδομένα από μαθητές γλώσσας με ευρύ φάσμα ικανοτήτων και μητρικών γλωσσών.

Τον Ιανουάριο του 2018, δημοσιεύσατε το ‘Χρήση εξειδικευμένων απαντήσεων για την εκπαίδευση και αξιολόγηση αυτοματοποιημένων συστημάτων βαθμολόγησης ομιλίας’. Ποια είναι κάποια από τα κύρια επιτεύγματα που πρέπει να κατανοηθούν από αυτήν την εργασία;

Σε αυτήν την εργασία, εξετάσαμε πώς η ποιότητα των δεδομένων εκπαίδευσης και αξιολόγησης επηρεάζει την απόδοση των αυτοματοποιημένων συστημάτων βαθμολόγησης.

Τα αυτοματοποιημένα συστήματα βαθμολόγησης, όπως και πολλά άλλα αυτοματοποιημένα συστήματα, εκπαιδεύονται σε δεδομένα που έχουν επισημανθεί από ανθρώπους. Σε αυτήν την περίπτωση, αυτά είναι οι βαθμοί που έχουν ανατεθεί από ανθρώπινους βαθμολογητές. Οι ανθρώπινοι βαθμολογητές δεν συμφωνούν πάντα στους βαθμούς που αναθέτουν. Υπάρχουν διάφορες στρατηγικές που χρησιμοποιούνται στην αξιολόγηση για να διασφαλιστεί ότι ο τελικός βαθμός που αναφέρεται στον εξεταζόμενο παραμένει πολύ αξιόπιστος παρά την παραλλακτικότητα της ανθρώπινης συμφωνίας στο επίπεδο του ατόμου. Ωστόσο,既然 τα αυτοματοποιημένα συστήματα βαθμολόγησης εκπαιδεύονται συνήθως χρησιμοποιώντας βαθμούς επιπέδου απάντησης, οποιαδήποτε ασυνέπεια σε τέτοιους βαθμούς λόγω της ποικιλίας των λόγων που αναφέρονται παραπάνω μπορεί να επηρεάσει αρνητικά το σύστημα.

Μπορέσαμε να έχουμε πρόσβαση σε μεγάλη ποσότητα δεδομένων με διαφορετική συμφωνία μεταξύ ανθρώπινων βαθμολογητών και να συγκρίνουμε την απόδοση του συστήματος υπό διαφορετικές συνθήκες. Τι βρήκαμε είναι ότι η εκπαίδευση του συστήματος σε τέλεια δεδομένα δεν βελτιώνει πραγματικά την απόδοσή του σε σύγκριση με ένα σύστημα που εκπαιδεύεται σε δεδομένα με πιο θορυβώδεις ετικέτες. Τα τέλεια labels δίνουν ένα πλεονέκτημα μόνο όταν ο συνολικός μέγιστος του συνόλου εκπαίδευσης είναι πολύ χαμηλός. Από την άλλη πλευρά, η ποιότητα των ανθρώπινων ετικετών είχε μια τεράστια επίδραση στην αξιολόγηση του συστήματος: οι εκτιμήσεις της απόδοσής σας μπορούν να είναι μέχρι 30% υψηλότερες εάν αξιολογήσετε σε καθαρά labels.

Το μήνυμα που παίρνουμε είναι ότι εάν έχετε πολλά δεδομένα και πόροι για να καθαρίσετε τις χρυσές ετικέτες σας, μπορεί να είναι πιο έξυπνο να καθαρίσετε τις ετικέτες στο σύνολο αξιολόγησης αντί για τις ετικέτες στο σύνολο εκπαίδευσης. Και αυτό το εύρημα ισχύει όχι μόνο για την αυτοματοποιημένη βαθμολόγηση, αλλά και για πολλά άλλα πεδία.

Μπορείτε να περιγράψετε κάποια από την εργασία σας στο ETS;

Εργάζομαι σε ένα σύστημα βαθμολόγησης ομιλίας που επεξεργάζεται την ομιλία σε ένα εκπαιδευτικό περιβάλλον. Ένα τέτοιο σύστημα είναι το SpeechRater®, το οποίο χρησιμοποιεί προηγμένα τεχνολογία αναγνώρισης ομιλίας και ανάλυσης για να αξιολογήσει και να παρέχει λεπτομερή ανατροφοδότηση για την ικανότητα ομιλίας στην αγγλική γλώσσα. Το SpeechRater είναι μια πολύ ώριμη εφαρμογή που υπάρχει για περισσότερα από 10 χρόνια. Κατασκευάζω μοντέλα βαθμολόγησης για διαφορετικές εφαρμογές και εργάζομαι με άλλους συναδέλφους στο ETS για να διασφαλίσω ότι οι βαθμοί μας είναι αξιόπιστοι, δίκαιοι και έγκυροι για όλους τους εξεταζόμενους. Επίσης, εργάζομαι με άλλες ομάδες στο ETS για να παρακολουθούμε συνεχώς την απόδοση του συστήματος.

Εκτός από τη διατήρηση και τη βελτίωση των λειτουργικών συστημάτων μας, προωθούμε νέα συστήματα. Ένα από τα έργα που είμαι πολύ ενθουσιασμένος είναι το RelayReader™: μια εφαρμογή που σχεδιάστηκε για να βοηθήσει τους αναπτυσσόμενους αναγνώστες να κερδίσουν ροή και εμπιστοσύνη. Όταν διαβάζετε με το RelayReader, ο χρήστης εναλλάσσεται μεταξύ ακρόασης και ανάγνωσης ενός βιβλίου. Η ανάγνωσή του στη συνέχεια αποστέλλεται στους servers μας για να παρέχει ανατροφοδότηση. Όσον αφορά την επεξεργασία ομιλίας, η κύρια πρόκληση αυτής της εφαρμογής είναι πώς να μετρήσετε την μάθηση και να παρέχετε ενεργό και αξιόπιστη ανατροφοδότηση χωρίς να παρεμβαίνετε στην εμπλοκή του αναγνώστη με το βιβλίο.

Τι είναι το αγαπημένο σας μέρος της εργασίας σας στο ETS;

Αυτό που με έκανε να προσελκύσω στο ETS είναι ότι είναι ένας μη κερδοσκοπικός οργανισμός με αποστολή να προωθήσει την ποιότητα της εκπαίδευσης για όλους τους ανθρώπους στον κόσμο. Ενώ είναι ωραίο όταν η έρευνα οδηγεί σε ένα προϊόν, εκτιμώ την ευκαιρία να εργαστώ σε έργα που είναι πιο θεμελιώδη στη φύση τους, αλλά θα βοηθήσουν στην ανάπτυξη προϊόντων στο μέλλον. Επίσης, εκτιμώ το γεγονός ότι το ETS λαμβάνει σοβαρά θέματα όπως η προστασία δεδομένων και η δίκαιη αντιμετώπιση και όλα τα συστήματά μας υποβάλλονται σε αυστηρή αξιολόγηση πριν από την επιχειρησιακή ανάπτυξή τους.

Αλλά αυτό που πραγματικά κάνει το ETS ένα υπέροχο μέρος για να εργαστείτε είναι οι άνθρωποι. Έχουμε μια εκπληκτική κοινότητα επιστημόνων, μηχανικών και dévelopers από πολλά διαφορετικά υπόβαθρα, που επιτρέπει πολλές ενδιαφέρουσες συνεργασίες.

Πιστεύετε ότι ένα AI θα μπορέσει ποτέ να περάσει το Τεστ Turing;

Από τη δεκαετία του 1950, υπήρξαν πολλές ερμηνείες για το πώς το Τεστ Turing θα έπρεπε να γίνει στην πράξη. Υπάρχει πιθανώς μια γενική συμφωνία ότι το Τεστ Turing δεν έχει περάσει σε φιλοσοφική έννοια ότι δεν υπάρχει κανένα AI σύστημα που σκέφτεται όπως οι άνθρωποι. Ωστόσο, αυτό έχει επίσης γίνει ένα πολύ στενό θέμα. Οι περισσότεροι άνθρωποι δεν κατασκευάζουν τα συστήματά τους για να περάσουν το Τεστ Turing – θέλουμε να επιτύχουμε συγκεκριμένα στόχους.

Για κάποιες από αυτές τις εργασίες, για παράδειγμα, την αναγνώριση ομιλίας ή την κατανόηση της φυσικής γλώσσας, η απόδοση του ανθρώπου μπορεί να θεωρηθεί σωστά ως το χρυσό πρότυπο. Αλλά υπάρχουν και πολλές άλλες εργασίες όπου θα περιμέναμε ένα αυτοματοποιημένο σύστημα να κάνει πολύ καλύτερα από τους ανθρώπους ή όπου ένα αυτοματοποιημένο σύστημα και ένας ανθρώπινος εμπειρογνώμονας χρειάζονται να συνεργαστούν για να επιτύχουν το καλύτερο αποτέλεσμα. Για παράδειγμα, σε ένα εκπαιδευτικό περιβάλλον, δεν θέλουμε ένα AI σύστημα να αντικαταστήσει einen δάσκαλο: θέλουμε να βοηθήσει τους δασκάλους, είτε είναι μέσω της αναγνώρισης μοτίβων στις μαθησιακές τροχιές των μαθητών, είτε με τη βοήθεια στη βαθμολόγηση ή την εύρεση των καλύτερων διδακτικών υλικών.

Υπάρχει κάτι άλλο που θα ήθελε να μοιραστείτε σχετικά με το ETS ή την NLP;

Πολλοί άνθρωποι γνωρίζουν το ETS για τις αξιολογήσεις και τα αυτοματοποιημένα συστήματα βαθμολόγησης. Αλλά κάνουμε πολύ περισσότερα από αυτά. Έχουμε πολλές ικανότητες από βιομετρικές φωνής σε εφαρμογές διαλόγου ομιλίας και हम ψάχνουμε πάντα για νέους τρόπους να ενσωματώσουμε την τεχνολογία στην μάθηση. Τώρα που πολλοί μαθητές μαθαίνουν από το σπίτι, abbiamo ανοίξει πολλές από τις ερευνητικές μας ικανότητες στο κοινό.

Ευχαριστώ για τη συνέντευξη και για την προσφορά αυτής της εντύπωσης για τις τελευταίες προόδους στην NLP και την αναγνώριση ομιλίας. Όποιος επιθυμεί να μάθει περισσότερα μπορεί να επισκεφθεί την Educational Testing Services.