Anastassia Loukina, Senior Research Scientist (NLP/Speech) bei ETS – Interview-Serie

Anastassia Loukina ist eine Forschungswissenschaftlerin bei Educational Testing Services (ETS), wo sie an der automatisierten Bewertung von Sprache arbeitet.

Ihre Forschungsinteressen umfassen eine breite Palette von Themen. Sie hat unter anderem an modernen griechischen Dialekten, Sprachrhythmus und automatisierter Prosodieanalyse gearbeitet.

Ihre aktuelle Arbeit konzentriert sich auf die Kombination von Werkzeugen und Methoden aus Sprachtechnologien und maschinellem Lernen mit Erkenntnissen aus Studien über Sprachwahrnehmung und -produktion, um automatisierte Bewertungsmodelle für die Bewertung von nicht-muttersprachlichem Sprachgebrauch zu entwickeln.

Sie haben offensichtlich eine Leidenschaft für Sprachen, was hat Sie zu dieser Leidenschaft gebracht?

Ich wuchs in St. Petersburg, Russland, auf und sprach Russisch. Ich erinnere mich, dass ich fasziniert war, als ich zum ersten Mal die englische Sprache kennengelernt habe: Für einige Wörter gab es ein Muster, das es ermöglichte, ein russisches Wort in ein englisches Wort “umzuwandeln”. Und dann kam ich auf ein Wort, bei dem mein “Muster” versagte und ich versuchte, eine bessere, allgemeinere Regel zu finden. Zu dieser Zeit wusste ich natürlich nichts über linguistische Typologie oder den Unterschied zwischen Kognaten und Lehnwörtern, aber dies entfachte meine Neugier und meinen Wunsch, mehr Sprachen zu lernen. Diese Leidenschaft für das Erkennen von Mustern in der Art, wie Menschen sprechen, und das Testen dieser Muster anhand von Daten ist es, was mich zur Phonetik, zum maschinellen Lernen und der Arbeit, die ich jetzt mache, geführt hat.

Bevor Sie Ihre aktuelle Arbeit im Bereich des Natural Language Processing (NLP) aufnahmen, waren Sie Übersetzer zwischen Englisch-Russisch und Modern-Griechisch-Russisch. Glauben Sie, dass Ihre Arbeit als Übersetzer Ihnen zusätzliche Einblicke in einige der Nuancen und Probleme im Zusammenhang mit NLP gegeben hat?

Meine primäre Identität war immer die eines Forschers. Es ist wahr, dass ich meine akademische Karriere als Gelehrter des Modernen Griechisch begann, oder genauer gesagt, der modernen griechischen Phonetik. Für meine Doktorarbeit erforschte ich phonetische Unterschiede zwischen mehreren modernen griechischen Dialekten und wie die Unterschiede zwischen diesen Dialekten mit der Geschichte des Gebiets in Verbindung gebracht werden könnten. Ich argumentierte, dass einige der Unterschiede zwischen den Dialekten als Ergebnis des Sprachkontakts zwischen jedem Dialekt und anderen Sprachen, die in dem Gebiet gesprochen wurden, entstanden sein könnten. Obwohl ich nicht mehr an modernem Griechisch arbeite, sind die Veränderungen, die auftreten, wenn zwei Sprachen in Kontakt kommen, immer noch im Mittelpunkt meiner Arbeit: Nur dass ich mich jetzt darauf konzentriere, was passiert, wenn ein Individuum eine neue Sprache lernt und wie Technologie dabei helfen kann, dies am effizientesten zu tun.

Wenn es um die englische Sprache geht, gibt es eine Vielzahl von Akzenten. Wie entwerfen Sie ein NLP-System, das in der Lage ist, alle verschiedenen Dialekte zu verstehen? Ist es einfach eine Frage, dem Deep-Learning-Algorithmus zusätzliche Big-Data von jedem Akzenttyp zuzuführen?

Es gibt mehrere Ansätze, die in der Vergangenheit verwendet wurden, um dieses Problem zu lösen. Neben der Erstellung eines großen Modells, das alle Akzente abdeckt, könnten Sie zunächst den Akzent identifizieren und dann ein benutzerdefiniertes Modell für diesen Akzent verwenden oder mehrere Modelle gleichzeitig ausprobieren und dasjenige auswählen, das am besten funktioniert. Letztendlich benötigen Sie, um eine gute Leistung auf einer breiten Palette von Akzenten zu erzielen, Trainings- und Evaluierungsdaten, die die vielen Akzente repräsentieren, mit denen das System konfrontiert werden kann.

Bei ETS führen wir umfassende Bewertungen durch, um sicherzustellen, dass die von unseren automatisierten Systemen erzeugten Bewertungen die tatsächlichen Fähigkeiten widerspiegeln, die wir messen möchten, und nicht von den demografischen Merkmalen des Lernenden wie Geschlecht, Rasse oder Herkunftsland beeinflusst werden.

Kinder und/oder Sprachlerner haben oft Schwierigkeiten mit der perfekten Aussprache. Wie überwinden Sie das Aussprache-Problem?

Es gibt keine perfekte Aussprache: Die Art, wie wir sprechen, ist eng mit unserer Identität verbunden, und als Entwickler und Forscher ist unser Ziel, sicherzustellen, dass unsere Systeme fair für alle Benutzer sind.

Sowohl Sprachlerner als auch Kinder stellen besondere Herausforderungen für sprachbasierte Systeme dar. Zum Beispiel haben Kinderstimmen nicht nur eine sehr unterschiedliche akustische Qualität, sondern Kinder sprechen auch anders als Erwachsene, und es gibt eine große Variabilität zwischen Kindern. Als Ergebnis ist die Entwicklung eines automatisierten Spracherkennungssystems für Kinder in der Regel eine separate Aufgabe, die eine große Menge an Kindersprachdaten erfordert.

Ähnlich verhält es sich mit Sprachlernern: Obwohl es viele Ähnlichkeiten zwischen Sprachlernern aus dem gleichen Hintergrund gibt, können Lerner in ihrer Verwendung von phonetischen, grammatischen und lexikalischen Mustern stark variieren, was die Spracherkennung zu einer besonders herausfordernden Aufgabe macht. Wenn wir unsere Systeme für die Bewertung der englischen Sprachkompetenz aufbauen, verwenden wir Daten von Sprachlernern mit einer breiten Palette von Sprachniveaus und Muttersprachen.

Im Januar 2018 veröffentlichten Sie den Artikel ‘Verwendung von Exemplar-Antworten für die Schulung und Bewertung automatisierter Sprachbewertungssysteme‘. Was sind einige der wichtigsten Durchbrüche und Grundlagen, die aus diesem Artikel verstanden werden sollten?

In diesem Artikel untersuchten wir, wie die Qualität der Trainings- und Testdaten die Leistung automatisierter Bewertungssysteme beeinflusst.

Automatisierte Bewertungssysteme, wie viele andere automatisierte Systeme, werden auf Daten trainiert, die von Menschen beschriftet wurden. In diesem Fall handelt es sich um von menschlichen Bewertern zugewiesene Bewertungen. Menschliche Bewerter stimmen nicht immer in den von ihnen zugewiesenen Bewertungen überein. Es gibt mehrere Strategien, die in der Bewertung verwendet werden, um sicherzustellen, dass die endgültige Bewertung, die dem Testteilnehmer mitgeteilt wird, trotz der Variation in der menschlichen Übereinstimmung auf der Ebene der einzelnen Frage hoch zuverlässig bleibt.

Wir hatten Zugang zu einer großen Menge an Daten mit unterschiedlicher Übereinstimmung zwischen menschlichen Bewertern und konnten die Systemleistung unter verschiedenen Bedingungen vergleichen. Was wir feststellten, ist, dass das Training des Systems auf perfekten Daten seine Leistung nicht verbessert, wenn es mit einem System verglichen wird, das auf Daten mit lauteren Beschriftungen trainiert wurde. Perfekte Beschriftungen bieten nur einen Vorteil, wenn die Gesamtgröße des Trainingsdatensatzes sehr gering ist. Andererseits hatte die Qualität der menschlichen Beschriftungen einen großen Einfluss auf die Systembewertung: Ihre Leistungsabschätzungen können bis zu 30% höher sein, wenn Sie auf saubere Beschriftungen bewertet werden.

Die wichtigste Erkenntnis ist, dass es, wenn Sie über eine große Menge an Daten und Ressourcen verfügen, um Ihre Gold-Standard-Beschriftungen zu reinigen, möglicherweise cleverer ist, die Beschriftungen im Evaluierungsdatensatz zu reinigen, anstatt die Beschriftungen im Trainingsdatensatz. Und diese Erkenntnis gilt nicht nur für automatisierte Bewertung, sondern auch für viele andere Bereiche.

Können Sie einige Ihrer Arbeiten bei ETS beschreiben?

Ich arbeite an einem Sprachbewertungssystem, das gesprochene Sprache in einem Bildungskontext verarbeitet. Ein solches System ist SpeechRater®, das fortschrittliche Spracherkennungs- und Analysetechnologie verwendet, um die englische Sprachkompetenz zu bewerten und detaillierte Rückmeldungen zu geben. SpeechRater ist eine sehr ausgereifte Anwendung, die bereits über 10 Jahre existiert. Ich baue Bewertungsmodelle für verschiedene Anwendungen und arbeite mit anderen Kollegen bei ETS zusammen, um sicherzustellen, dass unsere Bewertungen für alle Testteilnehmer zuverlässig, fair und gültig sind. Wir arbeiten auch mit anderen Gruppen bei ETS zusammen, um die Systemleistung kontinuierlich zu überwachen.

Darüber hinaus entwickeln wir neue Systeme. Eines der Projekte, an dem ich sehr interessiert bin, ist RelayReader™: Eine Anwendung, die darauf ausgelegt ist, entwickelnde Leser bei der Gewinnung von Flüssigkeit und Vertrauen zu unterstützen. Wenn man mit RelayReader liest, nimmt der Benutzer abwechselnd die Rolle des Zuhörers und des Sprechers ein. Seine Lektüre wird dann an unsere Server gesendet, um Feedback zu geben. Im Hinblick auf die Sprachverarbeitung ist die Hauptaufgabe dieser Anwendung, wie man das Lernen misst und zuverlässiges, handhabbares Feedback unauffällig gibt, ohne die Auseinandersetzung des Lesers mit dem Buch zu stören.

Was ist Ihr Lieblingsteil der Arbeit bei ETS?

Was mich ursprünglich zu ETS gezogen hat, ist, dass es sich um eine gemeinnützige Organisation handelt, die sich zum Ziel gesetzt hat, die Qualität der Bildung für alle Menschen auf der ganzen Welt zu verbessern. Während es natürlich großartig ist, wenn Forschung zu einem Produkt führt, schätze ich die Gelegenheit, an Projekten zu arbeiten, die eher grundlegender Natur sind, aber die Produktentwicklung in der Zukunft unterstützen werden. Ich schätze auch die Tatsache, dass ETS Themen wie Datenschutz und Fairness sehr ernst nimmt und alle unsere Systeme einer sehr strengen Bewertung unterzogen werden, bevor sie operationell eingesetzt werden.

Was ETS jedoch wirklich zu einem großartigen Arbeitsplatz macht, sind die Menschen. Wir haben eine fantastische Gemeinschaft von Wissenschaftlern, Ingenieuren und Entwicklern aus vielen verschiedenen Hintergründen, was zu einer Vielzahl von interessanten Zusammenarbeiten führt.

Glauben Sie, dass ein künstliches Intelligenz-System jemals in der Lage sein wird, den Turing-Test zu bestehen?

Seit den 1950er Jahren gibt es viele Interpretationen davon, wie der Turing-Test in der Praxis durchgeführt werden sollte. Es gibt wahrscheinlich eine allgemeine Übereinstimmung, dass der Turing-Test nicht in philosophischem Sinne bestanden wurde, dass es also kein künstliches Intelligenz-System gibt, das wie ein Mensch denkt. Dies ist jedoch auch ein sehr spezielles Thema geworden. Die meisten Menschen bauen ihre Systeme nicht, um den Turing-Test zu bestehen – wir wollen, dass sie bestimmte Ziele erreichen.

Bei einigen dieser Aufgaben, wie z.B. der Spracherkennung oder dem maschinellen Lernen, kann die menschliche Leistung zu Recht als Goldstandard betrachtet werden. Es gibt jedoch auch viele andere Aufgaben, bei denen wir erwarten, dass ein automatisiertes System viel besser als Menschen ist oder bei denen ein automatisiertes System und ein menschlicher Experte zusammenarbeiten müssen, um das beste Ergebnis zu erzielen. Zum Beispiel möchten wir in einem Bildungskontext nicht, dass ein künstliches Intelligenz-System einen Lehrer ersetzt: Wir möchten, dass es den Lehrern hilft, sei es durch das Erkennen von Mustern in den Lernkurven der Schüler, die Unterstützung bei der Bewertung oder das Finden der besten Lehrmaterialien.

Gibt es noch etwas, das Sie über ETS oder NLP teilen möchten?

Viele Menschen kennen ETS für seine Bewertungen und automatisierten Bewertungssysteme. Aber wir tun viel mehr als das. Wir haben viele Fähigkeiten, von Sprachbiometrie bis hin zu gesprochenen Dialoganwendungen, und wir suchen ständig nach neuen Möglichkeiten, Technologie in den Lernprozess zu integrieren. Jetzt, da viele Schüler von zu Hause aus lernen, haben wir einige unserer Forschungskapazitäten für die Öffentlichkeit geöffnet.

Vielen Dank für das Interview und für die Einblicke in die neuesten Entwicklungen im Bereich des maschinellen Lernens und der Spracherkennung. Wer mehr erfahren möchte, kann Educational Testing Services besuchen.