Nitin Madnani, Senior Research Scientist bei ETS – Interview-Serie

Nitin Madnani ist ein Senior Research Scientist in der Forschungsgruppe für Natural Language Processing (NLP) bei der Educational Testing Service (ETS). ETS wurde 1947 gegründet und ist die größte private Non-Profit-Organisation für Bildungstests und -bewertungen.

Können Sie uns erklären, was die Mission von ETS ist?

Die Mission von ETS ist es, Qualität und Chancengleichheit in der Bildung für alle Lerner weltweit zu fördern. Diese Mission liegt allen unseren Produkten, Dienstleistungen, Forschungen und Entwicklungen zugrunde, um Lernen zu fördern, Bildung zu unterstützen, berufliche Entwicklung zu fördern und Wissen und Fähigkeiten zu messen, für jeden.

Wir glauben, dass jeder, überall einen Unterschied in seinem Leben durch Lernen machen kann und dass die Arbeit von ETS auf Forschung, Bewertung, Messung und Politik eine wichtige Rolle bei der Möglichkeit des Lernens spielen kann.

Was ist es an NLP, das Sie so leidenschaftlich macht?

Alle menschlichen Sprachen sind so wunderschön komplex und chaotisch. Sie ermöglichen es uns, eine Vielzahl von Emotionen in unserer Sprache und sogar in unserer Schrift auszudrücken, und sie entwickeln sich mit der Zeit. Andererseits ist ein Computer so deterministisch und klinisch in der Verarbeitung seiner Eingaben. Natural Language Processing (NLP) ist ein Bereich der künstlichen Intelligenz, der versucht, dieses suprem non-menschliche Gerät die schönen Komplexitäten der menschlichen Sprache durch die Kombination von Techniken aus Computerwissenschaft, Linguistik und Statistik zu verstehen. Wie könnten Sie das nicht faszinierend finden?

Die NLP- und Sprachwissenschaftler von ETS haben kürzlich RSMTool entwickelt. Können Sie uns erzählen, was RSMTool macht?

Wie wir in den letzten Jahren gesehen haben, können alle maschinellen Lernmodelle potenziell biased Verhalten zeigen, unabhängig vom Bereich, in dem sie angewendet werden, einschließlich Bildung. Die automatisierten Bewertungssysteme, die verwendet werden, um Schülern Punkte oder Noten für ihre Sprache oder Essays in Tests oder im Klassenzimmer zuzuweisen, verwenden maschinelle Lernmodelle. Daher ist es absolut möglich, dass solche Systeme biased Verhalten zeigen. Solche Voreingenommenheit kann schwerwiegende Konsequenzen haben, insbesondere wenn die Punkte aus solchen Systemen verwendet werden, um wichtige Entscheidungen zu treffen.

RSMTool ist ein Open-Source-Tool, das mein Kollege Anastassia Loukina (früher in Unite.AI vorgestellt) und ich bei ETS entwickelt haben, um sicherzustellen, dass systematische, schädliche Voreingenommenheiten in automatisierten Bewertungssystemen so früh wie möglich identifiziert werden, hoffentlich sogar bevor die Systeme in der realen Welt eingesetzt werden. RSMTool ist designed, um eine umfassende Bewertung von AI-Bewertungssystemen zu liefern, einschließlich nicht nur Standardmetriken der Vorhersagegenauigkeit, sondern auch Maßen der Modellfairness und Metriken basierend auf Testtheorie, um Entwicklern von solchen Systemen mögliche Voreingenommenheiten oder andere Probleme in ihren Systemen zu identifizieren.

Woher kommt der Name RSMTool?

In dem Bereich der Bildungsbewertung wird jemand, der einem Essay eine Punktzahl zuweist (oder “bewertet”), oft als “Bewerter” bezeichnet. Es gibt menschliche Bewerter und automatisierte Bewerter. RSMTool – kurz für Rater Scoring Modeling Tool – ist designed, um die Bewertungsmodelle zu erstellen und zu bewerten, die von automatisierten Bewertern verwendet werden.

Wie kann dieses Tool Entwicklern helfen, mögliche Voreingenommenheiten oder andere Probleme in ihren AI-Bewertungssystemen zu identifizieren?

In den letzten fünf Jahrzehnten haben Bildungsbewertungswissenschaftler – einschließlich vieler unserer Kollegen bei ETS – wertvolle Forschungen darüber durchgeführt, was automatisierte (und menschliche) Bewertung fair macht. Im Rahmen dieser Forschung haben sie viele statistische und psychometrische Analysen entwickelt, um Indikatoren systematischer Voreingenommenheit zu berechnen. Allerdings gibt es wenig Gelegenheit für den Austausch von Ideen zwischen der psychometrischen und der NLP-Gemeinschaft. Die Folge ist, dass NLP-Forscher und -Entwickler, die tatsächliche automatisierte Bewertungssysteme bauen – insbesondere einzelne Forscher und solche in kleinen Unternehmen – keinen einfachen Zugang zu den psychometrischen Analysen haben, die sie verwenden sollten, um ihre Systeme auf Voreingenommenheit zu überprüfen. RSMTool versucht, dieses Problem zu lösen, indem es eine große, vielfältige Menge psychometrischer Analysen in einem einzigen, einfach zu verwendenden Python-Paket bereitstellt, das von jedem NLP-Forscher in seine Forschung oder seinen Betriebsablauf integriert werden kann.

In einem typischen Anwendungsfall würde ein Forscher als Eingabe eine Datei oder ein Datenframe mit den numerischen Systempunkten, Gold-Standard-Punkten (menschlichen Punkten) und Metadaten liefern, wenn applicable. RSMTool verarbeitet diese Daten und generiert einen HTML-Bericht, der eine umfassende Bewertung einschließlich deskriptiver Statistiken sowie mehrerer Maße der Systemleistung und Fairness enthält. Ein Beispiel-RSMTool-Bericht kann unter https://bit.ly/fair-tool gefunden werden. RSMTool kann mit traditionellen feature-basierten maschinellen Lernmodellen (z.B. aus der scikit-learn-Bibliothek) und mit Deep-Learning-Modellen arbeiten. Obwohl die primäre Ausgabe von RSMTool der HTML-Bericht ist, der für eine einfachere Weitergabe sorgt, generiert es auch tabellarische Datendateien (in CSV-, TSV- oder XLSX-Formaten) als Zwischenausgaben für fortgeschrittene Benutzer. Schließlich ermöglicht RSMTool, um es extrem anpassbar zu machen, die Implementierung jedes Berichtsteils als Jupyter-Notebook, so dass die Benutzer nicht nur wählen können, welche Abschnitte für ihre spezifischen Bewertungsmodelle relevant sind, sondern auch leicht benutzerdefinierte Analysen implementieren und sie in den Bericht mit sehr wenig Aufwand einfügen können.

Es gibt viele aktuelle Studien über automatisierte Bewertung, die RSMTool verwendet haben, um ihre vorgeschlagenen Bewertungsmodelle zu bewerten.

Was sind die häufigsten Arten von Voreingenommenheit, die automatisierte Bewertungssysteme beeinflussen können?

Die häufigste Art von Voreingenommenheit, die ein automatisiertes Bewertungssystem beeinflusst, ist die differentielle Leistung von Subgruppen, d.h. wenn das automatisierte System unterschiedlich für verschiedene Subgruppen der Bevölkerung performt. Zum Beispiel könnte ein voreingenommenes Bewertungssystem systematisch niedrigere Punkte für Essays produzieren, die von schwarzen Frauen geschrieben wurden, im Vergleich zu denen, die von weißen Männern geschrieben wurden, obwohl es möglicherweise keine systematischen Unterschiede in den tatsächlichen Schreibfähigkeiten gibt, die von einem Menschen bewertet werden.

ETS hat eine reiche Geschichte der Durchführung von Forschungen über Fairness für automatisierte Bewertungssysteme. Zum Beispiel haben wir untersucht, ob unser AI-automatisiertes Bewertungssystem e-rater® unterschiedliche Leistungen für Subgruppen aufweist, die durch Ethnie, Geschlecht und Land definiert sind (sie fanden einige geringe Unterschiede, die durch nachfolgende Richtlinienänderungen angegangen wurden). Studien haben auch untersucht, ob e-rater® Antworten von GRE®-Testteilnehmern mit Lernbehinderungen und/oder ADHS systematisch unterschiedlich behandelt (es tut dies nicht). Vor kurzem hat eine aktuelle Studie untersucht, ob ein automatisiertes System für die Bewertung der Sprechfähigkeit systematische Voreingenommenheit gegenüber Testteilnehmern aufweist, die eine Gesichtsmaske tragen mussten, im Vergleich zu denen, die keine Gesichtsmaske trugen (es tut dies nicht). RSMTool enthält mehrere psychometrische Analysen, die versuchen, die differentielle Leistung von Subgruppen zu quantifizieren, die der Benutzer über seine eigenen Daten definieren kann.

Warum hat ETS sich entschieden, RSMTool Open-Source zu machen?

Ja, RSMTool ist auf GitHub mit einer Apache-2.0-Lizenz verfügbar. Wir glauben, dass es wichtig ist, dass ein solches Tool Open-Source und nicht proprietär ist, damit die Gemeinschaft (a) den Quellcode der bereits verfügbaren Analysen überprüfen kann, um ihre Übereinstimmung mit Fairness-Standards zu gewährleisten, und (b) neue Analysen beitragen kann, wenn die Standards sich entwickeln und ändern. Wir möchten es auch NLP-Forschern und -Entwicklern ermöglichen, RSMTool in ihrer Arbeit zu verwenden und uns helfen, es zu verbessern. Die Open-Source-Verfügbarkeit von RSMTool ist ein klares Beispiel für das Engagement von ETS für den verantwortungsvollen Einsatz von KI in der Bildung.

Was sind einige der Lektionen, die Sie aus der Entwicklung und Wartung von RSMTool gelernt haben?

Während der letzten fünf Jahre, in denen Anastassia und ich RSMTool entwickelt und gewartet haben – mit der Hilfe vieler ETS-Kollegen und nicht-ETS-GitHub-Beiträger – haben wir zwei übergeordnete Lektionen gelernt. Die erste besteht darin, dass unterschiedliche Benutzer unterschiedliche Bedürfnisse haben und ein einheitliches Konzept nicht für cross-disziplinäre Software wie RSMTool funktioniert. Die zweite Lektion, die wir gelernt haben, besteht darin, dass es, um es wahrscheinlicher zu machen, dass Open-Source-Software angenommen wird, wirklich notwendig ist, sie so robust wie möglich zu machen.

Während unserer Amtszeit als RSMTool-Wartung haben wir viele Arten von RSMTool-Benutzern identifiziert. Einige von ihnen sind “Power-User” (z.B. NLP-Forscher und -Entwickler), die bestimmte RSMTool-Funktionen in ihre eigene maschinelle Lernpipeline einfügen möchten, während sie auch andere Python-Pakete verwenden. Um solche Benutzer zu befriedigen, haben wir eine ziemlich umfassende API erstellt, um verschiedene Vor- und Nachverarbeitungsfunktionen sowie benutzerdefinierte Metriken in RSMTool bereitzustellen. Eine andere Gruppe von Benutzern sind die sogenannten “Minimalisten”: Datenanalysten und -ingenieure, die möglicherweise nicht die statistischen oder programmiertechnischen Kenntnisse haben, um mit der API zu interagieren, und stattdessen eine out-of-the-box-Pipeline bevorzugen. Um solche Benutzer zu befriedigen, haben wir Befehlszeilen-Tools erstellt, die leicht in Wrapper-Shell-Skripten aufgerufen werden können. Wir haben auch festgestellt, dass minimalistische Benutzer oft zögern, die (admittedly große) Liste der RSMTool-Konfigurationsparameter zu lesen. Daher haben wir einen interaktiven Konfigurationsgenerator mit Autocomplete erstellt, der Benutzern hilft, Konfigurationsdateien basierend auf ihren spezifischen Bedürfnissen zu erstellen.

Um die Bedürfnisse aller unserer Benutzergruppen zu erfüllen, haben wir Praktiken angenommen, die wir für notwendig hielten, um RSMTool robust zu machen. Was meinen wir mit robuster Software? Um robust zu sein, muss jedes Softwarestück die folgenden Kriterien erfüllen: Die Auswirkungen jeder Codeänderung auf seine Genauigkeit und Leistung können gemessen werden (gut getestet), seine Dokumentation ist immer auf dem neuesten Stand (gut dokumentiert), und die Software (sowie ihre Abhängigkeiten) kann leicht von Benutzern installiert werden. Für RSMTool haben wir mehrere Open-Source-Tools und -Dienste genutzt, um es unseren Definitionen entsprechend zu machen. Wir haben einen umfassenden Test-Set (> 90% Code-Coverage) erstellt, den wir automatisch über kontinuierliche Integration für alle Änderungen ausführen, die am Code vorgenommen werden. Wir unterhalten umfangreiche Dokumentation (einschließlich mehrerer realer Tutorials) und jede neue Funktionalität, die für RSMTool vorgeschlagen wird, muss einen Dokumentationsanteil enthalten, der auch als Teil der Code-Überprüfung überprüft wird. Schließlich veröffentlichen wir RSMTool als Pakete, die leicht über pip oder conda installiert werden können, und alle benötigten Abhängigkeiten werden automatisch installiert.

Was hofft ETS, durch die Veröffentlichung von RSMTool zu erreichen?

Der Bildungssektor hat in den letzten Jahren eine der größten Ausweitungen von KI erlebt, mit der automatisierten Bewertung von Text und Sprache als einer der häufigsten Anwendungen von NLP. ETS ist seit langem ein Leader im Bereich der automatisierten Bewertung und hat sich seit seiner Gründung für die Schaffung fairer Produkte und Bewertungen eingesetzt, die dazu dienen, Lernende weltweit zu unterstützen. Durch die Veröffentlichung von RSMTool, das in enger Zusammenarbeit zwischen NLP-Wissenschaftlern und Psychometrikern entwickelt wurde, möchte ETS seine Förderung des verantwortungsvollen Einsatzes von KI in der Bildung auf eine sehr konkrete Weise fortsetzen; insbesondere möchten wir deutlich machen, dass KI-Forscher, wenn sie an die “Leistung” eines automatisierten Bewertungssystems denken, nicht nur die Standardmetriken der Vorhersagegenauigkeit (z.B. Pearsons Korrelation) berücksichtigen sollten, sondern auch die Metriken der Modellfairness. Weiterhin möchten wir, dass RSMTool als Beispiel dafür dient, wie NLP-Forscher und Psychometriker zusammenarbeiten können und sollten.

Gibt es noch etwas, das Sie über RSMTool teilen möchten?

Wir möchten die Leser ermutigen, uns dabei zu helfen, RSMTool zu verbessern! Sie müssen kein Psychometriker oder NLP-Experte sein, um beizutragen. Wir haben viele offene Probleme in Bezug auf Dokumentation und Python-Programmierung, die für jeden Anfänger- bis Intermediate-Python-Programmierer geeignet wären. Wir laden auch Beiträge zu SKLL (Scikit-Learn Laboratory) ein, einem anderen Open-Source-Paket von ETS für die effiziente Ausführung von benutzerdefinierten, batch-basierten maschinellen Lernexperimenten, das von RSMTool verwendet wird.