Nitin Madnani, Senior Research Scientist v ETS – Interview Series

Nitin Madnani je Senior Research Scientist ve skupině pro zpracování přirozeného jazyka (NLP) v Educational Testing Service (ETS). ETS byla založena v roce 1947 a je největší soukromou neziskovou organizací pro vzdělávání a hodnocení.

Můžete začít vysvětlovat, co je mise ETS?

Mise ETS je pokročit v kvalitě a rovnosti ve vzdělávání pro všechny učitele po celém světě. Tato mise je základem našich produktů, služeb, výzkumu a vývojových aktivit, jejichž cílem je podporovat učení, vzdělávání, profesní rozvoj a měření znalostí a dovedností pro každého.

Věříme, že kdokoli, kdekoli může udělat rozdíl ve svém životě prostřednictvím učení a práce ETS na výzkumu, hodnocení, měření a politice může sehrát důležitou roli v tom, aby se toto učení stalo možným.

Co je to na NLP, co vás tak vášnivě zajímá?

Všechny lidské jazyky jsou tak krásně složité a zmatené. Umožňují nám vyjádřit řadu emocí v naší řeči a dokonce i v našem psaní a vyvíjejí se s časem. Na druhé straně je počítač tak deterministický a klinický při zpracování svých vstupů. Zpracování přirozeného jazyka (NLP) je oblastí umělé inteligence, která se snaží udělat tento nesmírně nelidský přístroj pochopit krásné složitosti lidského jazyka kombinací technik z počítačové vědy, lingvistiky a statistiky. Jak můžete najít toto fascinující?

Vědci z ETS a NLP & speech scientists nedávno vyvinuli RSMTool. Můžete nám říci, co dělá RSMTool?

Jak jsme viděli v posledních letech, všechny modely strojového učení mohou potenciálně vykazovat zkreslené chování, bez ohledu na oblast, ve které se používají, vzdělávání není výjimkou. Automatizované systémy hodnocení, které přiřazují body nebo známky studentům za jejich řeč nebo eseje v testech nebo ve třídách, často používají modely strojového učení. Proto je absolutně možné, aby tyto systémy vykazovaly zkreslené chování. Takové zkreslení může mít vážné důsledky, zejména pokud se body z těchto systémů používají k přijímání důležitých rozhodnutí.

RSMTool je open-source nástroj, který můj kolega Anastassia Loukina (předtím uvedený na Unite.AI) a já vyvinuli v ETS, aby pomohl zajistit, že jakékoli systematické, škodlivé zkreslení v automatizovaných systémech hodnocení jsou identifikovány co nejdříve, ideálně dokonce předtím, než jsou systémy nasazeny ve skutečném světě. RSMTool je navržen tak, aby poskytoval komplexní hodnocení AI hodnocení motorů, včetně nejen standardních metrik předpovědi přesnosti, ale také měřítek modelu férovosti a metrik založených na teorii testů, které pomáhají vývojářům těchto motorů identifikovat možné zkreslení nebo jiné problémy ve svých systémech.

Odkud pochází název RSMTool?

V oblasti vzdělávacího hodnocení je někdo, kdo přiřazuje bod (nebo “hodnotí”) esej, často nazýván “hodnotitel”. Existují lidské hodnotitelé i automatizovaní hodnotitelé. RSMTool – zkratka pro Rater Scoring Modeling Tool – je navržen tak, aby pomohl vytvářet (a hodnotit) modely hodnocení používané automatizovanými hodnotiteli.

Jak může tento nástroj pomoci vývojářům identifikovat možné zkreslení nebo jiné problémy v jejich AI hodnocení motorech?

V posledních padesáti letech provedli vědci z vzdělávacího měření, včetně mnoha našich kolegů z ETS, cenný výzkum o tom, co dělá automatizované (a lidské) hodnocení férovým. V rámci tohoto výzkumu vyvinuli mnoho statistických a psychometrických analýz pro výpočet ukazatelů systematického zkreslení. Nicméně, protože psychometrická a NLP komunity zřídka interagují, je málo příležitostí pro výměnu nápadů. Následkem je, že NLP výzkumníci a vývojáři, kteří budují skutečné automatizované systémy hodnocení – zejména jednotliví výzkumníci a ti ve malých společnostech – nemají snadný přístup k psychometrickým analýzám, které by měly používat ke kontrole svých systémů na zkreslení. RSMTool se snaží vyřešit tento problém tím, že poskytuje velkou, různorodou sadu psychometrických analýz v jednom, snadno použitelném Python balíčku, který může být snadno začleněn do výzkumu nebo operačního procesu každého NLP výzkumníka.

ETS zvolila open-source RSMTool, můžete vysvětlit důvody a důležitost tohoto rozhodnutí?

Ano, RSMTool je k dispozici na GitHubu s licencí Apache 2.0. Věříme, že je důležité, aby takový nástroj byl open-source a nezávislý, aby komunita mohla (a) prověřit zdrojový kód již dostupných analýz, aby zajistila jejich soulad s normami férovosti a (b) přispět novými analýzami, jakmile se normy vyvinou a změní. Chceme také usnadnit NLP výzkumníkům a vývojářům použití RSMTool ve své práci a pomoci nám jej zlepšit. Učinění RSMTool open-source je jasným příkladem pokračujícího závazku ETS k odpovědnému používání umělé inteligence ve vzdělávání.

Co jsou některé z lekcí, které jste se naučili při vývoji a údržbě RSMTool?

Během posledních pěti let, kdy Anastassia a já vyvinuli a udržovali RSMTool – s pomocí mnoha kolegů z ETS a ne-ETS přispěvatelů na GitHubu – jsme se naučili dvě hlavní lekce. První je, že různé uživatelé mají různé potřeby a mít jeden-size-fits-all přístup nebude fungovat pro mezioborový software jako RSMTool. Druhá lekce, kterou jsme se naučili, je, že aby bylo možné, aby open-source software byl přijat, musíte jít nad rámec, aby byl co nejrobustnější.

Co byste rádi sdíleli o RSMTool?

Chceme povzbudit čtenáře, aby nám pomohli zlepšit RSMTool! Nemusíte být psychometrik nebo NLP odborník, aby jste přispěli. Máme mnoho otevřených problémů souvisejících s dokumentací a Python programováním, které by byly ideální pro začínající nebo středně pokročilé Python programátory. Také zveme příspěvky do SKLL (Scikit-Learn Laboratory), – další open-source balíček ETS pro efektivní spouštění uživatelsky konfigurovatelných, dávkových experimentů s učením – který je používán pod RSMTool.