ニティン・マドナニ、ETSのシニアリサーチサイエンティスト – インタビューシリーズ

ニティン・マドナニは、エデュケーショナル・テスティング・サービス（ETS）の自然言語処理（NLP）研究グループのシニアリサーチサイエンティストです。ETSは1947年に設立され、世界最大の民間非営利教育試験および評価機関です。

ETSの使命について説明してください。

ETSの使命は、世界中のすべての学習者に対して教育の質と公平性を向上させることです。この使命は、私たちの製品、サービス、研究、開発努力の基盤となっており、学習を促進し、教育を支援し、専門家の開発を支援し、知識とスキルを測定することを目的としています。

誰でもどこでも学習を通じて自分の生活を変えることができると信じています。ETSの研究、評価、測定、政策に関する取り組みは、その学習を可能にする上で重要な役割を果たすことができます。

NLPに情熱を傾ける理由について説明してください。

すべての人間の言語は美しく複雑で、汚いです。感情を表現し、時間の経過とともに進化します。一方、コンピューターは入力を処理するために決定論的で臨床的です。NLPは、コンピューターが人間の言語の美しい複雑さを理解できるようにするために、コンピューターサイエンス、言語学、統計学の技術を組み合わせた人工知能の分野です。こんなに面白いものがどうして見つからないでしょうか。

ETS NLPおよびスピーチ科学者は最近、RSMToolを開発しました。RSMToolについて説明してください。

過去数年間、すべての機械学習モデルは、教育を含むあらゆる分野で偏った動作を示す可能性があることがわかりました。テストや授業での学生のスピーチやエッセイにスコアや評価を付ける自動化された評価システムは、機械学習モデルを使用します。したがって、こうしたシステムが偏った動作を示す可能性はあります。こうした偏りは、こうしたシステムからのスコアが重要な決定を下すために使用される場合に、深刻な結果をもたらす可能性があります。

RSMToolは、私と私の同僚であるアナスタシア・ルーキナ（以前はUnite.AIに登場）がETSで開発したオープンソースツールです。自動化された評価システムにおける有害な偏りをできるだけ早く特定するのに役立ちます。RSMToolは、予測精度の標準的なメトリックに加えて、モデル公平性とテスト理論に基づくメトリックを提供することで、AIスコアリングエンジンの包括的な評価を提供するように設計されています。

RSMToolの名前の由来について説明してください。

教育評価の分野では、エッセイにスコアを付ける（または「評価する」）人は「評価者」と呼ばれます。人間の評価者と自動評価者があります。RSMTool – 评価者スコアリングモデリングツールの略称 – は、自動評価者が使用するスコアリングモデルを構築および評価するのに役立ちます。

RSMToolは、開発者がAIスコアリングエンジンの偏りやその他の問題を特定するのをどのように支援できますか。

教育測定科学者 – うち多くのETSの同僚 – は、自動スコアリングエンジンの公平性に関する有意義な研究を50年以上にわたって行ってきました。彼らは、偏りの指標を計算するための多くの統計的および心理測定分析を開発してきました。しかし、心理測定とNLPのコミュニティがほとんど交流がないため、アイデアの相互交流の機会はほとんどありません。NLP研究者や開発者が実際の自動スコアリングシステムを構築する際に、偏りをチェックするために使用するべき心理測定分析へのアクセスが容易ではないということになります。RSMToolは、単一の使いやすいPythonパッケージで多様な心理測定分析を提供することで、この問題を解決しようとしています。

ETSはRSMToolをオープンソースにした理由について説明してください。

はい、RSMToolはApache 2.0ライセンスでGitHubで利用可能です。公平性基準に準拠したソースコードを監査し、新しい分析を追加して標準が進化するにつれて変更することができるため、このツールをオープンソースで非独占的にすることが重要であると考えています。また、NLP研究者や開発者がRSMToolを簡単に使用できるようにし、改善に協力してもらいたいと思っています。RSMToolをオープンソースにすることは、教育におけるAIの責任ある使用へのETSの継続的な取り組みの明らかな例です。

RSMToolの開発とメンテナンスから得た教訓について説明してください。

アナスタシアと私は、過去5年間にRSMToolを開発してメンテナンスしてきました。ETSの同僚やGitHubのコントリビューターと協力して、2つの大きな教訓を得ました。1つ目は、異なるユーザーには異なるニーズがあるため、RSMToolのようなクロスディシプリンなソフトウェアでは、ワンサイズフィットオールアプローチは機能しないということです。2つ目は、オープンソースソフトウェアを採用する可能性を高めるには、非常に堅牢なものにする必要があるということです。

ETSはRSMToolのリリースによって何を達成しようとしていますか。

教育分野では、自動スコアリングのためのNLPの応用が急速に拡大しています。ETSは自動スコアリングの分野で長年にわたってリーダーシップを発揮してきました。RSMToolをリリースすることで、教育におけるAIの責任ある使用を推進したいと考えています。具体的には、AI研究者が自動スコアリングシステムの「パフォーマンス」について考える際に、予測精度の標準的なメトリックに加えてモデル公平性を考慮する必要があることを示したいと考えています。

RSMToolについてさらに何か共有したいことがありますか。

RSMToolを改善するために協力してください。心理測定やNLPの専門家である必要はありません。ドキュメントやPythonプログラミングに関する多くのオープンな問題があります。これらは、初心者から中級のPythonプログラマーにとって最適です。また、SKLL（Scikit-Learn Laboratory）への貢献も歓迎します。SKLLは、RSMToolで使用されている別のETSオープンソースパッケージで、ユーザーが構成可能なバッチ処理の機械学習実験を効率的に実行できるように設計されています。