尼廷·马德纳尼，ETS高级研究科学家 – 采访系列

尼廷·马德纳尼是教育测试服务（ETS）自然语言处理（NLP）研究小组的高级研究科学家。ETS成立于1947年，是世界上最大的私营非营利教育测试和评估组织。

您能否首先解释ETS的使命是什么？

ETS的使命是推进教育的质量和公平性，惠及全球所有学习者。这个使命是我们产品、服务、研究和开发工作的基础，旨在促进学习、支持教育、专业发展和衡量知识和技能，惠及所有人。

我们相信，任何人都可以通过学习改变自己的生活，ETS在研究、评估、测量和政策方面的工作可以在使这种学习成为可能方面发挥重要作用。

是什么让您对NLP如此热情？

所有人类语言都如此美丽地复杂和混乱。它们使我们能够在言语和写作中表达出一系列的情感，并随着时间的推移而演变。另一方面，计算机在处理输入时是如此的确定和临床。自然语言处理（NLP）是人工智能的一个领域，它试图通过结合计算机科学、语言学和统计学的技术，使这个非人类设备理解人类语言的美丽复杂性。您怎么能不觉得这很迷人呢？

ETS的NLP和语音科学家最近开发了RSMTool。您能否与我们分享RSMTool的功能？

如我们在过去几年中所见，所有机器学习模型都可能表现出偏见行为，无论它们应用于哪个领域，教育也不例外。自动评分系统使用机器学习模型来为学生的语音或论文分配成绩或等级。因此，这样的系统可能表现出偏见行为。这种偏见可能会产生严重的后果，特别是当这些系统的成绩用于做出高风险决策时。

RSMTool是一个开源工具，由我的同事Anastassia Loukina（之前在Unite.AI上介绍过）和我在ETS开发，旨在帮助确保自动评分系统中的任何系统性、有害偏见尽早被识别，甚至在这些系统被部署到现实世界之前。RSMTool旨在提供对AI评分引擎的全面评估，包括不仅预测准确性的标准指标，还包括模型公平性和基于测试理论的指标，帮助开发人员识别其系统中的可能偏见或其他问题。

RSMTool的名称来源是什么？

在教育评估领域，经常将为论文分配成绩（或“评分”）的人称为“评分员”。有人类评分员和自动评分员。RSMTool是评分模型工具的缩写，旨在帮助构建（和评估）自动评分员使用的评分模型。

RSMTool如何帮助开发人员识别AI评分引擎中的可能偏见或其他问题？

在过去五十年中，教育测量科学家（包括我们在ETS的许多同事）对自动评分的公平性进行了宝贵的研究。作为这项研究的一部分，他们开发了许多统计和心理测量分析来计算系统偏见的指标。然而，由于心理测量和NLP社区很少交互，因此没有机会进行思想的交流。结果是，构建实际自动评分系统的NLP研究人员和开发人员（尤其是个人研究人员和小公司的研究人员）无法轻松访问他们应该使用的来检查其系统偏见的心理测量分析。RSMTool试图通过提供一个大型、多样化的心理测量分析集合来解决这个问题，集合在一个易于使用的Python包中，可以被任何NLP研究人员轻松纳入他们的研究或操作流程中。

ETS选择开源RSMTool的理由和重要性是什么？

是的，RSMTool在GitHub上以Apache 2.0许可证提供。我们认为，像这样的工具应该是开源和非专有的，以便社区可以（a）审核现有分析的源代码，以确保其符合公平性标准，并（b）贡献新的分析，以适应不断演变的标准。我们还希望让NLP研究人员和开发人员能够轻松使用RSMTool并帮助我们改进它。开源RSMTool是ETS致力于教育中负责任地使用AI的又一个例子。

您从开发和维护RSMTool中学到了什么经验？

在过去五年中，Anastassia和我开发和维护RSMTool（得到了许多ETS同事和非ETS的GitHub贡献者的帮助），我们学到了两个主要经验。首先，不同的用户有不同的需求，单一的解决方案无法满足RSMTool这样的跨学科软件的需求。第二，我们学到了，要使开源软件被采用，必须付出额外的努力使其变得尽可能强大。

ETS发布RSMTool的目标是什么？

教育领域近年来经历了人工智能应用的显著扩张，自动评分成为NLP的一个日益常见的应用。ETS长期以来一直是自动评分领域的领导者，并致力于构建公平的产品和评估，以服务全球学习者。通过发布RSMTool，ETS希望继续倡导教育中人工智能的负责任使用；具体来说，我们希望明确指出，当人工智能研究人员思考自动评分系统的“性能”时，他们不仅应该考虑预测准确性的标准指标，还应该考虑模型公平性的指标。

您是否还有其他关于RSMTool的信息想要分享？

我们希望鼓励读者帮助我们改进RSMTool！他们不需要是心理测量学家或NLP专家就可以贡献。我们有许多与文档和Python编程相关的开放问题，这些问题非常适合任何初级到中级的Python程序员。我们还邀请读者为SKLL（Scikit-Learn Laboratory）做出贡献，SKLL是ETS的一个开源软件包，用于高效运行用户可配置的批量机器学习实验——SKLL被RSMTool在底层使用。