ETS의 시니어 리서치 사이언티스트인 니틴 마드나니 – 인터뷰 시리즈

니틴 마드나니는 교육 테스팅 서비스(ETS)의 자연 언어 처리(NLP) 연구 그룹에서 시니어 리서치 사이언티스트로 일합니다. ETS는 1947년에 설립되어 세계에서 가장 큰 비영리 교육 평가 기관입니다.

ETS의 미션을 설명해 주시겠습니까?

ETS의 미션은 모든 학습자에게 교육의 질과 평등을 제공하는 것입니다. 이 미션은 우리의 제품, 서비스, 연구 및 개발 노력의 기초가 됩니다. 우리는 모든 사람이 학습을 통해 자신의 삶을 개선할 수 있다고 믿습니다. 또한 ETS의 연구, 평가, 측정 및 정책은 이러한 학습을 가능하게 하는 데 중요한 역할을 합니다.

우리는 학습이 누구에게나 가능하다고 믿습니다. 따라서 ETS의 연구, 평가, 측정 및 정책은 모든 사람이 학습할 수 있도록 지원하는 데 중점을 두고 있습니다.

자연 언어 처리(NLP)에 대해 इतन 열정적으로 이야기하는 이유는 무엇입니까?

모든 인간 언어는 아름답게 복잡하고 혼란스럽습니다. 언어는 우리가 감정을 표현하고 의사소통할 수 있도록 해줍니다. 또한 언어는 시간이 지남에 따라 발전합니다. 반면에 컴퓨터는 입력을 처리할 때 매우 결정적이고 임상적입니다. 자연 언어 처리는 인공 지능의 한 분야로, 컴퓨터 과학, 언어학, 통계학을 결합하여 컴퓨터가 인간 언어의 복잡성을 이해하도록 도와줍니다. 이것이 왜 매력적인지 이해하기 어렵지 않습니다.

ETS의 NLP 및 음성 과학자들은 최근에 RSMTool을 개발했습니다. RSMTool이 무엇인지 설명해 주시겠습니까?

과거 몇 년 동안 모든 기계 학습 모델은 교육을 포함한 모든 분야에서 편향된 행동을 보일 수 있습니다. 자동 평가 시스템은 기계 학습 모델을 사용하여 학생들의 글쓰기나 말하기를 평가합니다. 따라서 이러한 시스템은 편향된 행동을 보일 수 있습니다. 이러한 편향은 높은 위험을 초래하는 결정에 사용되는 경우 심각한 결과를 초래할 수 있습니다.

RSMTool은 마드나니와 그의 동료가 ETS에서 개발한 오픈 소스 도구입니다. RSMTool은 자동 평가 시스템에서 편향을 식별하는 데 도움을 주는 도구입니다. RSMTool은 예측 정확성과 모델 공정성 및 테스트 이론 기반 지표를 포함한 평가를 제공합니다. 이를 통해 개발자는 시스템의 문제를 식별할 수 있습니다.

RSMTool의 이름은 어디에서 유래했습니까?

교육 평가 분야에서 점수를 매기는 사람을 평가자라고 합니다. RSMTool은 자동 평가자에 의해 사용되는 점수 모델을 구축하고 평가하는 데 도움을 주는 도구입니다.

RSMTool은 개발자들이 자동 평가 시스템에서 편향이나 다른 문제를 식별하는 데 어떻게 도움을 줄 수 있습니까?

과거 5십 년 동안 교육 평가 과학자들은 자동 평가 시스템의 공정성에 대해 연구했습니다. 그들은 편향을 계산하는 통계적 및 심리 측정 분석을 개발했습니다. 그러나 심리 측정과 NLP 공동체는 서로 상호 작용하지 않습니다. 따라서 NLP 연구자와 개발자는 편향을 확인하기 위해 필요한 분석을 사용할 수 없습니다. RSMTool은 이러한 문제를 해결하기 위해 다양한 심리 측정 분석을 제공합니다.

일반적인 사용 사례에서 연구자는 점수, 금본 점수, 메타데이터를 포함한 파일이나 데이터 프레임을 입력으로 제공합니다. RSMTool은 이 데이터를 처리하여 평가 보고서를 생성합니다. 보고서는 예측 정확성, 모델 공정성, 테스트 이론 기반 지표 등을 포함합니다. RSMTool은 전통적인 기계 학습 모델과 딥 러닝 모델에서 작동합니다.

ETS는 RSMTool을 오픈 소스로 공개했습니다. 그 이유를 설명해 주시겠습니까?

예, RSMTool은 GitHub에서 Apache 2.0 라이선스로 공개되었습니다. 우리는 이러한 도구가 오픈 소스이고 비독점적이어야 하며, 공동체가 공정성 표준을 준수하도록 소스 코드를 감사할 수 있어야 한다고 믿습니다. 또한 우리는 NLP 연구자와 개발자가 RSMTool을 사용하여 작업을 개선하는 데 도움을 주고 싶습니다.

RSMTool을 개발하고 유지보수하면서 배운 교훈은 무엇입니까?

마드나니와 그의 동료가 RSMTool을 개발하고 유지보수하면서 두 가지 중요한 교훈을 배웠습니다. 첫째, 사용자들은 서로 다른 요구를 가지고 있으며, 단일 크기 조정 접근 방식은 작동하지 않습니다. 둘째, 오픈 소스 소프트웨어를 채택하려면 사용자가 소프트웨어를 강력하게 만들도록 해야 합니다.

우리는 RSMTool의 다양한 사용자를 식별했습니다. 일부 사용자는 “파워 유저”입니다. 그들은 RSMTool의 기능을 자신의 기계 학습 파이프라인에 통합하고 싶습니다. 우리는 이러한 사용자를 위해 완전한 API를 제공했습니다. 다른 사용자는 “최소한의 사용자”입니다. 그들은 통계적 또는 프로그래밍 배경이 없으며, API를 사용하기 어렵습니다. 우리는 이러한 사용자를 위해 명령줄 도구를 제공했습니다.

ETS는 RSMTool을 공개함으로써 무엇을 달성하고자 합니까?

교육 부문은 최근 몇 년 동안 AI의 확장으로 자동 평가 시스템이 더욱 일반화되었습니다. ETS는 자동 평가 분야에서 오랫동안 리더로 활동했습니다. 우리는 공정하고 책임감 있는 AI를 교육에 사용하는 데 기여하고자 합니다. RSMTool은 NLP 과학자와 심리 측정 전문家的 협력을 통해 개발되었습니다. 우리는 RSMTool을 통해 자동 평가 시스템의 공정성을 평가하는 데 도움을 주고자 합니다.

RSMTool에 대해 더 공유하고 싶은 내용이 있습니까?

우리는 독자들에게 RSMTool을 개선하는 데 도움을 줄 것을鼓励합니다. 독자들은 심리 측정이나 NLP 전문가가 아니어도 됩니다. 우리는 문서화와 Python 프로그래밍 관련된 많은 문제를 가지고 있습니다. 우리는 또한 SKLL(Scikit-Learn Laboratory)라는 다른 ETS 오픈 소스 패키지에 기여를 환영합니다. SKLL은 사용자 지정 기계 학습 실험을 효율적으로 실행하는 데 사용됩니다.