Nitin Madnani, Nhà khoa học nghiên cứu cao cấp tại ETS – Loạt phỏng vấn

Nitin Madnani là một Nhà khoa học nghiên cứu cao cấp trong nhóm nghiên cứu Xử lý Ngôn ngữ Tự nhiên (NLP) tại Dịch vụ Kiểm tra Giáo dục (ETS). ETS được thành lập vào năm 1947 và là tổ chức kiểm tra và đánh giá giáo dục phi lợi nhuận tư nhân lớn nhất thế giới.

Bạn có thể bắt đầu bằng cách giải thích sứ mệnh của ETS?

Sứ mệnh của ETS là thúc đẩy chất lượng và công bằng trong giáo dục cho tất cả người học trên toàn thế giới. Sứ mệnh này là nền tảng cho các sản phẩm, dịch vụ, nghiên cứu và phát triển của chúng tôi, với mục tiêu thúc đẩy việc học, hỗ trợ giáo dục, phát triển chuyên môn và đo lường kiến thức và kỹ năng cho mọi người.

Chúng tôi tin rằng bất kỳ ai, ở bất kỳ đâu, đều có thể tạo ra sự khác biệt trong cuộc sống của họ thông qua việc học và công việc nghiên cứu, đánh giá, đo lường và chính sách của ETS có thể đóng vai trò quan trọng trong việc làm cho việc học đó trở nên khả thi.

Có điều gì về NLP khiến bạn đam mê?

Tất cả các ngôn ngữ của con người đều phức tạp và đa dạng một cách đẹp đẽ. Chúng cho phép chúng ta thể hiện một loạt các cảm xúc trong lời nói và thậm chí trong văn viết của chúng ta và chúng tiến hóa theo thời gian. Mặt khác, một máy tính là một thiết bị phi nhân tính và lâm sàng trong việc xử lý đầu vào của nó. Xử lý Ngôn ngữ Tự nhiên (NLP) là một lĩnh vực của trí tuệ nhân tạo cố gắng làm cho thiết bị phi nhân tính này hiểu được sự phức tạp đẹp đẽ của ngôn ngữ con người bằng cách kết hợp các kỹ thuật từ Khoa học Máy tính, Ngôn ngữ học và Thống kê. Làm thế nào bạn không thể tìm thấy điều này thú vị?

ETS NLP và các nhà khoa học ngôn ngữ đã phát triển RSMTool gần đây. Bạn có thể chia sẻ với chúng tôi về những gì RSMTool làm?

Chúng ta đã thấy trong những năm gần đây, tất cả các mô hình học máy đều có thể thể hiện hành vi thiên vị, bất kể lĩnh vực chúng được áp dụng, giáo dục không phải là ngoại lệ. Các hệ thống chấm điểm tự động được sử dụng để gán điểm hoặc điểm cho bài nói hoặc bài viết của học sinh trong các kỳ thi hoặc trong lớp học thường sử dụng các mô hình học máy. Do đó, hoàn toàn có thể cho các hệ thống như vậy hành xử một cách thiên vị. Sự thiên vị như vậy có thể có hậu quả nghiêm trọng, đặc biệt nếu điểm số từ các hệ thống như vậy được sử dụng để đưa ra quyết định quan trọng.

RSMTool là một công cụ mã nguồn mở mà đồng nghiệp của tôi Anastassia Loukina (trước đây đã xuất hiện trên Unite.AI) và tôi đã phát triển tại ETS để giúp đảm bảo rằng bất kỳ thiên vị hệ thống, có hại nào trong các hệ thống chấm điểm tự động được xác định càng sớm càng tốt, hy vọng ngay cả trước khi các hệ thống đó được triển khai trong thế giới thực. RSMTool được thiết kế để cung cấp một đánh giá toàn diện về các động cơ chấm điểm AI, bao gồm không chỉ các metric chuẩn của độ chính xác dự đoán, mà còn các metric về sự công bằng của mô hình và các metric dựa trên lý thuyết kiểm tra, giúp các nhà phát triển của các động cơ như vậy xác định được các thiên vị có thể xảy ra hoặc các vấn đề khác trong hệ thống của họ.

RSMTool lấy tên từ đâu?

Trong lĩnh vực đánh giá giáo dục, người ta thường gọi người chấm điểm cho một bài viết là “người chấm điểm”. RSMTool – viết tắt của Rater Scoring Modeling Tool – được thiết kế để giúp xây dựng (và đánh giá) các mô hình chấm điểm được sử dụng bởi các người chấm điểm tự động.

Làm thế nào công cụ này có thể giúp các nhà phát triển xác định các thiên vị có thể xảy ra hoặc các vấn đề khác trong các động cơ chấm điểm AI của họ?

Trong năm thập kỷ qua, các nhà khoa học đo lường giáo dục – bao gồm nhiều đồng nghiệp của chúng tôi tại ETS – đã thực hiện các nghiên cứu có giá trị về những gì làm cho việc chấm điểm tự động trở nên công bằng. Trong quá trình nghiên cứu này, họ đã phát triển nhiều phân tích thống kê và tâm lý học để tính toán các chỉ số về thiên vị hệ thống. Tuy nhiên, vì cộng đồng NLP và tâm lý học hiếm khi tương tác, nên có rất ít cơ hội để trao đổi ý tưởng. Kết quả là các nhà nghiên cứu và nhà phát triển NLP đang xây dựng các hệ thống chấm điểm tự động thực tế – đặc biệt là các nhà nghiên cứu cá nhân và những người trong các công ty nhỏ – không có quyền truy cập dễ dàng vào các phân tích tâm lý học mà họ nên sử dụng để kiểm tra hệ thống của mình về thiên vị. RSMTool cố gắng giải quyết vấn đề này bằng cách cung cấp một tập hợp lớn và đa dạng các phân tích tâm lý học trong một gói Python đơn giản và dễ sử dụng mà bất kỳ nhà nghiên cứu NLP nào cũng có thể dễ dàng tích hợp vào đường ống nghiên cứu hoặc hoạt động của mình.

ETS đã chọn làm cho RSMTool trở thành mã nguồn mở, bạn có thể giải thích lý do và tầm quan trọng của việc này?

Có, RSMTool có sẵn trên GitHub với giấy phép Apache 2.0. Chúng tôi tin rằng điều quan trọng là công cụ như vậy phải là mã nguồn mở và không độc quyền để cộng đồng có thể (a) kiểm tra mã nguồn của các phân tích đã có sẵn để đảm bảo tuân thủ các tiêu chuẩn về sự công bằng và (b) đóng góp các phân tích mới khi các tiêu chuẩn đó phát triển và thay đổi. Chúng tôi cũng muốn làm cho nó dễ dàng cho các nhà nghiên cứu và nhà phát triển NLP sử dụng RSMTool trong công việc của họ và giúp chúng tôi làm cho nó tốt hơn. Việc làm cho RSMTool trở thành mã nguồn mở là một ví dụ rõ ràng về cam kết liên tục của ETS đối với việc sử dụng AI một cách có trách nhiệm trong giáo dục.

Có bài học nào bạn đã học được từ việc phát triển và duy trì RSMTool?

Trong hơn năm năm qua, Anastassia và tôi đã phát triển và duy trì RSMTool – với sự giúp đỡ của nhiều đồng nghiệp ETS và những người đóng góp GitHub không thuộc ETS – chúng tôi đã học được hai bài học quan trọng. Bài học đầu tiên là các用户 khác nhau có nhu cầu khác nhau và việc có một phương pháp “một kích cỡ phù hợp với tất cả” sẽ không hoạt động cho phần mềm liên ngành như RSMTool. Bài học thứ hai chúng tôi đã học được là để làm cho nó có khả năng được chấp nhận rộng rãi, bạn thực sự phải đi thêm một bước để làm cho nó trở nên mạnh mẽ nhất có thể.

Có điều gì khác bạn muốn chia sẻ về RSMTool?

Chúng tôi muốn khuyến khích người đọc giúp chúng tôi cải thiện RSMTool! Họ không cần phải là một chuyên gia tâm lý học hoặc NLP để đóng góp. Chúng tôi có nhiều vấn đề mở liên quan đến tài liệu và lập trình Python mà sẽ rất phù hợp cho bất kỳ lập trình viên Python nào từ cơ bản đến trung cấp. Chúng tôi cũng mời mọi người đóng góp cho SKLL (Scikit-Learn Laboratory), – một gói mã nguồn mở khác của ETS để chạy các thí nghiệm học máy theo lô có thể cấu hình bởi người dùng – được sử dụng bởi RSMTool.