นิติน มัดนานี นักวิจัยอาวุโสที่ ETS – สัมภาษณ์ซีรีส์

นิติน มัดนานี เป็นนักวิจัยอาวุโสที่ทำงานกับกลุ่มวิจัยการประมวลผลภาษาธรรมชาติ (NLP) ที่ Educational Testing Service (ETS) ETS ก่อตั้งขึ้นในปี 1947 และเป็นองค์กรการสอบและประเมินผลการศึกษาที่ใหญ่ที่สุดในโลก

คุณสามารถอธิบายภารกิจของ ETS ได้หรือไม่?

ภารกิจของ ETS คือการปรับปรุงคุณภาพและความเท่าเทียมในด้านการศึกษาสำหรับผู้เรียนทุกคนในโลก นี่คือภารกิจที่อยู่ภายใต้ผลิตภัณฑ์ บริการ วิจัย และพัฒนาเพื่อส่งเสริมการเรียนรู้ การสนับสนุนการศึกษา การพัฒนาอาชีพ และการวัดความรู้และทักษะสำหรับทุกคน

เรามั่นใจว่าใครก็ตามที่ไหนก็ตามสามารถสร้างความแตกต่างในชีวิตของตนเองผ่านการเรียนรู้ได้ และงานวิจัย การประเมิน การวัด และนโยบายของ ETS สามารถมีบทบาทสำคัญในการทำให้การเรียนรู้นั้นเป็นไปได้

คุณสามารถอธิบายได้หรือไม่ว่าอะไรคือสิ่งที่ทำให้คุณหลงใหลใน NLP?

ภาษาที่มนุษย์ใช้นั้นซับซ้อนและยุ่งเหยิง แต่ทำให้เราสามารถแสดงอารมณ์ต่างๆ ในการพูดและการเขียน และมันเปลี่ยนแปลงไปตามเวลา ในทางกลับกัน คอมพิวเตอร์เป็นอุปกรณ์ที่ไม่มีชีวิตและเป็นไปตามกฎเกณฑ์ในการประมวลผลข้อมูล NLP เป็นหนึ่งในสาขาของปัญญาประดิษฐ์ที่พยายามทำให้คอมพิวเตอร์เข้าใจความซับซ้อนของภาษามนุษย์โดยใช้เทคนิคจากวิทยาการคอมพิวเตอร์ ภาษาศาสตร์ และสถิติ

นักวิจัยที่ ETS และนักวิทยาศาสตร์ด้านสัญญาณเสียงได้พัฒนารSMTool ขึ้นมา คุณสามารถอธิบายได้หรือไม่ว่า RSMTool ทำอะไร?

ในหลายปีที่ผ่านมา เราได้เห็นว่าโมเดลการเรียนรู้ของเครื่องจักรสามารถแสดงพฤติกรรมที่มีอคติได้ ไม่ว่าจะในด้านใดก็ตาม รวมทั้งการศึกษา ระบบการให้คะแนนอัตโนมัติที่ใช้ในการสอบหรือในห้องเรียนมักจะใช้โมเดลการเรียนรู้ของเครื่องจักร ดังนั้นจึงเป็นไปได้ที่ระบบเหล่านี้จะแสดงพฤติกรรมที่มีอคติ อคติเหล่านี้สามารถมีผลกระทบอย่างรุนแรง โดยเฉพาะอย่างยิ่งหากคะแนนที่ได้รับจากระบบเหล่านี้ถูกใช้ในการตัดสินใจที่สำคัญ

RSMTool เป็นเครื่องมือที่เปิดกว้างที่พัฒนาโดยเพื่อนร่วมงานของฉัน Anastassia Loukina และฉันเพื่อช่วยให้แน่ใจว่าระบบการให้คะแนนอัตโนมัติไม่มีอคติที่เป็นอันตราย RSMTool ได้รับการออกแบบมาเพื่อให้การประเมินที่ครอบคลุมของเครื่องมือการให้คะแนน AI รวมทั้งมาตรฐานการทำนายความแม่นยำ และมาตรการอื่นๆ ที่เกี่ยวข้องกับเทคนิคการวัด

ชื่อ RSMTool มาจากไหน?

ในด้านการประเมินผลการศึกษา ผู้ที่ให้คะแนนหรือ “รATER” อาจเป็นคนหรือเครื่องจักร RSMTool ย่อมาจาก Rater Scoring Modeling Tool และได้รับการออกแบบมาเพื่อช่วยในการสร้างและประเมินโมเดลการให้คะแนนสำหรับเครื่องจักร

เครื่องมือนี้สามารถช่วยให้นักพัฒนาระบุอคติหรือปัญหาในระบบการให้คะแนน AI ได้อย่างไร?

ในหลายทศวรรษที่ผ่านมา นักวิจัยด้านการวัดผลการศึกษา รวมทั้งเพื่อนร่วมงานของเราที่ ETS ได้ทำการวิจัยเกี่ยวกับสิ่งที่ทำให้การให้คะแนนอัตโนมัติเป็นไปอย่างยุติธรรม RSMTool มีเครื่องมือวิเคราะห์หลายอย่างที่สามารถช่วยให้นักวิจัยและนักพัฒนาระบุอคติหรือปัญหาในระบบการให้คะแนน AI ได้

ETS ตัดสินใจเปิด RSMTool ให้กับชุมชน คุณสามารถอธิบายได้หรือไม่ว่าเหตุผลและความสำคัญของการตัดสินใจนี้คืออะไร?

ใช่ RSMTool มีให้ใช้งานบน GitHub ภายใต้ใบอนุญาต Apache 2.0 เราเชื่อว่าเครื่องมือนี้ควรเปิดกว้างและไม่มีลิขสิทธิ์ เพื่อให้ชุมชนสามารถตรวจสอบโค้ดและตรวจสอบความยุติธรรมของเครื่องมือได้ เรายังต้องการให้นักวิจัยและนักพัฒนาสามารถใช้ RSMTool ในงานของตนเองและช่วยให้เราปรับปรุงเครื่องมือนี้ต่อไป

คุณได้เรียนรู้อะไรบ้างจากการพัฒนาและดูแล RSMTool?

ในช่วง 5 ปีที่ผ่านมา ที่ฉันและ Anastassia พัฒนาและดูแล RSMTool เราได้เรียนรู้สองสิ่งสำคัญ คือ สิ่งแรกคือผู้ใช้ต่างๆ มีความต้องการที่แตกต่างกัน และไม่มีวิธีการใดที่เหมาะสมทั้งหมดสำหรับซอฟต์แวร์แบบข้ามสาขาเช่น RSMTool สิ่งที่สองคือเพื่อให้ซอฟต์แวร์แบบเปิดกว้างได้รับการยอมรับ คุณต้องพยายามอย่างมากในการทำให้ซอฟต์แวร์นั้นแข็งแรง

ETS หวังว่าจะบรรลุอะไรจากการเปิด RSMTool?

ในหลายปีที่ผ่านมา ด้านการศึกษามีการใช้ AI อย่างกว้างขวาง โดยเฉพาะอย่างยิ่งในการให้คะแนนอัตโนมัติของข้อความและเสียง ETS มีประวัติยาวนานในการสร้างผลิตภัณฑ์และการประเมินที่ยุติธรรม และมุ่งมั่นที่จะใช้ AI ในการศึกษาอย่างรับผิดชอบ โดยการเปิด RSMTool ETS ต้องการส่งเสริมการใช้ AI ในการศึกษาอย่างมีความรับผิดชอบ และต้องการให้ RSMTool เป็นตัวอย่างของวิธีการทำงานร่วมกันระหว่างนักวิจัยด้าน NLP และนักวิจัยด้านการวัดผลการศึกษา

คุณมีอะไรที่ต้องการแบ่งปันเกี่ยวกับ RSMTool อีกหรือไม่?

เราต้องการเชิญชวนให้ผู้อ่านช่วยเราปรับปรุง RSMTool! คุณไม่จำเป็นต้องเป็นนักวิจัยด้าน psychometrician หรือ NLP จึงจะสามารถช่วยได้ เรามีหลายปัญหาที่เปิดให้ giải quyếtเกี่ยวกับเอกสารและโปรแกรม Python ที่เหมาะสำหรับผู้เริ่มต้นหรือผู้ที่มีประสบการณ์ในการเขียน Python เรายังเชิญชวนให้เข้าร่วมพัฒนา SKLL (Scikit-Learn Laboratory) ซึ่งเป็นแพ็คเกจอื่นที่ ETS พัฒนาเพื่อใช้ในการทดลองการเรียนรู้ของเครื่องจักรแบบผู้ใช้กำหนดและแบตช์