นอกเหนือจากมาตรฐาน: ทำไมการประเมิน AI ต้องมีการตรวจสอบความเป็นจริง

หากคุณได้ติดตาม AI ในช่วงนี้ คุณอาจได้เห็นข่าวที่รายงานถึงความสำเร็จของโมเดล AI ที่ทำลายสถิติในมาตรฐานที่กำหนด มาตั้งแต่การรับรู้ภาพใน ImageNet ไปจนถึงการทำคะแนนสูงกว่ามนุษย์ในด้านการแปลและการวินิจฉัยภาพทางการแพทย์ มาตรฐานเหล่านี้ได้ถูกใช้เป็นมาตรฐานในการวัดประสิทธิภาพของ AI มาเป็นเวลานาน อย่างไรก็ตาม แม้ว่าตัวเลขเหล่านี้จะน่าประทับใจ แต่ก็ไม่ได้สะท้อนถึงความซับซ้อนของการนำไปใช้งานในโลกแห่งความเป็นจริงได้เสมอไป โมเดลที่ทำงานได้ดีในมาตรฐานอาจยังทำได้ไม่ดีนอกเหนือจากสิ่งนั้น ในบทความนี้ เราจะสำรวจว่าทำไมมาตรฐานที่กำหนดจึงไม่เพียงพอในการวัดคุณค่าของ AI และสำรวจวิธีการประเมินใหม่ที่สะท้อนถึงความท้าทายที่ซับซ้อนและจริงจังในการนำ AI ไปใช้ในโลกแห่งความเป็นจริง

ความน่าดึงดูดของมาตรฐาน

มาตรฐานได้ถูกใช้เป็นรากฐานในการประเมิน AI มาเป็นเวลานาน มาตรฐานเหล่านี้ให้เซตข้อมูลที่ถูกออกแบบมาเพื่อวัดงานเฉพาะ เช่น การรับรู้วัตถุหรือการแปลภาษา เช่น ImageNet เป็นมาตรฐานที่ใช้กันอย่างแพร่หลายในการทดสอบการจำแนกประเภทวัตถุ ในขณะที่ BLEU และ ROUGE เป็นมาตรฐานที่ใช้ในการวัดคุณภาพของข้อความที่สร้างโดยเครื่องจักรโดยการเปรียบเทียบกับข้อความที่เขียนโดยมนุษย์ มาตรฐานเหล่านี้ช่วยให้นักวิจัยสามารถเปรียบเทียบความก้าวหน้าและสร้างการแข่งขันที่ดีในสนาม

ความคาดหวังของมนุษย์เทียบกับคะแนนมาตรฐาน

หนึ่งในข้อจำกัดที่สำคัญที่สุดของมาตรฐานคือมันไม่ได้สะท้อนถึงสิ่งที่มนุษย์ให้ความสำคัญเสมอไป พิจารณาการแปลภาษา โมเดลอาจทำคะแนนได้ดีในมาตรฐาน BLEU ซึ่งวัดความคล้ายคลึงกันระหว่างการแปลของเครื่องจักรและข้อความอ้างอิงที่เขียนโดยมนุษย์ ในขณะที่มาตรฐานอาจวัดความเป็นไปได้ของการแปลในระดับคำ แต่ก็ไม่ได้คำนึงถึงความคล่องแคล่วหรือความหมายของการแปลที่มนุษย์ให้ความสำคัญ

ความท้าทายของมาตรฐานที่กำหนดในบริบทที่เปลี่ยนแปลง

• การปรับตัวเข้ากับสภาพแวดล้อมที่เปลี่ยนแปลง

มาตรฐานที่กำหนดมีการประเมินประสิทธิภาพของ AI ในสภาพแวดล้อมที่ควบคุมได้ แต่สถานการณ์ในโลกแห่งความเป็นจริงนั้นไม่คาดเดาได้ เช่น AI ที่สนทนาอาจทำได้ดีในคำถามที่เขียนไว้ล่วงหน้า แต่อาจต้องดิ้นรนในการสนทนาที่มีหลายขั้นตอน ซึ่งรวมถึงคำถามที่ไม่คาดคิดหรือคำพูดที่ไม่เหมาะสม

• การคำนึงถึงด้านจริยธรรมและสังคม

มาตรฐานที่กำหนดมักจะไม่ได้ประเมินประสิทธิภาพของ AI ในด้านจริยธรรม โมเดลการรับรู้ภาพอาจทำคะแนนได้สูง แต่ก็อาจจำแนกผู้คนจากกลุ่มชาติพันธุ์บางกลุ่มไม่ถูกต้องเนื่องจากข้อมูลการฝึกที่มีอคติ

• ความไม่สามารถจับภาพด้านที่ซับซ้อน

มาตรฐานที่กำหนดดีในการทดสอบทักษะระดับผิวเผิน เช่น การสร้างข้อความที่ถูกต้องตามไวยากรณ์หรือการสร้างภาพที่สมจริง แต่มักจะไม่สามารถจับภาพคุณสมบัติระดับลึก เช่น การให้เหตุผลหรือความเหมาะสมในบริบท

• การปรับตัวเข้ากับบริบท

โมเดล AI มักจะดิ้นรนในการปรับตัวเข้ากับสภาพแวดล้อมใหม่ๆ โดยเฉพาะเมื่อเผชิญกับข้อมูลที่อยู่นอกชุดข้อมูลการฝึก มาตรฐานที่กำหนดมักจะถูกออกแบบมาเพื่อทดสอบโมเดลในข้อมูลที่คล้ายกับที่ใช้ในการฝึก

• การให้เหตุผลและการอนุมาน

มาตรฐานที่กำหนดสามารถวัดการรับรู้รูปแบบหรือการสร้างเนื้อหาได้ แต่มักจะไม่สามารถวัดการให้เหตุผลหรือการอนุมานในระดับสูง AI ต้องทำมากกว่าแค่เลียนแบบรูปแบบ มันควรเข้าใจผลกระทบ การเชื่อมโยงเชิงตรรกะ และอนุมานข้อมูลใหม่

นอกเหนือจากมาตรฐาน: วิธีการประเมิน AI ใหม่

เพื่อข้ามช่องว่างระหว่างประสิทธิภาพในมาตรฐานและความสำเร็จในโลกแห่งความเป็นจริง วิธีการประเมิน AI ใหม่กำลังเกิดขึ้น

• การให้ข้อมูลจากมนุษย์: แทนที่จะพึ่งพาเมตริกอัตโนมัติเพียงอย่างเดียว ให้พิจารณาใช้การให้ข้อมูลจากผู้เชี่ยวชาญหรือผู้ใช้ปลายทางเพื่อประเมินผลลัพธ์ของ AI
• การทดสอบในสถานการณ์จริง: ระบบ AI ควรได้รับการทดสอบในสภาพแวดล้อมที่ใกล้เคียงกับสถานการณ์จริงมากที่สุด
• การตรวจสอบความแข็งแกร่งและการทดสอบภายใต้สภาพที่ไม่ปกติ: เป็นสิ่งสำคัญที่จะต้องทดสอบระบบ AI ภายใต้สภาพที่ไม่ปกติหรือภายใต้การโจมตี
• การประเมินหลายมิติ: แทนที่จะพึ่งพาเมตริกเดียว ให้ประเมิน AI ในหลายมิติ รวมถึงความแม่นยำ ความยุติธรรม ความแข็งแกร่ง และการคำนึงถึงด้านจริยธรรม
• การทดสอบเฉพาะโดเมน: การประเมินควรจะถูกปรับให้เหมาะสมกับโดเมนที่เฉพาะเจาะจง เช่น AI ในทางการแพทย์ควรได้รับการทดสอบในกรณีศึกษาที่ออกแบบโดยผู้เชี่ยวชาญทางการแพทย์

สรุป

แม้ว่ามาตรฐานจะมีส่วนช่วยในการพัฒนาการวิจัย AI แต่ก็ไม่เพียงพอในการสะท้อนประสิทธิภาพในโลกแห่งความเป็นจริง เมื่อ AI ถูกนำไปใช้ในสถานการณ์จริง การประเมิน AI ควรจะเน้นไปที่ความเป็นมนุษย์และความครอบคลุม การทดสอบในสถานการณ์จริง การให้ข้อมูลจากมนุษย์ และการให้ความสำคัญกับความยุติธรรมและความแข็งแกร่งเป็นสิ่งสำคัญ วัตถุประสงค์ไม่ใช่การเป็นแชมป์เปียนในตารางคะแนน แต่เพื่อสร้าง AI ที่น่าเชื่อถือ ปรับเปลี่ยนได้ และมีคุณค่าในโลกที่ซับซ้อนและเปลี่ยนแปลงอย่างรวดเร็ว