ภาษาในอดีตเป็นความท้าทายสำหรับปัญญาประดิษฐ์

หนึ่งในความท้าทายหลักของระบบประมวลผลภาษาธรรมชาติ (NLP) คือการได้รับข้อมูลสำคัญจากวัสดุเขียนที่หลากหลาย อาจมีแหล่งที่มาของข้อมูลสำหรับชุดข้อมูลการฝึกอบรมสำหรับอัลกอริทึม NLP ใหม่ๆ ที่มีความหลากหลายทางภาษา เช่น Twitter หนังสือพิมพ์ และวารสารวิทยาศาสตร์ ซึ่งแต่ละแหล่งจะมีลักษณะเฉพาะที่ไม่เหมือนใคร

โดยทั่วไป สิ่งนี้ใช้ได้กับภาษาอังกฤษเท่านั้น และใช้ได้กับแหล่งที่มาของข้อมูลในปัจจุบันหรือล่าสุดเท่านั้น เมื่ออัลกอริทึม NLP ต้องพิจารณาข้อมูลที่มาจากหลายยุคสมัย มักจะพบปัญหาในการปรับให้เข้ากับวิธีการพูดหรือเขียนที่แตกต่างกันมากในหมู่ชุมชนระดับชาติและระดับย่อย และโดยเฉพาะอย่างยิ่งในช่วงเวลาที่แตกต่างกันในประวัติศาสตร์

อย่างไรก็ตาม การใช้ข้อมูลข้อความ (เช่น หนังสือประวัติศาสตร์และงานวิทยาศาสตร์ที่มีคุณค่า) ที่ครอบคลุมหลายยุคเป็นวิธีการที่มีประโยชน์ในการสร้างการมองเห็นภาพรวมของหัวข้อและสร้างการสร้างเวลาที่มีรายละเอียดทางสถิติที่มีก่อนการนำมาตรฐานและบำรุงรักษาเมตริกสำหรับโดเมน

ตัวอย่างเช่น ข้อมูลสภาพอากาศที่ใช้ในการสร้างแบบจำลองการคาดการณ์การเปลี่ยนแปลงสภาพภูมิอากาศไม่ได้รับการบันทึกอย่างเพียงพอทั่วโลก จนถึงปี 1880 ในขณะที่การขุดค้นข้อมูลจากข้อความโบราณ ให้ข้อมูลเก่าแก่ เกี่ยวกับเหตุการณ์สภาพอากาศที่สำคัญที่อาจมีประโยชน์ในการให้ข้อมูลสภาพอากาศก่อนยุควิกตอเรีย

การไม่สอดคล้องกันทางเวลา

งานวิจัยใหม่ จากมหาวิทยาลัยวอชิงตันและสถาบัน AI แอลเลน พบว่าแม้ในช่วงเวลาสั้นๆ เพียง 5 ปี ก็สามารถทำให้เกิด การไม่สอดคล้องกันทางเวลา ซึ่งสามารถทำให้ความมีประโยชน์ของโมเดล NLP ที่ได้รับการฝึกอบรมล่วงหน้าลดลง

ในกรณีทั้งหมด คะแนนสูงกว่าคือดีกว่า เราเห็นภาพเป็นภาพความร้อนของการเสื่อมสภาพทางเวลาในข้อมูลข้อความสี่ชุดในช่วง 5 ปี การไม่สอดคล้องกันระหว่างข้อมูลฝึกอบรมและข้อมูลประเมินตามที่ผู้เขียนของงานวิจัยใหม่กล่าวอาจทำให้เกิด ‘การลดลงของประสิทธิภาพอย่างมาก’ Source: https://arxiv.org/pdf/2111.07408.pdf

งานวิจัยระบุว่า:

‘เราพบว่าการไม่สอดคล้องกันทางเวลากระทบต่อทั้งการสร้างแบบจำลองภาษาและประสิทธิภาพของงาน เราพบการเปลี่ยนแปลงที่มีนัยสำคัญในการเสื่อมสภาพข้ามโดเมนและงาน ตลอด 5 ปี คะแนน F1 ของคลาสสิฟายเออร์สามารถลดลงได้มากถึง 40 คะแนน (การรับทราบทางการเมืองใน Twitter) หรือน้อยที่สุด 1 คะแนน (การให้คะแนนรีวิว Yelp) สองงานที่แตกต่างกันที่กำหนดไว้ในช่วงเดียวกันสามารถแสดงการเสื่อมสภาพที่แตกต่างกันเมื่อเวลาผ่านไป’

การแบ่งที่ไม่สมดุล

ปัญหาหลักคือชุดข้อมูลฝึกอบรมโดยทั่วไปจะถูกแบ่งออกเป็นสองกลุ่ม ซึ่งบางครั้งอาจมีอัตราส่วน 80/20 ที่ไม่สมดุลเนื่องจากข้อมูลที่มีอยู่จำกัด กลุ่มข้อมูลที่ใหญ่กว่าจะถูกฝึกอบรมบนเครือข่ายประสาทเทียม ในขณะที่ข้อมูลที่เหลือจะถูกใช้เป็นกลุ่มควบคุมเพื่อทดสอบความแม่นยำของอัลกอริทึมที่ได้ผลลัพธ์

ในชุดข้อมูลผสมที่มีข้อมูลจากหลายปี การกระจายข้อมูลที่ไม่สมดุลจากช่วงเวลาต่างๆ อาจทำให้ข้อมูลประเมินมีข้อมูลจากยุคหนึ่งๆ มากเกินไป

สิ่งนี้จะทำให้ไม่สามารถทดสอบโมเดลที่ฝึกอบรมบนข้อมูลที่หลากหลายยิ่งขึ้นได้ดี (เช่น บนข้อมูลทั้งหมดที่มีอยู่) ในความเป็นจริง ขึ้นอยู่กับว่าข้อมูลประเมินกลุ่มน้อยที่มีข้อมูลจากยุคใหม่หรือเก่ามากเกินไป มันเหมือนกับขอให้ปู่ของคุณให้คะแนนไอดอล K-Pop ล่าสุด

วิธีแก้ปัญหาที่ยาวกว่าคือการฝึกอบรมหลายโมเดลบนชุดข้อมูลที่มีข้อจำกัดเวลา และพยายามรวบรวมคุณลักษณะที่เข้ากันได้จากผลลัพธ์ของแต่ละโมเดล อย่างไรก็ตาม การเริ่มต้นแบบสุ่มของโมเดล เพียงอย่างเดียวทำให้วิธีนี้ต้องเผชิญกับปัญหาของตนเองในการบรรลุความเท่าเทียมกันและความเท่าเทียมกันระหว่างโมเดล – แม้จะไม่พิจารณาว่าชุดข้อมูลที่มีส่วนร่วมหลายชุดนั้นคล้ายกันเพียงพอหรือไม่เพื่อให้การทดลองมีความหมาย

ข้อมูลและการฝึกอบรม

เพื่อประเมินการไม่สอดคล้องกันทางเวลา ผู้เขียนฝึกอบรมข้อมูลข้อความสี่ชุดในโดเมน四ชุด;

Twitter
…โดยที่พวกเขารวบรวมข้อมูลที่ไม่มีการระบุชื่อโดยการดึงข้อมูลทวีตที่เลือกแบบสุ่ม 12 ล้านทวีตที่กระจายอย่างสม่ำเสมอระหว่างปี 2015-2020 โดยที่ผู้เขียนศึกษาชื่อของบุคคลและองค์กรและความสัมพันธ์ทางการเมือง

บทความวิทยาศาสตร์
…โดยที่ผู้เขียนได้รับข้อมูลที่ไม่มีการระบุชื่อจาก Semantic Scholar corpus ซึ่งประกอบด้วยเอกสาร 650,000 ฉบับในช่วง 30 ปี และที่ซึ่งพวกเขาศึกษาการจำแนกประเภทของการกล่าวถึง (SciERC) และการจำแนกประเภทของสถานที่จัดงาน AI (AIC ซึ่งแยกแยะว่าบทความถูกตีพิมพ์ใน AAAI หรือ ICML)

บทความข่าว
…โดยที่ผู้เขียนใช้บทความข่าว 9 ล้านบทความจาก Newsroom Dataset ในช่วงปี 2009-2016 โดยที่พวกเขาทำงานสามอย่าง: การสรุปข่าว การจำแนกประเภทผู้จัดพิมพ์ และการจำแนกประเภทเฟรมสื่อ (MFC) ซึ่งตรวจสอบการจัดลำดับความสำคัญของหัวข้อต่างๆ ในการผลิตข่าว

รีวิวอาหาร
…โดยที่นักวิจัยใช้ Yelp Open Dataset ในงานเดียว: การจำแนกประเภทการให้คะแนนรีวิว (YELPCLS) ซึ่งเป็นความท้าทายการวิเคราะห์ความรู้สึกที่เป็นแบบฉบับของการวิจัย NLP ในภาคส่วนนี้

ผลลัพธ์

โมเดลถูกประเมินบน GPT-2 โดยมีคะแนน F1 ที่แตกต่างกัน ผู้เขียนพบว่าการเสื่อมสภาพจากความไม่สอดคล้องกันทางเวลาเป็นแบบสองทิศทาง หมายความว่าโมเดลที่ฝึกอบรมบนข้อมูลล่าสุดสามารถได้รับผลกระทบจากข้อมูลเก่า และในทางกลับกัน (ดูภาพที่เริ่มต้นของบทความสำหรับกราฟ) ผู้เขียนสังเกตว่าสิ่งนี้มีผลกระทบอย่างมากต่อการประยุกต์ใช้ทางสังคมวิทยา

โดยทั่วไป ผลลัพธ์แสดงให้เห็นว่าการไม่สอดคล้องกันทางเวลาเสื่อมสภาพการทำงาน ‘อย่างมีนัยสำคัญ’ และมีผลกระทบอย่างกว้างขวางต่องานส่วนใหญ่ ชุดข้อมูลที่ครอบคลุมช่วงเวลานาน เช่น ทศวรรษ ทำให้ปัญหาแย่ลง

ผู้เขียนสังเกตเพิ่มเติมว่าการไม่สอดคล้องกันทางเวลากระทบต่อข้อมูลที่มีการระบุชื่อและไม่มีการระบุชื่อในการฝึกอบรมล่วงหน้า นอกจากนี้ ความพยายามของพวกเขาในการบรรเทาผลกระทบผ่านการปรับให้เหมาะสมของโดเมน (ดูรายละเอียดด้านล่าง) ไม่ได้ปรับปรุงสถานการณ์อย่างมีนัยสำคัญ แม้ว่าพวกเขาจะยืนยันว่าการปรับให้เหมาะสมของข้อมูลในเซตข้อมูลสามารถช่วยได้บ้าง

สรุป

นักวิจัยยืนยันผลการวิจัยก่อนหน้าที่วิธีการรักษาโดยการปรับให้เหมาะสมของโดเมน (DAPT โดยที่มีการสร้างความยินยอมให้กับความไม่เท่าเทียมกันของข้อมูล) และการปรับให้เหมาะสมของเวลา (โดยที่ข้อมูลถูกเลือกตามช่วงเวลา) ไม่ได้ช่วยบรรเทาปัญหาได้มากนัก

งานวิจัยสรุป*:

‘การทดลองของเราแสดงให้เห็นถึงการเปลี่ยนแปลงที่มีนัยสำคัญในการเสื่อมสภาพทางเวลาในงานต่างๆ มากกว่าที่พบใน การศึกษาก่อนหน้า ผลการวิจัยเหล่านี้กระตุ้นให้เกิดการวิจัยอย่างต่อเนื่องเกี่ยวกับการไม่สอดคล้องกันทางเวลาในแอปพลิเคชันของ NLP การพิจารณาในการประเมินมาตรฐาน และความตื่นตัวของผู้ปฏิบัติงานที่สามารถติดตามประสิทธิภาพของระบบสดได้ตลอดเวลา ‘

‘โดยเฉพาะอย่างยิ่ง เราพบว่าการฝึกอบรมต่อเนื่องของโมเดลภาษาโดยใช้ข้อมูลที่สอดคล้องกันทางเวลาไม่มีผลกระทบมากนัก ซึ่งกระตุ้นให้เกิดการวิจัยเพิ่มเติมเพื่อค้นหาวิธีการปรับให้เหมาะสมของเวลาที่มีประสิทธิภาพและต้นทุนต่ำกว่าการรวบรวมข้อมูลที่มีการระบุชื่อ/ป้ายกำกับอย่างต่อเนื่องตลอดเวลา’

ผู้เขียนแนะนำว่าการวิจัยเพิ่มเติมเกี่ยวกับการเรียนรู้อย่างต่อเนื่อง โดยที่ข้อมูลถูกอัปเดตอย่างต่อเนื่อง อาจมีประโยชน์ในการแก้ไขปัญหานี้ และวิธีการตรวจจับการเปลี่ยนแปลงในงาน เช่น การเปลี่ยนแปลงแนวคิด อาจเป็นเครื่องมือที่มีประโยชน์ในการอัปเดตเซตข้อมูล

* การแปลงอ้างอิงภายในให้เป็นลิงก์โดยฉัน