data2vec: ก้าวสำคัญในด้านการเรียนรู้แบบไม่มีการกำกับดูแล

แบบจำลองการเรียนรู้ของเครื่องจักรได้พึ่งพาข้อมูลที่มีการทำเครื่องหมายสำหรับการฝึกอบรมเป็นหลัก และตามหลักการแล้ว การฝึกอบรมแบบจำลองด้วยข้อมูลที่มีการทำเครื่องหมายจะให้ผลลัพธ์ที่แม่นยำ อย่างไรก็ตาม จุดอ่อนหลักของการใช้ข้อมูลที่มีการทำเครื่องหมายคือต้นทุนการทำเครื่องหมายที่สูงซึ่งเพิ่มขึ้นเมื่อขนาดของชุดข้อมูลฝึกอบรมเพิ่มขึ้น ต้นทุนการทำเครื่องหมายที่สูงเป็นอุปสรรคสำคัญสำหรับนักพัฒนา โดยเฉพาะอย่างยิ่งเมื่อทำงานในโครงการขนาดใหญ่ที่มีปริมาณข้อมูลฝึกอบรมจำนวนมาก

เพื่อแก้ไขปัญหาการทำเครื่องหมาย นักพัฒนาจึงคิดค้นแนวคิดของ SSL หรือการเรียนรู้แบบไม่มีการกำกับดูแล การเรียนรู้แบบไม่มีการกำกับดูแลเป็นกระบวนการเรียนรู้ของเครื่องจักรที่แบบจำลองฝึกอบรมตนเองเพื่อเรียนรู้ส่วนหนึ่งของข้อมูลเข้าจากส่วนอื่นของข้อมูลเข้า แบบจำลองการเรียนรู้แบบไม่มีการกำกับดูแลมีเป้าหมายเพื่อใช้ความสัมพันธ์ระหว่างข้อมูลแทนการใช้สัญญาณการกำกับดูแลจากข้อมูลที่มีการทำเครื่องหมาย

นอกจากการเรียนรู้แบบไม่มีการกำกับดูแลแล้ว ยังมีวิธีการและแบบจำลองอื่นๆ ที่ใช้ในการฝึกอบรมแบบจำลองการเรียนรู้ของเครื่องจักรโดยไม่ต้องใช้ข้อมูลที่มีการทำเครื่องหมาย อย่างไรก็ตาม วิธีการเหล่านี้มีปัญหาหลักสองประการ

1. มักจะถูกออกแบบมาเพื่อใช้กับแบบจำลองเดียว เช่น รูปภาพหรือข้อความ
2. ต้องการพลังการคำนวณสูง

ข้อจำกัดเหล่านี้เป็นปัญหาสำคัญที่ทำให้ความสามารถในการเรียนรู้ของมนุษย์สามารถเรียนรู้จากข้อมูลประเภทเดียวได้ดีกว่าแบบจำลอง AI ที่พึ่งพาแบบจำลองและข้อมูลฝึกอบรมที่แยกจากกันเพื่อแยกความแตกต่างระหว่างรูปภาพ ข้อความ และเสียง

เพื่อแก้ไขปัญหาของแบบจำลองเดียว Meta AI ได้เปิดตัว data2vec ซึ่งเป็นแอลกอริทึมการเรียนรู้แบบไม่มีการกำกับดูแลที่มีประสิทธิภาพสูง เพื่อเรียนรู้รูปแบบข้อมูลจากสามแบบจำลองที่แตกต่างกัน: รูปภาพ ข้อความ และเสียง ด้วยการนำแอลกอริทึม data2vec มาใช้ ความเข้าใจข้อความสามารถนำไปใช้กับปัญหารูปภาพหรือใช้ในงานการรับรู้เสียง

ในบทความนี้ เราจะพูดถึงแบบจำลอง data2vec ในเชิงลึก เราจะพูดถึงวิธีการทำงาน โครงสร้าง และผลลัพธ์ของแบบจำลองเพื่อให้คุณมีความเข้าใจที่ชัดเจนเกี่ยวกับแอลกอริทึม data2vec

การแนะนำ data2vec: ความคิดหลัก

แม้ว่าแนวคิดพื้นฐานของการเรียนรู้แบบไม่มีการกำกับดูแลจะถูกนำไปใช้กับแบบจำลองที่แตกต่างกัน แต่วัตถุประสงค์และแอลกอริทึมที่แท้จริงจะแตกต่างกันเนื่องจากถูกออกแบบมาเพื่อใช้กับแบบจำลองเดียว การออกแบบแบบจำลองสำหรับแบบจำลองเดียวเป็นสาเหตุที่ทำให้แอลกอริทึมการเรียนรู้แบบไม่มีการกำกับดูแลเดียวกันไม่สามารถทำงานได้ดีสำหรับข้อมูลฝึกอบรมที่แตกต่างกัน

เพื่อแก้ไขความท้าทายที่เกิดจากแบบจำลองเดียวและแอลกอริทึม Meta AI ได้เปิดตัว data2vec ซึ่งเป็นแอลกอริทึมที่ใช้วิธีการเรียนรู้เดียวกันสำหรับการมองเห็นคอมพิวเตอร์ NLP หรือการประมวลผลเสียง

ความคิดหลักเบื้องหลังแอลกอริทึม data2vec คือการใช้มุมมองการทำเครื่องหมายของข้อมูลเข้าเพื่อคาดการณ์การแสดงผลแบบ 潜伏ของข้อมูลเข้าทั้งหมดในตัวตนที่มีการกลั่นกรองด้วยความช่วยเหลือของ โครงสร้าง Transformer มาตรฐาน ดังนั้น แทนที่จะเป็นวัตถุเฉพาะของแบบจำลองที่มีลักษณะเฉพาะที่เป็นรูปภาพ ข้อความ หรือเสียง แอลกอริทึม data2vec คาดการณ์การแสดงผลแบบ 潜伏ที่มีข้อมูลจากข้อมูลฝึกอบรมทั้งหมด

ทำไมอุตสาหกรรม AI ต้องการแอลกอริทึม data2vec?

แบบจำลองการเรียนรู้แบบไม่มีการกำกับดูแลสร้างการแสดงผลของข้อมูลฝึกอบรมโดยใช้เครื่องหมายที่ทำโดยมนุษย์ และเป็นหนึ่งในสาเหตุหลักที่ทำให้เกิดความก้าวหน้าใน NLP และเทคโนโลยีการมองเห็นคอมพิวเตอร์ การแสดงผลของการเรียนรู้แบบไม่มีการกำกับดูแลเหล่านี้เป็นสาเหตุหลักที่ทำให้สามารถใช้การเรียนรู้ที่ไม่มีการกำกับดูแลในแบบจำลองได้

จนถึงตอนนี้ แอลกอริทึมการเรียนรู้แบบไม่มีการกำกับดูแลเหล่านี้มุ่งเน้นไปที่แบบจำลองเดียว ซึ่งนำไปสู่การเรียนรู้ที่มีอคติและดีไซน์ที่เฉพาะเจาะจง การเรียนรู้แบบไม่มีการกำกับดูแลของแบบจำลองเดียวสร้างความท้าทายในการใช้งาน AI ต่างๆ รวมถึงการมองเห็นคอมพิวเตอร์และ NLP

ตัวอย่างเช่น ในการประมวลผลเสียง มีวิธีการทำเครื่องหมายที่สามารถใช้ในการเรียนรู้แบบไม่มีการกำกับดูแลได้ ในการมองเห็นคอมพิวเตอร์ นักพัฒนาสามารถใช้การทำเครื่องหมายหรือการเรียนรู้การแสดงผลที่ไม่เปลี่ยนแปลงได้ แม้ว่าการเรียนรู้เหล่านี้จะมีประโยชน์ แต่ก็ยากที่จะยืนยันว่าการเรียนรู้เหล่านี้จะขยายไปสู่แบบจำลองอื่นๆ ได้หรือไม่

แอลกอริทึม data2vec เป็นก้าวสำคัญในอุตสาหกรรมการเรียนรู้แบบไม่มีการกำกับดูแล เนื่องจากมุ่งหวังที่จะปรับปรุงหลายแบบจำลอง แทนที่จะเน้นไปที่แบบจำลองเดียว นอกจากนี้ แอลกอริทึม data2vec ไม่พึ่งพาการสร้างใหม่หรือการเรียนรู้แบบไม่มีการกำกับดูแล

ดังนั้น สาเหตุที่โลกต้องการ data2vec คือเพราะแอลกอริทึม data2vec มีศักยภาพในการเร่งความก้าวหน้าใน AI และมีส่วนช่วยในการพัฒนาแบบจำลอง AI ที่สามารถเรียนรู้เกี่ยวกับหลายด้านของสภาพแวดล้อมได้อย่างราบรื่น นักวิทยาศาสตร์หวังว่าแอลกอริทึม data2vec จะช่วยให้พวกเขาสามารถพัฒนาแบบจำลอง AI ที่สามารถทำงานได้ดีขึ้นและสามารถทำงานที่ซับซ้อนได้มากกว่าแบบจำลอง AI ในปัจจุบัน

แอลกอริทึม data2vec คืออะไร?

data2vec เป็นโครงสร้างการเรียนรู้แบบไม่มีการกำกับดูแลที่มีจุดมุ่งหมายเพื่อนำไปใช้กับข้อมูลหลายแบบจำลอง รวมถึงรูปภาพ เสียง และข้อความ

แอลกอริทึม data2vec มีจุดมุ่งหมายเพื่อสร้างแบบจำลองที่สามารถเรียนรู้รูปแบบทั่วไปใน_environment ได้ดีขึ้นโดยการทำให้วัตถุประสงค์การเรียนรู้เป็นมาตรฐานสำหรับหลายแบบจำลอง แอลกอริทึม data2vec รวมการเรียนรู้แบบไม่มีการกำกับดูแล แต่ยังคงเรียนรู้การแสดงผลสำหรับแต่ละแบบจำลองแยกจากกัน

ด้วยการแนะนำแอลกอริทึม data2vec Meta AI หวังว่าจะทำให้การเรียนรู้แบบหลายแบบจำลองมีประสิทธิภาพและง่ายขึ้น

แอลกอริทึม data2vec ทำงานอย่างไร?

แอลกอริทึม data2vec รวมการเรียนรู้ของการแสดงผลแบบ 潜伏ที่มีการทำเครื่องหมาย แม้ว่าจะใช้หลายชั้นของเครือข่ายเป็นวัตถุประสงค์ในการเรียนรู้แบบไม่มีการกำกับดูแล แอลกอริทึม data2vec ฝึกอบรมแบบจำลอง Transformer ที่ใช้ได้โดยไม่ต้องมีการปรับแต่งล่วงหน้า ซึ่งจะถูกใช้ในการเรียนรู้แบบไม่มีการกำกับดูแลหรือแบบมีการกำกับดูแล

ในโหมดการเรียนรู้แบบไม่มีการกำกับดูแล แบบจำลองจะสร้างการแสดงผลของข้อมูลเข้าซึ่งใช้เป็นวัตถุประสงค์ในการเรียนรู้ ในโหมดการเรียนรู้แบบมีการกำกับดูแล แบบจำลองจะเข้ารหัสข้อมูลเข้าที่มีการทำเครื่องหมายและใช้ในการทำนายการแสดงผลของข้อมูลเข้าทั้งหมด

รูปภาพด้านบนแสดงว่าแอลกอริทึม data2vec ใช้กระบวนการเรียนรู้เดียวกันสำหรับหลายแบบจำลอง ในขั้นตอนแรก แบบจำลองจะสร้างการแสดงผลของข้อมูลเข้า (โหมดการเรียนรู้แบบไม่มีการกำกับดูแล) จากนั้นแบบจำลองจะทำนายการแสดงผลเหล่านี้โดยอาศัยข้อมูลเข้าที่มีการทำเครื่องหมาย

นอกจากนี้ แอลกอริทึม data2vec ใช้การแสดงผลแบบ 潜伏ของข้อมูลเข้า ซึ่งสามารถมองได้ว่าเป็นรูปแบบที่เรียบง่ายของการออกแบบแบบจำลองที่เฉพาะเจาะจง เช่น การสร้างวัตถุประสงค์ที่เหมาะสมโดยการปรับขนาดข้อมูลเข้าหรือการเรียนรู้ชุดวิชาที่ไม่เปลี่ยนแปลง แต่จุดสำคัญที่แตกต่างระหว่าง data2vec และแอลกอริทึมอื่นๆ คือการใช้การแสดงผลแบบ 潜伏ที่มีการทำเครื่องหมายและต่อเนื่องโดยใช้การเรียนรู้แบบไม่มีการกำกับดูแล

วิธีการแบบจำลอง data2vec

แบบจำลอง data2vec ถูกฝึกอบรมโดยการคาดการณ์การแสดงผลของข้อมูลเข้าโดยอาศัยมุมมองบางส่วนของข้อมูลเข้า ตามที่คุณเห็นในรูปภาพต่อไปนี้ ส่วนหน้าของสุนัขถูกทำเครื่องหมาย ส่วนหนึ่งของเสียงถูกทำเครื่องหมาย และคำว่า “with” ถูกทำเครื่องหมายในข้อความ

แบบจำลองจะเข้ารหัสมุมมองของข้อมูลเข้าที่มีการทำเครื่องหมาย (โหมดการเรียนรู้แบบไม่มีการกำกับดูแล) และเข้ารหัสข้อมูลเข้าที่ไม่มีการทำเครื่องหมายเพื่อสร้างวัตถุประสงค์ในการเรียนรู้ด้วยแบบจำลองเดียวกัน แต่เมื่อแบบจำลองถูกปรับแต่งเป็นค่าเฉลี่ยของน้ำหนักแบบจำลอง (โหมดการเรียนรู้แบบมีการกำกับดูแล) นอกจากนี้ การแสดงผลของวัตถุประสงค์จะเข้ารหัสข้อมูลที่มีอยู่ในข้อมูลเข้า และในโหมดการเรียนรู้แบบไม่มีการกำกับดูแล วัตถุประสงค์การเรียนรู้จะถูกใช้เพื่อคาดการณ์การแสดงผลเหล่านี้เมื่อมีมุมมองบางส่วนของข้อมูลเข้า

โครงสร้างแบบจำลอง

แบบจำลอง data2vec ใช้ โครงสร้าง Transformer มาตรฐาน พร้อมกับการเข้ารหัสแบบจำลองที่เฉพาะเจาะจงสำหรับข้อมูลเข้า สำหรับการมองเห็นคอมพิวเตอร์ แบบจำลองจะใช้กลยุทธ์ ViT เพื่อเข้ารหัสรูปภาพเป็นลำดับของส่วนต่างๆ แต่ละส่วนมีขนาด 16×16 พิกเซล และถูกส่งเป็นรูปแบบการแปลงเชิงเส้น

นอกจากนี้ สำหรับการประมวลผลเสียง แบบจำลองจะเข้ารหัสข้อมูลโดยใช้เครือข่ายประสาทเทียมแบบ 1-D convolutional ที่มี 512 ช่องสัญญาณ และใช้การแปลงข้อมูลจาก 16 kHz waveform เป็น 50 Hz representations เพื่อประมวลผลข้อความ แบบจำลองจะทำการก่อนประมวลผลเพื่อแยกย่อยหน่วยย่อยคำ และเข้ารหัสข้อมูลในพื้นที่การกระจายโดยใช้เวกเตอร์แบบฝังตัว

การทำเครื่องหมาย

หลังจากที่แบบจำลองเข้ารหัสข้อมูลเข้าเป็นลำดับของส่วนต่างๆ แล้ว แบบจำลองจะทำเครื่องหมายส่วนหนึ่งของส่วนเหล่านี้โดยการแทนที่ด้วยสัญลักษณ์แบบฝังตัว และส่งลำดับไปยัง เครือข่าย Transformer สำหรับการมองเห็นคอมพิวเตอร์ แบบจำลองจะใช้กลยุทธ์การทำเครื่องหมายแบบบล็อก

วัตถุประสงค์การเรียนรู้

แบบจำลอง data2vec มีจุดมุ่งหมายเพื่อคาดการณ์การแสดงผลของข้อมูลเข้าที่ไม่มีการทำเครื่องหมายโดยอาศัยการเข้ารหัสของข้อมูลเข้าที่มีการทำเครื่องหมายที่ถูกส่งเข้ามาในแบบจำลอง การคาดการณ์จะเกิดขึ้นเฉพาะสำหรับช่วงเวลาที่ถูกทำเครื่องหมาย

แบบจำลองจะคาดการณ์การแสดงผลที่มีการทำเครื่องหมาย ที่ไม่เพียงแต่เข้ารหัสช่วงเวลาที่เฉพาะเจาะจงเท่านั้น แต่ยังเข้ารหัสข้อมูลอื่นๆ จากตัวอย่างด้วย เนื่องจากใช้การเรียนรู้แบบไม่มีการกำกับดูแลในเครือข่าย Transformer การแสดงผลที่มีการทำเครื่องหมายและใช้เครือข่าย Transformer คือสิ่งที่ทำให้แบบจำลอง data2vec แตกต่างจากแบบจำลองอื่นๆ เช่น BERT, wav2vec, BEiT, SimMIM, MAE และ MaskFeat ที่คาดการณ์วัตถุประสงค์โดยไม่มีข้อมูลที่มีการทำเครื่องหมาย

นี่คือวิธีการที่แบบจำลอง data2vec ปรับแต่งโหมดการเรียนรู้แบบมีการกำกับดูแลเพื่อคาดการณ์การแสดงผลของเครือข่ายที่จะใช้เป็นวัตถุประสงค์

การปรับแต่งแบบจำลอง

แบบจำลอง data2vec ปรับแต่งการเข้ารหัสของข้อมูลเข้าที่ไม่มีการทำเครื่องหมายโดยใช้ EMA หรือค่าเฉลี่ยเคลื่อนที่แบบเลขชี้กำลัง ของน้ำหนักแบบจำลอง (θ) โดยที่น้ำหนักของแบบจำลองใน โหมดวัตถุประสงค์ (△) เป็นดังนี้

                                           ∆ ← τ∆ + (1 − τ ) θ

นอกจากนี้ แบบจำลองจะกำหนดตารางเวลาสำหรับ τ ที่เพิ่มขึ้นเชิงเส้นจาก τ0 ถึง τe (ค่าลักษณะ) ในช่วงการอัปเดตแรก τn จากนั้นแบบจำลองจะคงค่าไว้จนกว่าการฝึกอบรมจะเสร็จสิ้น การใช้กลยุทธ์ EMA ทำให้แบบจำลองปรับแต่งครูบ่อยขึ้นในช่วงเริ่มต้นเมื่อแบบจำลองเป็นแบบสุ่ม เมื่อการฝึกอบรมดำเนินไปและน้ำหนักที่ดีได้เรียนรู้ ครูจะถูกปรับแต่งน้อยลง

ผลลัพธ์แสดงให้เห็นว่าแบบจำลองมีประสิทธิภาพและแม่นยำมากขึ้นเมื่อมีการแบ่งปันน้ำหนักของตัวเข้ารหัสคุณลักษณะและตัวเข้ารหัสตำแหน่งระหว่างโหมดการเรียนรู้แบบไม่มีการกำกับดูแลและโหมดการเรียนรู้แบบมีการกำกับดูแล

วัตถุประสงค์

การสร้างวัตถุประสงค์การเรียนรู้ขึ้นอยู่กับการแสดงผลของชั้นบน K ของเครือข่ายครูสำหรับช่วงเวลาที่ถูกทำเครื่องหมายในโหมดการเรียนรู้แบบไม่มีการกำกับดูแล การแสดงผลของชั้น l ที่ช่วงเวลาที่ t ถูกแสดงเป็น alt แบบจำลองจะใช้การปรับขนาดสำหรับแต่ละชั้นเพื่อให้ได้ âlt ก่อนที่จะเฉลี่ยชั้นบน K เพื่อให้ได้วัตถุประสงค์การเรียนรู้ yt สำหรับช่วงเวลาที่ t สำหรับเครือข่ายที่มี L ชั้นทั้งหมด

นี่คือวิธีการที่แบบจำลอง data2vec สร้างวัตถุประสงค์การเรียนรู้ที่แบบจำลองจะทำนายเมื่ออยู่ในโหมดการเรียนรู้แบบไม่มีการกำกับดูแล ในการทดลองเบื้องต้น แบบจำลอง data2vec ทำงานได้ดีในการคาดการณ์แต่ละชั้นแยกกันโดยใช้การฉายภาพที่เฉพาะเจาะจงและเป็นไปได้มากขึ้น

นอกจากนี้ การปรับขนาดวัตถุประสงค์ยังช่วยให้แบบจำลอง data2vec ไม่ล่มลงในตัวแทนการแสดงผลที่เป็นค่าคงที่สำหรับช่วงเวลาที่ถูกทำเครื่องหมาย และป้องกันไม่ให้ชั้นที่มีการปรับขนาดสูงครอบงำคุณลักษณะในตัวแทนการแสดงผล สำหรับการประมวลผลเสียง แบบจำลองใช้การปรับขนาดแบบ instance normalization บนชุดข้อมูลปัจจุบันโดยไม่ต้องมีการเรียนรู้พารามิเตอร์

นอกจากนี้ นักวิจัยพบว่าเมื่อทำงานกับการมองเห็นคอมพิวเตอร์และ NLP การปรับขนาดแบบไม่ต้องมีพารามิเตอร์สามารถทำงานได้ดี และสามารถแก้ไขปัญหาได้ด้วยการปรับขนาดแบบ Variance-Invariance-Covariance แต่กลยุทธ์ที่กล่าวมาข้างต้นสามารถทำงานได้ดีและไม่ต้องการพารามิเตอร์เสริม

วัตถุประสงค์

สำหรับวัตถุประสงค์การเรียนรู้ที่มีการทำเครื่องหมาย yt แบบจำลองจะใช้ การขาดทุนแบบ Smooth L1 เพื่อคาดการณ์วัตถุประสงค์ตามที่กล่าวไว้ด้านล่าง

ที่นี่ β คือการควบคุมการเปลี่ยนแปลงจากการสูญเสียแบบสี่เหลี่ยมจัตุรัสไปเป็นการสูญเสียแบบ L1 และขึ้นอยู่กับขนาดของช่องว่างระหว่างการคาดการณ์ของแบบจำลอง ft(x) ที่ช่วงเวลาที่ t ข้อดีของการขาดทุนนี้คือมีความไวต่อค่าผิดปกติน้อยกว่า โดยไม่ต้องปรับแต่งการตั้งค่าของ β

การกำหนดค่าการทดลอง

แบบจำลอง data2vec ถูกทดลองด้วยขนาดแบบจำลองสองแบบ: data2vec Large และ data2vec Base สำหรับการทรงตัวทางตัวเลข การอัปเดต EMA จะทำใน fp32 และแบบจำลองจะมี L= 12 หรือ L= 24 ชั้น Transformer มิติที่ซ่อนอยู่ (H) = 768 หรือ H = 1024

การมองเห็นคอมพิวเตอร์

แบบจำลอง data2vec จะเข้ารหัสรูปภาพขนาด 224×224 พิกเซลเป็นชุดส่วนต่างๆ ขนาด 16×16 พิกเซล แต่ละส่วนจะถูกแปลงเชิงเส้นและถูกส่งเป็นลำดับของการแสดงผล 196 รายการ

แบบจำลองจะทำตาม BEiT ในการทำเครื่องหมายบล็อกที่มีแผ่นส่วนต่อเนื่องกัน โดยแต่ละบล็อกมีแผ่นส่วนต่อเนื่องกันอย่างน้อย 16 แผ่น โดยมีอัตราส่วนด้านที่สุ่ม แต่แทนที่จะทำเครื่องหมาย 40% ของแผ่นส่วนต่อเนื่องกันแบบเดิมในแบบจำลอง BEiT แบบจำลอง data2vec จะทำเครื่องหมาย 60% ของแผ่นส่วนต่อเนื่องกันเพื่อเพิ่มความแม่นยำ

นอกจากนี้ แบบจำลองจะทำการปรับขนาดภาพแบบสุ่ม การพลิกภาพแนวนอน และการเปลี่ยนแปลงสี และสุดท้าย แบบจำลองจะใช้ภาพที่แก้ไขแล้วในโหมดการเรียนรู้แบบไม่มีการกำกับดูแลและโหมดการเรียนรู้แบบมีการกำกับดูแล

แบบจำลอง ViT-B จะถูกฝึกอบรมล่วงหน้าเป็นเวลา 800 เอพพ็อก และแบบจำลอง data2vec จะใช้ขนาดชุดข้อมูล 8,192 สำหรับแบบจำลอง ViT-L และ 2,048 สำหรับแบบจำลอง ViT-B แบบจำลอง data2vec ยังใช้กำหนดการ Adam และกำหนดการ cosine ที่มีการอบอุ่นการเรียนรู้เป็นเวลา 80 เอพพ็อกสำหรับ ViT-L และ 40 เอพพ็อกสำหรับ ViT-B

สำหรับทั้ง ViT-B และ ViT-L แบบจำลอง data2vec จะใช้ β = 2, K = 6 และ τ = 0.9998 เป็นค่าคงที่โดยไม่มีการกำหนดการ นอกจากนี้ แบบจำลองจะใช้อัตราการลึกแบบสุ่ม 0.2

นอกจากนี้ สำหรับ ViT-L แบบจำลองจะฝึกอบรมเป็นเวลา 1,600 เอพพ็อก โดย 800 เอพพ็อกแรกจะมีการเรียนรู้ 0.9998 และจากนั้นแบบจำลองจะรีสตาร์ทกำหนดการเรียนรู้และดำเนินการต่อเป็นเวลา 800 เอพพ็อกสุดท้ายด้วยการเรียนรู้ 0.9999

สำหรับการจำแนกประเภทภาพ แบบจำลองจะใช้การรวมกันของการแสดงผลของชั้นสุดท้ายของ Transformer และส่งไปยังตัวจำแนกประเภทที่มีการปรับขนาด

การประมวลผลเสียง

สำหรับการประมวลผลเสียง แบบจำลอง data2vec จะใช้ Fairseq ซึ่งเป็นชุดเครื่องมือสำหรับการสร้างแบบจำลองลำดับสำหรับการสรุป การแปล และการสร้างข้อความ

แบบจำลองจะใช้เสียง 16 kHz เป็นข้อมูลเข้า ซึ่งจะถูกประมวลผลโดยใช้เครือข่ายประสาทเทียมแบบ 1-D convolutional ที่มี 512 ช่องสัญญาณ และใช้การแปลงข้อมูลจาก 16 kHz waveform เป็น 50 Hz representations

กลยุทธ์การทำเครื่องหมายที่ใช้โดยแบบจำลอง data2vec สำหรับแบบจำลอง Base จะคล้ายกับเฟรมเวิร์กของ Baevski สำหรับการเรียนรู้แบบไม่มีการกำกับดูแลในงานการประมวลผลเสียง

นอกจากนี้ แบบจำลองจะฝึกอบรมแบบจำลองด้วยการกำหนดการ Adam ที่มีการเรียนรู้สูงสุด 5×10-4 สำหรับแบบจำลอง Base และใช้กำหนดการ tri-stage ที่อบอุ่นการเรียนรู้เป็นเวลา 3% ของการอัปเดต จากนั้นรักษาการเรียนรู้ไว้สำหรับ 90% ของการอัปเดต และลดการเรียนรู้เป็น 7% ของการอัปเดตที่เหลือ

นอกจากนี้ สำหรับแบบจำลอง Base แบบจำลองจะใช้การกำหนดการ τ ที่เพิ่มขึ้นเชิงเส้นจาก τo = 0.999, τe = 0.9999 และ τn = 30,000

การประมวลผลภาษาธรรมชาติ

แบบจำลอง data2vec จะใช้การเข้ารหัสแบบ byte-pair ของ 50K ประเภทเพื่อแยกคำในข้อมูลเข้า และแบบจำลองจะเรียนรู้การฝังตัวสำหรับแต่ละประเภท หลังจากที่ข้อมูลเข้าถูกเข้ารหัสแล้ว แบบจำลองจะใช้กลยุทธ์การทำเครื่องหมายแบบ BERT สำหรับ 15% ของโทเค็นที่ถูกเลือกแบบสุ่ม โดยที่ 80% จะถูกแทนที่ด้วยโทเค็นแบบฝังตัวที่เรียนรู้ 10% จะถูกแทนที่ด้วยโทเค็นแบบสุ่มจากพจนานุกรม และ 10% จะไม่เปลี่ยนแปลง

ระหว่างการฝึกอบรมล่วงหน้า แบบจำลองจะใช้ τo = 0.999, τe = 0.9999 และ τn = 100,000, K= 10 และ β = 4 แบบจำลองจะใช้กำหนดการ Adam ที่มีการเรียนรู้สูงสุด 2×10-4 และใช้กำหนดการ tri-stage ที่อบอุ่นการเรียนรู้เป็นเวลา 5% ของการอัปเดต รักษาการเรียนรู้ไว้สำหรับ 80% ของการอัปเดต และลดการเรียนรู้เป็น 15% ของการอัปเดตที่เหลือ

นอกจากนี้ แบบจำลองจะฝึกอบรมบน 16 GPU โดยมีขนาดชุดข้อมูล 256 ลำดับ และแต่ละลำดับจะมี 512 โทเค็น สำหรับการฝึกอบรมแบบ fine-tuning แบบจำลองจะใช้ข้อมูลที่มีการทำเครื่องหมายสำหรับแต่ละงาน และรายงานค่าเฉลี่ยของความแม่นยำสำหรับการทดสอบ 5 ครั้ง

ผลลัพธ์

มาวิเคราะห์ผลการทำงานของแบบจำลอง data2vec เมื่อนำกลยุทธ์ที่กล่าวมาข้างต้นไปใช้กับหลายแบบจำลอง

การมองเห็นคอมพิวเตอร์

เพื่อประเมินผลลัพธ์สำหรับการมองเห็นคอมพิวเตอร์ แบบจำลอง data2vec จะถูกฝึกอบรมล่วงหน้าด้วยรูปภาพจากชุดข้อมูล ImageNet-1K

แบบจำลองที่ได้รับจะถูกปรับแต่งโดยใช้ข้อมูลที่มีการทำเครื่องหมายจากชุดข้อมูลเดียวกัน ตามแนวปฏิบัติทั่วไป แบบจำลองจะถูกประเมินโดยใช้ความแม่นยำแบบ top-1 บนข้อมูลทดสอบ

ผลลัพธ์จะถูกเปรียบเทียบกับแบบจำลองการเรียนรู้แบบไม่มีการกำกับดูแลอื่นๆ เช่น ViT-L และ ViT-B

ผลลัพธ์จากตารางด้านบนสามารถสรุปได้ดังนี้

• แบบจำลอง data2vec ทำงานได้ดีกว่าแบบจำลองอื่นๆ ทั้ง ViT-L และ ViT-B ในการกำหนดค่าแบบจำลองเดียว
• การกำหนดค่าการทำนายที่มีการทำเครื่องหมายที่ใช้ในแบบจำลอง data2vec เพื่อคาดการณ์การแสดงผลแบบ 潜伏ที่มีการทำเครื่องหมายทำงานได้ดีกว่าเมื่อเปรียบเทียบกับวิธีการที่คาดการณ์วัตถุประสงค์ที่เฉพาะเจาะจง เช่น การสร้างคุณลักษณะภาพ การทำนายพิกเซล หรือการเรียนรู้การแสดงผลที่ไม่เปลี่ยนแปลง
• แบบจำลอง data2vec ยังทำงานได้ดีกว่าแบบจำลองการเรียนรู้แบบไม่มีการกำกับดูแลอื่นๆ ที่ใช้การกลั่นกรองแบบ self-distillation ที่ทำนายชั้นสุดท้ายของเครือข่ายนักเรียนโดยใช้สองรูปแบบที่แตกต่างกันของภาพ

เสียงและประมวลผลเสียง

สำหรับการประมวลผลเสียงและเสียง แบบจำลอง data2vec จะถูกฝึกอบรมด้วยเสียงประมาณ 960 ชั่วโมงจากชุดข้อมูล Librispeech(LS-960)

เพื่อวิเคราะห์ผลการทำงานของแบบจำลองในหลายๆ การกำหนดค่า นักวิจัยได้ปรับแต่งแบบจำลอง data2vec เพื่อใช้ปริมาณข้อมูลที่มีการทำเครื่องหมายที่แตกต่างกัน (ตั้งแต่ไม่กี่นาทีจนถึงหลายชั่วโมง) สำหรับการรับรู้เสียงอัตโนมัติ

แบบจำลอง data2vec จะถูกเปรียบเทียบกับ HuBERT และ wav2vec 2.0 ซึ่งเป็นสองในหลายๆ แอลกอริทึมที่ได้รับความนิยมสำหรับการเรียนรู้การแสดงผลเสียงที่ใช้หน่วยเสียงที่ไม่ต่อเนื่องกัน

ตารางด้านบนเปรียบเทียบผลการทำงานของแบบจำลอง data2vec ในด้านอัตราการรับรู้คำสำหรับการรับรู้เสียงกับแบบจำลองอื่นๆ LM แสดงถึงแบบจำลองภาษาที่ใช้สำหรับการถอดรหัส

• แบบจำลอง data2vec แสดงให้เห็นการปรับปรุงที่ดีขึ้นสำหรับการกำหนดค่าที่มีข้อมูลที่มีการทำเครื่องหมายส่วนใหญ่ โดยมีการเพิ่มขึ้นที่ใหญ่ที่สุดสำหรับแบบจำลอง Base ที่มีข้อมูลที่มีการทำเครื่องหมาย 10 นาที
• สำหรับแบบจำลองขนาดใหญ่ แบบจำลองจะทำงานได้ดีกว่าบนชุดข้อมูลที่มีข้อมูลที่มีการทำเครื่องหมายน้อย และมีประสิทธิภาพที่เทียบเท่ากับชุดข้อมูลที่มีข้อมูลที่มีการทำเครื่องหมายมากกว่า 100 และ 960 ชั่วโมง เนื่องจากโดยทั่วไปแล้วประสิทธิภาพจะถึงจุดอิ่มตอนบนชุดข้อมูลที่มีข้อมูลที่มีการทำเครื่องหมายมากสำหรับแบบจำลองส่วนใหญ่
• หลังจากการวิเคราะห์ผลการทำงานแล้ว สามารถสรุปได้ว่าการใช้วัตถุประสงค์ที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายทspan style=”font-weight: 400;”>สำหรับการประมวลผลภาษาธรรมชาติ แบบจำลอง data2vec จะใช้การเข้ารหัสแบบ byte-pair ของ 50K ประเภทเพื่อแยกคำในข้อมูลเข้า และแบบจำลองจะเรียนรู้การฝังตัวสำหรับแต่ละประเภท หลังจากที่ข้อมูลเข้าถูกเข้ารหัสแล้ว แบบจำลองจะใช้กลยุทธ์การทำเครื่องหมายแบบ BERT สำหรับ 15% ของโทเค็นที่ถูกเลือกแบบสุ่ม โดยที่ 80% จะถูกแทนที่ด้วยโทเค็นแบบฝังตัวที่เรียนรู้ 10% จะถูกแทนที่ด้วยโทเค็นแบบสุ่มจากพจนานุกรม และ 10% จะไม่เปลี่ยนแปลง

  ระหว่างการฝึกอบรมล่วงหน้า แบบจำลองจะใช้ τo = 0.999, τe = 0.9999 และ τn = 100,000, K= 10 และ β = 4 แบบจำลองจะใช้กำหนดการ Adam ที่มีการเรียนรู้สูงสุด 2×10-4 และใช้กำหนดการ tri-stage ที่อบอุ่นการเรียนรู้เป็นเวลา 5% ของการอัปเดต รักษาการเรียนรู้ไว้สำหรับ 80% ของการอัปเดต และลดการเรียนรู้เป็น 15% ของการอัปเดตที่เหลือ

  นอกจากนี้ แบบจำลองจะฝึกอบรมบน 16 GPU โดยมีขนาดชุดข้อมูล 256 ลำดับ และแต่ละลำดับจะมี 512 โทเค็น สำหรับการฝึกอบรมแบบ fine-tuning แบบจำลองจะใช้ข้อมูลที่มีการทำเครื่องหมายสำหรับแต่ละงาน และรายงานค่าเฉลี่ยของความแม่นยำสำหรับการทดสอบ 5 ครั้ง

  การวิเคราะห์ผลลัพธ์

  แบบจำลอง data2vec จะถูกทดสอบบนชุดข้อมูล GLUE หรือ General Language Understanding Evaluation ซึ่งรวมถึงงานการอนุมานภาษาธรรมชาติ (MNLI หรือ Multi Genre Natural Language Inference), การเหมือนกันของประโยค (QQP หรือ Quora Question Pairs benchmark, MRPC หรือ Microsoft (MSFT ) Research Paragraph Corpus และ STS-B หรือ Semantic Textual Similarity Benchmark), การวิเคราะห์ความรู้สึก (SST-2 หรือ Stanford Sentiment Treebank) และไวยากรณ์ (CoLA)

  นอกจากนี้ สำหรับการฝึกอบรมแบบ fine-tuning แบบจำลองจะใช้ข้อมูลที่มีการทำเครื่องหมายสำหรับแต่ละงาน และรายงานค่าเฉลี่ยของความแม่นยำสำหรับการทดสอบ 5 ครั้ง

  

  • ตารางด้านบนแสดงให้เห็นว่าแบบจำลอง data2vec ทำงานได้ดีกว่าแบบจำลอง RoBERTa ที่ใช้การทำเครื่องหมายแบบสุ่ม
  • แบบจำลอง data2vec เป็นแบบจำลองการประมวลผลภาษาธรรมชาติที่ประสบความสำเร็จครั้งแรกที่ไม่ใช้หน่วยที่ไม่ต่อเนื่องกัน เช่น ตัวอักษร คำ หรือคำย่อยเป็นวัตถุประสงค์การเรียนรู้ แทนที่จะคาดการณ์วัตถุประสงค์ที่มีการทำเครื่องหมายแบบสุ่ม แบบจำลอง data2vec คาดการณ์การแสดงผลแบบ 潜伏ที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายทspan style=”font-weight: 400;”>สำหรับการประมวลผลภาษาธรรมชาติ แบบจำลอง data2vec จะใช้การเข้ารหัสแบบ byte-pair ของ 50K ประเภทเพื่อแยกคำในข้อมูลเข้า และแบบจำลองจะเรียนรู้การฝังตัวสำหรับแต่ละประเภท หลังจากที่ข้อมูลเข้าถูกเข้ารหัสแล้ว แบบจำลองจะใช้กลยุทธ์การทำเครื่องหมายแบบ BERT สำหรับ 15% ของโทเค็นที่ถูกเลือกแบบสุ่ม โดยที่ 80% จะถูกแทนที่ด้วยโทเค็นแบบฝังตัวที่เรียนรู้ 10% จะถูกแทนที่ด้วยโทเค็นแบบสุ่มจากพจนานุกรม และ 10% จะไม่เปลี่ยนแปลง

    ระหว่างการฝึกอบรมล่วงหน้า แบบจำลองจะใช้ τo = 0.999, τe = 0.9999 และ τn = 100,000, K= 10 และ β = 4 แบบจำลองจะใช้กำหนดการ Adam ที่มีการเรียนรู้สูงสุด 2×10-4 และใช้กำหนดการ tri-stage ที่อบอุ่นการเรียนรู้เป็นเวลา 5% ของการอัปเดต รักษาการเรียนรู้ไว้สำหรับ 80% ของการอัปเดต และลดการเรียนรู้เป็น 15% ของการอัปเดตที่เหลือ

    นอกจากนี้ แบบจำลองจะฝึกอบรมบน 16 GPU โดยมีขนาดชุดข้อมูล 256 ลำดับ และแต่ละลำดับจะมี 512 โทเค็น สำหรับการฝึกอบรมแบบ fine-tuning แบบจำลองจะใช้ข้อมูลที่มีการทำเครื่องหมายสำหรับแต่ละงาน และรายงานค่าเฉลี่ยของความแม่นยำสำหรับการทดสอบ 5 ครั้ง

    การวิเคราะห์ผลลัพธ์

    แบบจำลอง data2vec จะถูกทดสอบบนชุดข้อมูล GLUE หรือ General Language Understanding Evaluation ซึ่งรวมถึงงานการอนุมานภาษาธรรมชาติ (MNLI หรือ Multi Genre Natural Language Inference), การเหมือนกันของประโยค (QQP หรือ Quora Question Pairs benchmark, MRPC หรือ Microsoft Research Paragraph Corpus และ STS-B หรือ Semantic Textual Similarity Benchmark), การวิเคราะห์ความรู้สึก (SST-2 หรือ Stanford Sentiment Treebank) และไวยากรณ์ (CoLA)

    นอกจากนี้ สำหรับการฝึกอบรมแบบ fine-tuning แบบจำลองจะใช้ข้อมูลที่มีการทำเครื่องหมายสำหรับแต่ละงาน และรายงานค่าเฉลี่ยของความแม่นยำสำหรับการทดสอบ 5 ครั้ง

    

    • ตารางด้านบนแสดงให้เห็นว่าแบบจำลอง data2vec ทำงานได้ดีกว่าแบบจำลอง RoBERTa ที่ใช้การทำเครื่องหมายแบบสุ่ม
    • แบบจำลอง data2vec เป็นแบบจำลองการประมวลผลภาษาธรรมชาติที่ประสบความสำเร็จครั้งแรกที่ไม่ใช้หน่วยที่ไม่ต่อเนื่องกัน เช่น ตัวอักษร คำ หรือคำย่อยเป็นวัตถุประสงค์การเรียนรู้ แทนที่จะคาดการณ์วัตถุประสงค์ที่มีการทำเครื่องหมายแบบสุ่ม แบบจำลอง data2vec คาดการณ์การแสดงผลแบบ 潜伏ที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายทspan style=”font-weight: 400;”>สำหรับการประมวลผลภาษาธรรมชาติ แบบจำลอง data2vec จะใช้การเข้ารหัสแบบ byte-pair ของ 50K ประเภทเพื่อแยกคำในข้อมูลเข้า และแบบจำลองจะเรียนรู้การฝังตัวสำหรับแต่ละประเภท หลังจากที่ข้อมูลเข้าถูกเข้ารหัสแล้ว แบบจำลองจะใช้กลยุทธ์การทำเครื่องหมายแบบ BERT สำหรับ 15% ของโทเค็นที่ถูกเลือกแบบสุ่ม โดยที่ 80% จะถูกแทนที่ด้วยโทเค็นแบบฝังตัวที่เรียนรู้ 10% จะถูกแทนที่ด้วยโทเค็นแบบสุ่มจากพจนานุกรม และ 10% จะไม่เปลี่ยนแปลง

      ระหว่างการฝึกอบรมล่วงหน้า แบบจำลองจะใช้ τo = 0.999, τe = 0.9999 และ τn = 100,000, K= 10 และ β = 4 แบบจำลองจะใช้กำหนดการ Adam ที่มีการเรียนรู้สูงสุด 2×10-4 และใช้กำหนดการ tri-stage ที่อบอุ่นการเรียนรู้เป็นเวลา 5% ของการอัปเดต รักษาการเรียนรู้ไว้สำหรับ 80% ของการอัปเดต และลดการเรียนรู้เป็น 15% ของการอัปเดตที่เหลือ

      นอกจากนี้ แบบจำลองจะฝึกอบรมบน 16 GPU โดยมีขนาดชุดข้อมูล 256 ลำดับ และแต่ละลำดับจะมี 512 โทเค็น สำหรับการฝึกอบรมแบบ fine-tuning แบบจำลองจะใช้ข้อมูลที่มีการทำเครื่องหมายสำหรับแต่ละงาน และรายงานค่าเฉลี่ยของความแม่นยำสำหรับการทดสอบ 5 ครั้ง

      การวิเคราะห์ผลลัพธ์

      แบบจำลอง data2vec จะถูกทดสอบบนชุดข้อมูล GLUE หรือ General Language Understanding Evaluation ซึ่งรวมถึงงานการอนุมานภาษาธรรมชาติ (MNLI หรือ Multi Genre Natural Language Inference), การเหมือนกันของประโยค (QQP หรือ Quora Question Pairs benchmark, MRPC หรือ Microsoft Research Paragraph Corpus และ STS-B หรือ Semantic Textual Similarity Benchmark), การวิเคราะห์ความรู้สึก (SST-2 หรือ Stanford Sentiment Treebank) และไวยากรณ์ (CoLA)

      นอกจากนี้ สำหรับการฝึกอบรมแบบ fine-tuning แบบจำลองจะใช้ข้อมูลที่มีการทำเครื่องหมายสำหรับแต่ละงาน และรายงานค่าเฉลี่ยของความแม่นยำสำหรับการทดสอบ 5 ครั้ง

      

      • ตารางด้านบนแสดงให้เห็นว่าแบบจำลอง data2vec ทำงานได้ดีกว่าแบบจำลอง RoBERTa ที่ใช้การทำเครื่องหมายแบบสุ่ม
      • แบบจำลอง data2vec เป็นแบบจำลองการประมวลผลภาษาธรรมชาติที่ประสบความสำเร็จครั้งแรกที่ไม่ใช้หน่วยที่ไม่ต่อเนื่องกัน เช่น ตัวอักษร คำ หรือคำย่อยเป็นวัตถุประสงค์การเรียนรู้ แทนที่จะคาดการณ์วัตถุประสงค์ที่มีการทำเครื่องหมายแบบสุ่ม แบบจำลอง data2vec คาดการณ์การแสดงผลแบบ 潜伏ที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายทspan style=”font-weight: 400;”>สำหรับการประมวลผลภาษาธรรมชาติ แบบจำลอง data2vec จะใช้การเข้ารหัสแบบ byte-pair ของ 50K ประเภทเพื่อแยกคำในข้อมูลเข้า และแบบจำลองจะเรียนรู้การฝังตัวสำหรับแต่ละประเภท หลังจากที่ข้อมูลเข้าถูกเข้ารหัสแล้ว แบบจำลองจะใช้กลยุทธ์การทำเครื่องหมายแบบ BERT สำหรับ 15% ของโทเค็นที่ถูกเลือกแบบสุ่ม โดยที่ 80% จะถูกแทนที่ด้วยโทเค็นแบบฝังตัวที่เรียนรู้ 10% จะถูกแทนที่ด้วยโทเค็นแบบสุ่มจากพจนานุกรม และ 10% จะไม่เปลี่ยนแปลง

        ระหว่างการฝึกอบรมล่วงหน้า แบบจำลองจะใช้ τo = 0.999, τe = 0.9999 และ τn = 100,000, K= 10 และ β = 4 แบบจำลองจะใช้กำหนดการ Adam ที่มีการเรียนรู้สูงสุด 2×10-4 และใช้กำหนดการ tri-stage ที่อบอุ่นการเรียนรู้เป็นเวลา 5% ของการอัปเดต รักษาการเรียนรู้ไว้สำหรับ 80% ของการอัปเดต และลดการเรียนรู้เป็น 15% ของการอัปเดตที่เหลือ

        นอกจากนี้ แบบจำลองจะฝึกอบรมบน 16 GPU โดยมีขนาดชุดข้อมูล 256 ลำดับ และแต่ละลำดับจะมี 512 โทเค็น สำหรับการฝึกอบรมแบบ fine-tuning แบบจำลองจะใช้ข้อมูลที่มีการทำเครื่องหมายสำหรับแต่ละงาน และรายงานค่าเฉลี่ยของความแม่นยำสำหรับการทดสอบ 5 ครั้ง

        การวิเคราะห์ผลลัพธ์

        แบบจำลอง data2vec จะถูกทดสอบบนชุดข้อมูล GLUE หรือ General Language Understanding Evaluation ซึ่งรวมถึงงานการอนุมานภาษาธรรมชาติ (MNLI หรือ Multi Genre Natural Language Inference), การเหมือนกันของประโยค (QQP หรือ Quora Question Pairs benchmark, MRPC หรือ Microsoft Research Paragraph Corpus และ STS-B หรือ Semantic Textual Similarity Benchmark), การวิเคราะห์ความรู้สึก (SST-2 หรือ Stanford Sentiment Treebank) และไวยากรณ์ (CoLA)

        นอกจากนี้ สำหรับการฝึกอบรมแบบ fine-tuning แบบจำลองจะใช้ข้อมูลที่มีการทำเครื่องหมายสำหรับแต่ละงาน และรายงานค่าเฉลี่ยของความแม่นยำสำหรับการทดสอบ 5 ครั้ง

        

        • ตารางด้านบนแสดงให้เห็นว่าแบบจำลอง data2vec ทำงานได้ดีกว่าแบบจำลอง RoBERTa ที่ใช้การทำเครื่องหมายแบบสุ่ม
        • แบบจำลอง data2vec เป็นแบบจำลองการประมวลผลภาษาธรรมชาติที่ประสบความสำเร็จครั้งแรกที่ไม่ใช้หน่วยที่ไม่ต่อเนื่องกัน เช่น ตัวอักษร คำ หรือคำย่อยเป็นวัตถุประสงค์การเรียนรู้ แทนที่จะคาดการณ์วัตถุประสงค์ที่มีการทำเครื่องหมายแบบสุ่ม แบบจำลอง data2vec คาดการณ์การแสดงผลแบบ 潜伏ที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายที่มีการทำเครื่องหมายท