โมเดลและแพลตฟอร์ม AI

data2vec: ก้าวสำคัญของการเรียนรู้แบบกำกับตนเอง

Kunal Kejriwal
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญMeta AI อย่าง data2vec เป็นอัลกอริทึมการเรียนรู้ด้วยตนเองแบบแรกที่ทำงานได้ทั้งกับภาพ…
ดูเพิ่มเติม
  • Meta AI อย่าง data2vec เป็นอัลกอริทึมการเรียนรู้ด้วยตนเองแบบแรกที่ทำงานได้ทั้งกับภาพ ข้อความ และเสียงพูด
  • โดยทำนายการแทนข้อมูลเชิงบริบทแบบสมบูรณ์จากข้อมูลที่ถูกปิดบังบางส่วน โดยใช้โครงสร้าง Transformer เพียงแบบเดียว
  • โมเดลนี้หลีกเลี่ยงอคติที่จำเพาะต่อรูปแบบข้อมูล โดยใช้เป้าหมายการเรียนรู้แบบเดียวกันสำหรับข้อมูลทุกประเภท

แบบจำลองการเรียนรู้ของเครื่องอาศัยข้อมูลที่มีป้ายกำกับในการฝึกเป็นอย่างมาก และโดยทั่วไปการฝึกด้วยข้อมูลประเภทนี้ให้ผลลัพธ์ที่แม่นยำ แต่ข้อเสียสำคัญคือต้นทุนการทำป้ายกำกับที่สูงขึ้นตามขนาดข้อมูลฝึก ซึ่งเป็นอุปสรรคใหญ่สำหรับนักพัฒนา โดยเฉพาะโครงการขนาดใหญ่ที่มีข้อมูลจำนวนมาก

เพื่อแก้ปัญหาต้นทุนการทำป้ายกำกับ นักพัฒนาจึงเสนอแนวคิด SSL หรือการเรียนรู้แบบกำกับตนเอง (Self-Supervised Learning) ซึ่งเป็นกระบวนการที่แบบจำลองเรียนรู้ข้อมูลเข้าส่วนหนึ่งจากอีกส่วนหนึ่ง โดยใช้ความสัมพันธ์ภายในข้อมูลแทนสัญญาณการสอนจากป้ายกำกับ

นอกจากการเรียนรู้แบบกำกับตนเอง ยังมีวิธีและแบบจำลองอื่นสำหรับฝึกโดยไม่ใช้ข้อมูลที่มีป้ายกำกับ แต่ส่วนใหญ่มีข้อจำกัดสำคัญสองประการ:

  1. มักออกแบบมาสำหรับข้อมูลเพียงรูปแบบเดียว เช่น รูปภาพหรือข้อความ
  2. ต้องใช้กำลังประมวลผลสูง

ข้อจำกัดเหล่านี้ช่วยอธิบายว่าเหตุใดมนุษย์จึงเรียนรู้จากข้อมูลได้มีประสิทธิภาพกว่าแบบจำลอง AI ที่ต้องใช้แบบจำลองและข้อมูลฝึกแยกกันสำหรับรูปภาพ ข้อความ และเสียงพูด

Meta AI จึงเปิดตัว data2vec ซึ่งเป็นอัลกอริทึมการเรียนรู้แบบกำกับตนเองประสิทธิภาพสูงที่ใช้กับข้อมูลสามรูปแบบ ได้แก่ รูปภาพ ข้อความ และเสียงพูด ต้นฉบับอธิบายว่าแนวทางนี้ช่วยให้นำวิธีการเรียนรู้เดียวกันไปใช้กับการแบ่งส่วนภาพ การรู้จำเสียงพูด และการประมวลผลภาษาธรรมชาติได้

บทความนี้จะอธิบาย data2vec อย่างละเอียด ทั้งภาพรวมวิธีการ งานที่เกี่ยวข้อง สถาปัตยกรรม และผลลัพธ์ เพื่อให้เข้าใจอัลกอริทึมนี้ได้ชัดเจน

บทนำ data2vec: แนวคิดหลัก

แม้แนวคิดพื้นฐานของการเรียนรู้แบบกำกับตนเองจะใช้ได้กับข้อมูลหลายรูปแบบ แต่วัตถุประสงค์และอัลกอริทึมมักต่างกัน เพราะออกแบบมาสำหรับข้อมูลรูปแบบใดรูปแบบหนึ่ง การออกแบบเช่นนี้ทำให้อัลกอริทึมเดียวกันทำงานข้ามชนิดข้อมูลฝึกได้ไม่ดีนัก

data2vec แก้ความท้าทายนี้ด้วยวิธีการเรียนรู้เดียวกันสำหรับคอมพิวเตอร์วิทัศน์ การประมวลผลภาษาธรรมชาติ และเสียงพูด

แนวคิดหลักคือใช้ข้อมูลเข้าที่ถูกปิดบังบางส่วนเพื่อคาดการณ์ตัวแทนแฝงของข้อมูลเข้าทั้งหมด ภายใต้กระบวนการกลั่นความรู้ด้วยตนเองและสถาปัตยกรรม Transformer มาตรฐาน แทนการคาดการณ์วัตถุเฉพาะรูปแบบที่มีข้อมูลเพียงเฉพาะจุด อัลกอริทึมคาดการณ์ตัวแทนแฝงที่มีข้อมูลจากตัวอย่างฝึกหรือข้อมูลเข้าทั้งหมด

เหตุใดวงการ AI จึงต้องการ data2vec?

ต้นฉบับระบุว่าแบบจำลองการเรียนรู้แบบกำกับตนเองสร้างตัวแทนข้อมูลฝึกโดยใช้ป้ายกำกับที่มนุษย์ทำขึ้น และเชื่อมโยงตัวแทนเหล่านี้กับความก้าวหน้าของการประมวลผลภาษาธรรมชาติและคอมพิวเตอร์วิทัศน์ รวมถึงการใช้การเรียนรู้แบบไม่กำกับดูแลในงานรู้จำเสียงพูดและการเรียนรู้ของเครื่อง

อัลกอริทึมเดิมมักเน้นข้อมูลเพียงรูปแบบเดียว จึงมีสมมติฐานและการออกแบบเฉพาะรูปแบบ ซึ่งเป็นข้อจำกัดสำหรับการประยุกต์ AI ในหลายด้าน

ตัวอย่างเช่น การประมวลผลเสียงมีชุดหน่วยเสียงที่ใช้กำหนดงานเรียนรู้แบบกำกับตนเอง ส่วนคอมพิวเตอร์วิทัศน์อาจใช้การถดถอยเพื่อประมาณข้อมูลเข้า เรียนรู้โทเค็นภาพแบบไม่ต่อเนื่อง หรือเรียนรู้ตัวแทนที่ไม่เปลี่ยนแปลงตามการเพิ่มความหลากหลายของข้อมูล แม้สมมติฐานเหล่านี้มีประโยชน์ แต่ยังยากที่จะยืนยันว่าจะใช้ข้ามรูปแบบข้อมูลได้หรือไม่

data2vec มุ่งพัฒนาวิธีการสำหรับข้อมูลหลายรูปแบบ ไม่ใช่เพียงรูปแบบเดียว และไม่อาศัยการสร้างข้อมูลเข้ากลับคืนหรือการเรียนรู้แบบเปรียบต่าง (contrastive learning)

อัลกอริทึมนี้อาจเร่งความก้าวหน้าของ AI และช่วยสร้างแบบจำลองที่เรียนรู้แง่มุมต่างๆ ของสภาพแวดล้อมได้อย่างราบรื่น นักวิจัยหวังว่าจะนำไปสู่ AI และการเรียนรู้ของเครื่องที่ปรับตัวได้ดีขึ้น และทำงานที่ซับซ้อนเกินขีดความสามารถของแบบจำลองปัจจุบัน

อัลกอริทึม data2vec คืออะไร?

data2vec เป็นกรอบงานร่วมสำหรับการเรียนรู้แบบกำกับตนเองกับข้อมูลต่างรูปแบบ ได้แก่ รูปภาพ เสียงพูด และข้อความ

จุดมุ่งหมายคือทำให้แบบจำลองเรียนรู้รูปแบบทั่วไปในสภาพแวดล้อมได้ดีขึ้น โดยใช้วัตถุประสงค์การเรียนรู้เดียวกันข้ามรูปแบบข้อมูล แม้ใช้อัลกอริทึมร่วมกัน แต่ยังเรียนรู้ตัวแทนของข้อมูลแต่ละรูปแบบแยกกัน

Meta AI หวังว่าแนวทางนี้จะช่วยให้การเรียนรู้กับข้อมูลหลายรูปแบบมีประสิทธิภาพและง่ายขึ้น

data2vec ทำงานอย่างไร?

data2vec ผสานการเรียนรู้ตัวแทนเป้าหมายแฝงกับการคาดการณ์ข้อมูลที่ถูกปิดบัง โดยใช้หลายชั้นของเครือข่ายเป็นเป้าหมายเพื่อให้ตัวแทนแฝงใช้ได้ทั่วไปมากขึ้น แบบจำลองฝึกเครือข่าย Transformer มาตรฐาน ซึ่งทำงานได้ทั้งในโหมดครูและโหมดนักเรียน

ในโหมดครู แบบจำลองสร้างตัวแทนของข้อมูลเข้าเพื่อใช้เป็นเป้าหมายการฝึก ส่วนในโหมดนักเรียน จะเข้ารหัสข้อมูลเข้าที่ถูกปิดบังบางส่วนและใช้คาดการณ์ตัวแทนของข้อมูลทั้งหมด

ภาพข้างต้นแสดงกระบวนการเรียนรู้เดียวกันสำหรับข้อมูลหลายรูปแบบ ขั้นแรกสร้างตัวแทนข้อมูลเข้าในโหมดครู จากนั้นใช้การถดถอยเพื่อประมาณตัวแทนเหล่านี้จากข้อมูลเข้าที่ถูกปิดบังบางส่วน

การใช้ตัวแทนแฝงทำให้มอง data2vec เป็นการทำให้การออกแบบเฉพาะรูปแบบง่ายขึ้น เช่น การสร้างเป้าหมายด้วยการปรับข้อมูลเข้าให้เป็นมาตรฐาน หรือการเรียนรู้ชุดโทเค็นภาพที่กำหนดตายตัว อย่างไรก็ตาม ข้อแตกต่างสำคัญคือ data2vec ใช้ self-attention เพื่อให้ตัวแทนเป้าหมายมีบริบทและเป็นค่าต่อเนื่อง ขณะที่วิธีการเรียนรู้แบบกำกับตนเองอื่นใช้เป้าหมายตายตัวจากบริบทเฉพาะส่วน

data2vec: วิธีการของแบบจำลอง

แบบจำลองฝึกด้วยการคาดการณ์ตัวแทนของข้อมูลเข้าจากข้อมูลที่มองเห็นเพียงบางส่วน ในภาพ ตัวอย่างใบหน้าสุนัขถูกปิดบัง เสียงบันทึกบางช่วงถูกปิดบัง และคำว่า with ถูกปิดบังในข้อความ

ขั้นแรกเข้ารหัสตัวอย่างฝึกที่ถูกปิดบังในโหมดนักเรียน แล้วเข้ารหัสตัวอย่างที่ไม่ถูกปิดบังเพื่อสร้างเป้าหมายการฝึกด้วยแบบจำลองเดียวกัน แต่ใช้พารามิเตอร์ที่เป็นค่าเฉลี่ยเคลื่อนที่แบบเลขชี้กำลังของน้ำหนักในโหมดครู ตัวแทนเป้าหมายจึงมีข้อมูลจากตัวอย่างฝึกทั้งหมด และงานของนักเรียนคือคาดการณ์ตัวแทนนี้จากข้อมูลเข้าเพียงบางส่วน

สถาปัตยกรรมของแบบจำลอง

data2vec ใช้สถาปัตยกรรม Transformer มาตรฐานร่วมกับการเข้ารหัสข้อมูลเข้าเฉพาะแต่ละรูปแบบ สำหรับคอมพิวเตอร์วิทัศน์ ใช้วิธีของ ViT แบ่งภาพเป็นลำดับแพตช์ขนาด 16×16 พิกเซล แล้วแปลงแต่ละแพตช์เชิงเส้น

สำหรับเสียงพูด ใช้โครงข่ายประสาทแบบคอนโวลูชันหนึ่งมิติหลายชั้น แปลงรูปคลื่น 16 kHz เป็นตัวแทนที่ความถี่ 50 Hz ส่วนข้อความจะผ่านการประมวลผลล่วงหน้าเพื่อแยกหน่วยคำย่อย แล้วแทนด้วยเวกเตอร์ embedding ในปริภูมิตัวแทน

การปิดบังข้อมูล

หลังแปลงข้อมูลเข้าเป็นลำดับโทเค็น แบบจำลองจะปิดบังบางหน่วยด้วยเวกเตอร์โทเค็นพิเศษก่อนส่งเข้า Transformer สำหรับภาพ ใช้การปิดบังเป็นบล็อก สำหรับเสียง ใช้ตัวแทนเสียงแฝงเพื่อปิดบังช่วงของข้อมูลเสียง และสำหรับภาษา ใช้การปิดบังโทเค็น

เป้าหมายการฝึก

data2vec คาดการณ์ตัวแทนของตัวอย่างที่ไม่ถูกปิดบังจากการเข้ารหัสตัวอย่างที่ถูกปิดบัง โดยคาดการณ์เฉพาะตำแหน่งเวลาที่ถูกปิดบัง

ตัวแทนที่คาดการณ์มีบริบท ไม่ได้เข้ารหัสเพียงตำแหน่งเวลานั้น แต่รวมข้อมูลอื่นในตัวอย่างด้วย เพราะใช้ self-attention ใน Transformer ลักษณะนี้ต่างจาก BERT, wav2vec, BEiT, SimMIM, MAE และ MaskFeat ซึ่งคาดการณ์เป้าหมายโดยไม่มีข้อมูลบริบทในลักษณะเดียวกัน

ต่อไปคือวิธีกำหนดพารามิเตอร์โหมดครู เพื่อสร้างตัวแทนเครือข่ายที่ใช้เป็นเป้าหมาย

การกำหนดพารามิเตอร์ของครู

การเข้ารหัสตัวอย่างที่ไม่ถูกปิดบังใช้ EMA หรือค่าเฉลี่ยเคลื่อนที่แบบเลขชี้กำลัง ของพารามิเตอร์แบบจำลอง θ โดยน้ำหนักในโหมดเป้าหมาย ∆ เป็นดังนี้:

∆ ← τ∆ + (1 − τ ) θ

กำหนดให้ τ เพิ่มเชิงเส้นจาก τ0 ถึงค่าเป้าหมาย τe ในช่วง τn รอบการปรับปรุงแรก จากนั้นคงค่าไว้จนจบการฝึก กลยุทธ์นี้ปรับครูมากกว่าในช่วงเริ่มต้นที่แบบจำลองยังเป็นแบบสุ่ม และปรับน้อยลงเมื่อเรียนรู้พารามิเตอร์ที่ดีแล้ว

ผลลัพธ์แสดงว่าการใช้พารามิเตอร์ของตัวเข้ารหัสคุณลักษณะและตัวเข้ารหัสตำแหน่งร่วมกันระหว่างโหมดครูกับนักเรียนช่วยเพิ่มประสิทธิภาพและความแม่นยำ

การสร้างเป้าหมาย

เป้าหมายการฝึกสร้างจากผลลัพธ์ของบล็อกบนสุด K บล็อกในเครือข่ายครู สำหรับตำแหน่งเวลาที่ถูกปิดบังในโหมดนักเรียน กำหนดผลลัพธ์ของบล็อก l ณ เวลา t เป็น a_lt แล้วปรับแต่ละบล็อกให้เป็นมาตรฐานเพื่อได้ â_lt ก่อนเฉลี่ยบล็อกบนสุด K บล็อก:

ผลที่ได้คือเป้าหมาย y_t สำหรับเวลา t ของเครือข่ายที่มีทั้งหมด L บล็อก ซึ่งนักเรียนต้องประมาณด้วยการถดถอย การทดลองเบื้องต้นพบว่าการคาดการณ์แต่ละบล็อกแยกกันด้วยการฉายเฉพาะให้ผลดีและมีประสิทธิภาพมากขึ้น

การปรับเป้าหมายให้เป็นมาตรฐานช่วยป้องกันการยุบตัวเป็นตัวแทนค่าคงที่และไม่ให้ชั้นที่มีค่าสูงครอบงำคุณลักษณะเป้าหมาย สำหรับเสียงพูด ใช้ instance normalization กับตัวอย่างข้อมูลเข้าปัจจุบันโดยไม่มีพารามิเตอร์ที่ต้องเรียนรู้ เนื่องจากระยะก้าวของข้อมูลเข้ามีน้อย ตัวแทนที่อยู่ติดกันจึงสัมพันธ์กันสูง

สำหรับคอมพิวเตอร์วิทัศน์และภาษา การปรับให้เป็นมาตรฐานโดยไม่มีพารามิเตอร์ก็เพียงพอ ปัญหานี้อาจแก้ด้วยการทำ regularization แบบ Variance-Invariance-Covariance ได้เช่นกัน แต่แนวทางข้างต้นให้ผลดีโดยไม่เพิ่มพารามิเตอร์

ฟังก์ชันวัตถุประสงค์

สำหรับเป้าหมายที่มีบริบท y_t แบบจำลองใช้ฟังก์ชันการสูญเสีย Smooth L1 เพื่อประมาณเป้าหมายด้วยการถดถอยตามสมการ:

β ควบคุมการเปลี่ยนจากการสูญเสียแบบกำลังสองไปสู่ L1 โดยขึ้นกับขนาดความต่างระหว่างการคาดการณ์ f_t(x) ณ เวลา t กับเป้าหมาย ข้อดีคือไวต่อค่าผิดปกติน้อยกว่า แต่ยังจำเป็นต้องปรับค่า β

การตั้งค่าการทดลอง

ทดลองกับสองขนาด ได้แก่ data2vec Large และ data2vec Base เพื่อเสถียรภาพเชิงตัวเลข จึงอัปเดต EMA ด้วย fp32 แบบจำลองมีบล็อก Transformer L=12 หรือ L=24 และมิติซ่อน H=768 หรือ H=1024 ต่อไปเป็นการตั้งค่าสำหรับแต่ละรูปแบบข้อมูล

คอมพิวเตอร์วิทัศน์

ภาพขนาด 224×224 พิกเซลแบ่งเป็นแพตช์ 16×16 พิกเซล แปลงแต่ละแพตช์เชิงเส้นแล้วส่งลำดับตัวแทน 196 ตำแหน่งเข้า Transformer มาตรฐาน

ตามแนวทาง BEiT ปิดบังบล็อกของแพตช์ที่อยู่ติดกัน บล็อกหนึ่งมีอย่างน้อย 16 แพตช์และอัตราส่วนภาพแบบสุ่ม แต่ data2vec ปิดบัง 60% แทน 40% ของ BEiT เพื่อเพิ่มความแม่นยำ

ใช้การสุ่มปรับขนาดภาพที่ครอป พลิกแนวนอน และเปลี่ยนสี โดยครูกับนักเรียนใช้ภาพที่ผ่านการแปลงเดียวกัน

ViT-B ฝึกล่วงหน้า 800 เอพ็อก ใช้แบตช์ 8,192 สำหรับ ViT-L และ 2,048 สำหรับ ViT-B ใช้ Adam ร่วมกับตารางอัตราการเรียนรู้แบบ cosine หนึ่งรอบ โดยเพิ่มอัตราการเรียนรู้ช่วงต้นถึง 0.001 ใน 80 เอพ็อกสำหรับ ViT-L และ 40 เอพ็อกสำหรับ ViT-B

ทั้ง ViT-B และ ViT-L ใช้ β=2, K=6 และ τ=0.9998 คงที่โดยไม่มีตารางเปลี่ยนค่า รวมทั้งอัตรา stochastic depth เท่ากับ 0.2

สำหรับ ViT-L ต้นฉบับรายงานการฝึก 1,600 เอพ็อก โดย 800 เอพ็อกแรกใช้อัตราการเรียนรู้ 0.9998 จากนั้นเริ่มตารางใหม่และฝึกอีก 800 เอพ็อกด้วยค่า 0.9999

ในการจำแนกภาพ ใช้ค่าเฉลี่ยรวมของผลลัพธ์จากบล็อก Transformer สุดท้าย แล้วส่งให้ตัวจำแนกที่ทำ softmax จากนั้นปรับแต่ง ViT-L 50 เอพ็อก และ ViT-B 100 เอพ็อก โดยใช้ Adam และตาราง cosine พร้อมการเพิ่มอัตราการเรียนรู้ช่วงต้น

การประมวลผลเสียงพูด

ใช้ Fairseq ซึ่งเป็นชุดเครื่องมือสร้างแบบจำลองลำดับสำหรับการสรุป แปล และสร้างข้อความ รับรูปคลื่น 16 kHz ผ่านตัวเข้ารหัสคุณลักษณะที่มีคอนโวลูชันตามเวลา 512 ช่อง ขนาดเคอร์เนล (10,3,3,3,3,2,2) และระยะก้าว (5,2,2,2,2,2,2)

ผลลัพธ์ของตัวเข้ารหัสมีความถี่ 50 Hz และระยะก้าว 20 ms ขอบเขตรับข้อมูลครอบคลุม 400 จุดตัวอย่างหรือเสียง 25 ms รูปคลื่นดิบถูกปรับให้มีความแปรปรวนหนึ่งและค่าเฉลี่ยศูนย์

กลยุทธ์ปิดบังของ Base คล้ายกรอบงาน Baevski สำหรับการเรียนรู้แบบกำกับตนเองด้านรู้จำเสียงพูด เลือกตำแหน่งเริ่มต้นด้วย p=0.065 แล้วปิดบังสิบตำแหน่งเวลาถัดไป ซึ่งทำให้ลำดับฝึกทั่วไปถูกปิดบังเกือบ 49%

ระหว่างฝึก ปรับ τ เชิงเส้นโดยใช้ τo=0.999, τe=0.9999 และ τn=30,000 ใช้ Adam โดย Base มีอัตราการเรียนรู้สูงสุด 5×10-4 ตารางสามช่วงเพิ่มอัตราการเรียนรู้เชิงเส้นใน 3% แรก คงไว้ 90% ถัดมา แล้วลดเชิงเส้นใน 7% ที่เหลือ

การประมวลผลภาษาธรรมชาติ

ใช้ byte-pair encoding จำนวน 50K ประเภทในการแปลงข้อมูลเข้าเป็นโทเค็น และเรียนรู้ embedding ของแต่ละประเภท จากนั้นใช้กลยุทธ์ปิดบังแบบ BERT กับโทเค็นที่สุ่มอย่างสม่ำเสมอ 15% โดยแทน 80% ด้วยโทเค็นปิดบังที่เรียนรู้ แทน 10% ด้วยโทเค็นสุ่มจากคำศัพท์ และคงอีก 10% ไว้

ระหว่างฝึกล่วงหน้า ใช้ τo=0.999, τe=0.9999, τn=100,000, K=10 และ β=4 ใช้ Adam กับตารางสามช่วง โดยเพิ่มอัตราการเรียนรู้เชิงเส้นใน 5% แรก คงไว้ 80% ถัดมา แล้วลดเชิงเส้นใน 15% ที่เหลือ อัตราสูงสุดเท่ากับ 2×10-4

ฝึกบน GPU 16 ตัว แบตช์ขนาด 256 ลำดับ ลำดับละประมาณ 512 โทเค็น สำหรับงานปลายทาง ทดลองอัตราการเรียนรู้สี่ค่า ได้แก่ 1×10-4, 2×10-4, 3×10-4 และ 4×10-4 แล้วเลือกค่าที่ให้ผลดีที่สุดสำหรับงานประมวลผลภาษาธรรมชาติถัดไป

ผลลัพธ์

ต่อไปเป็นผลของ data2vec เมื่อใช้กลยุทธ์ข้างต้นกับข้อมูลต่างรูปแบบ

คอมพิวเตอร์วิทัศน์

ฝึกล่วงหน้าบนภาพจาก ImageNet-1K แล้วปรับแต่งด้วยข้อมูลที่มีป้ายกำกับของชุดทดสอบมาตรฐานเดียวกัน ประเมินความแม่นยำอันดับหนึ่งหรือ top-1 บนชุดตรวจสอบตามแนวปฏิบัติมาตรฐาน

แยกเปรียบเทียบการใช้แบบจำลองเรียนรู้แบบกำกับตนเองเพียงตัวเดียว กับการฝึกตัวแปลงโทเค็นภาพแยกต่างหากบนข้อมูลเพิ่มเติม หรือวิธีเรียนรู้แบบกำกับตนเองอื่น ตารางต่อไปเปรียบเทียบ data2vec กับแบบจำลองที่มีอยู่ โดยใช้ทั้ง ViT-L และ ViT-B

สรุปผลได้ดังนี้:

  • data2vec ให้ผลดีกว่างานก่อนหน้าทั้งกับ ViT-L และ ViT-B ในการตั้งค่าที่ใช้แบบจำลองเดียว
  • การคาดการณ์ตัวแทนแฝงที่มีบริบทจากข้อมูลที่ปิดบังให้ผลดีกว่าวิธีคาดการณ์เป้าหมายเฉพาะส่วน เช่น คุณลักษณะภาพที่ออกแบบไว้ พิกเซลข้อมูลเข้า หรือโทเค็นภาพ
  • ยังให้ผลดีกว่าวิธีกลั่นความรู้ด้วยตนเองที่ประมาณผลลัพธ์ชั้นสุดท้ายของเครือข่ายนักเรียน โดยรับภาพสองเวอร์ชันที่ผ่านการเพิ่มความหลากหลายต่างกัน

การประมวลผลเสียงและเสียงพูด

ฝึกด้วยเสียงประมาณ 960 ชั่วโมงจาก Librispeech (LS-960) ซึ่งเป็นเสียงพูดสะอาดจากหนังสือเสียงภาษาอังกฤษและเป็นชุดทดสอบมาตรฐานในสาขานี้

เพื่อเปรียบเทียบภายใต้ทรัพยากรต่างกัน นักวิจัยปรับแต่ง data2vec สำหรับรู้จำเสียงพูดอัตโนมัติด้วยข้อมูลที่มีป้ายกำกับตั้งแต่ไม่กี่นาทีถึงหลายชั่วโมง แล้วเปรียบเทียบกับ HuBERT และ wav2vec 2.0 ซึ่งเป็นอัลกอริทึมยอดนิยมด้านตัวแทนเสียงที่ใช้หน่วยเสียงแบบไม่ต่อเนื่อง

ตารางเปรียบเทียบประสิทธิภาพด้านการรู้จำเสียงพูดระดับคำกับแบบจำลองอื่น โดย LM หมายถึงแบบจำลองภาษาที่ใช้ถอดรหัส สรุปผลได้ดังนี้:

  • data2vec ให้ผลดีขึ้นในการตั้งค่าข้อมูลที่มีป้ายกำกับส่วนใหญ่ โดย Base ได้ประโยชน์มากที่สุดเมื่อมีข้อมูลที่มีป้ายกำกับ 10 นาที
  • แบบจำลองขนาดใหญ่ให้ผลดีกว่าอย่างชัดเจนเมื่อมีข้อมูลที่มีป้ายกำกับน้อย และให้ผลใกล้เคียงกันในชุดข้อมูลที่มีมาก เช่น 100 และ 960 ชั่วโมง เพราะประสิทธิภาพของแบบจำลองส่วนใหญ่มักอิ่มตัวเมื่อมีข้อมูลที่มีป้ายกำกับจำนวนมาก
  • เมื่อใช้เป้าหมายที่มีบริบทสมบูรณ์ ก็ไม่จำเป็นต้องเรียนรู้หน่วยข้อมูลแบบไม่ต่อเนื่อง
  • การเรียนรู้เป้าหมายที่มีบริบทระหว่างฝึกช่วยเพิ่มประสิทธิภาพโดยรวมอย่างมาก

นอกจากนี้ เพื่อทดสอบแนวทางการรู้จำเสียงพูดของ data2vec แบบจำลองยังได้รับการฝึกบนชุดทดสอบมาตรฐาน AudioSet แม้การตั้งค่าการฝึกล่วงหน้าจะคล้ายกับ Librispeech แต่กำหนด K=12 และฝึกมากกว่า 200,000 รอบการปรับปรุง โดยแต่ละแบตช์มีข้อมูลเสียงรวม 94.5 นาที

จากนั้น แบบจำลองใช้กรอบงาน DeepNorm และ การปรับข้อมูลให้เป็นมาตรฐานระดับชั้น กับเป้าหมายเพื่อช่วยให้การฝึกมีเสถียรภาพ นอกจากนี้ยังปรับแต่งแบบจำลองบนชุดข้อมูลย่อยที่สมดุล โดยใช้แบตช์ขนาด 21.3 นาทีและปรับปรุง 13,000 รอบ แบบจำลองยังใช้ Linear Softmax Pooling และเทคนิค mixup ที่มีค่าความน่าจะเป็น 0.7 จากนั้นเพิ่ม การฉายเชิงเส้นหนึ่งชุด ไปยังหมวดหมู่เสียงที่แตกต่างกัน 527 หมวด และกำหนด อัตราการเรียนรู้ของการฉาย เป็น 2e-4

นอกจากนี้ พารามิเตอร์ที่ผ่านการฝึกล่วงหน้าใช้อัตราการเรียนรู้ 3e-5 และแบบจำลองใช้เทคนิคการปิดบังข้อมูลในการปรับแต่ง ตารางด้านล่างสรุปผลลัพธ์ ซึ่งแสดงว่า data2vec ทำได้ดีกว่าการตั้งค่าที่เทียบเคียงกัน เมื่อใช้ข้อมูลฝึกล่วงหน้าและข้อมูลปรับแต่งเหมือนกัน

การประมวลผลภาษาธรรมชาติ

เพื่อวิเคราะห์ประสิทธิภาพด้านข้อความของ data2vec ใช้การตั้งค่าการฝึกแบบเดียวกับ BERT และฝึกล่วงหน้าบนชุดข้อมูลวิกิพีเดียภาษาอังกฤษมากกว่า 1 ล้านรอบการปรับปรุง โดยมีแบตช์ขนาด 256 ลำดับ จากนั้นประเมินด้วยชุดทดสอบมาตรฐาน GLUE หรือ General Language Understanding Evaluation ซึ่งรวมงานอนุมานภาษาธรรมชาติ (MNLI หรือ Multi Genre Natural Language Inference) งานวัดความคล้ายคลึงของประโยค (QQP หรือ Quora Question Pairs, MRPC หรือ Microsoft (MSFT ) Research Paragraph Corpus และ STS-B หรือ Semantic Textual Similarity Benchmark) งานวิเคราะห์ความรู้สึก (SST-2 หรือ Stanford Sentiment Treebank) และงานด้านไวยากรณ์ (CoLA)

สำหรับการปรับแต่ง data2vec ใช้ข้อมูลที่มีป้ายกำกับของแต่ละงาน และรายงานความแม่นยำเฉลี่ยบนชุดข้อมูลพัฒนา จากการปรับแต่ง 5 ครั้ง ตารางต่อไปนี้สรุปประสิทธิภาพของ data2vec ในงานประมวลผลภาษาธรรมชาติและเปรียบเทียบกับแบบจำลองอื่น

  • ข้อมูลข้างต้นแสดงว่า data2vec ทำได้ดีกว่าแบบจำลองอ้างอิง RoBERTa โดยกลยุทธ์ของ data2vec ไม่ใช้เป้าหมายแบบสุ่ม
  • data2vec เป็นแบบจำลอง NLP ที่ผ่านการฝึกล่วงหน้าซึ่งประสบความสำเร็จตัวแรกที่ไม่ใช้หน่วยข้อมูลแบบไม่ต่อเนื่อง เช่น ตัวอักษร คำ หรือคำย่อย เป็นเป้าหมายการฝึก แต่คาดการณ์ตัวแทนแฝงที่มีบริบทจากลำดับข้อความทั้งหมดที่ไม่ได้ปิดบังแทน
  • แนวทางนี้สร้างงานการเรียนรู้ที่แบบจำลองต้องคาดการณ์เป้าหมายซึ่งมีคุณสมบัติเฉพาะจากลำดับปัจจุบัน แทนการคาดการณ์ตัวแทนทั่วไปของหน่วยข้อความแต่ละหน่วยที่แยกจากกัน
  • นอกจากนี้ ชุดเป้าหมายการฝึกไม่ได้ถูกกำหนดตายตัว แบบจำลองสามารถกำหนดเป้าหมายใหม่ได้ และไม่จำกัดอยู่กับการตั้งค่าคำศัพท์แบบใดแบบหนึ่ง

Data2Vec: การศึกษาด้วยการตัดองค์ประกอบออก

การตัดองค์ประกอบออก หรือ ablation หมายถึงการนำส่วนประกอบออกจากระบบ AI และการเรียนรู้ของเครื่อง การศึกษาแบบนี้ตรวจสอบหรือวิเคราะห์ประสิทธิภาพของแบบจำลองโดยถอดส่วนประกอบสำคัญบางส่วนออก เพื่อให้นักวิจัยเข้าใจว่าส่วนนั้นมีบทบาทต่อระบบโดยรวมอย่างไร

เป้าหมายที่เฉลี่ยจากหลายชั้น

ความแตกต่างสำคัญระหว่าง data2vec กับแบบจำลองการเรียนรู้แบบกำกับตนเองอื่นคือ data2vec ใช้เป้าหมายที่ได้จากการเฉลี่ยหลายชั้นของเครือข่ายครู แนวคิดนี้มาจากข้อสังเกตว่าชั้นบนสุดของ wav2vec 2.0 ให้ผลในงานปลายทางไม่ดีเท่าชั้นกลาง

การทดลองต่อไปนี้วัดประสิทธิภาพของข้อมูลทั้งสามรูปแบบโดยเฉลี่ย K=1, 2, …, 12 ชั้น โดย K=1 หมายถึงใช้เฉพาะชั้นบนสุด เพื่อให้ดำเนินการได้เร็วขึ้น data2vec ใช้แบบจำลอง Base ที่มีทั้งหมด 12 ชั้น สำหรับการรู้จำเสียงพูด ฝึกล่วงหน้าบน Librispeech มากกว่า 200,000 รอบการปรับปรุง แล้วปรับแต่งบนส่วนข้อมูล Libri-light ที่มีป้ายกำกับ 10 ชั่วโมง สำหรับภาษาธรรมชาติ รายงานคะแนน GLUE เฉลี่ยบนชุดตรวจสอบ ส่วนคอมพิวเตอร์วิทัศน์ ฝึกล่วงหน้า 300 รอบผ่านชุดข้อมูล แล้วรายงานความแม่นยำอันดับหนึ่งบน ImageNet

ภาพข้างต้นแสดงว่าเป้าหมายจากหลายชั้นโดยทั่วไปให้ผลดีกว่าการใช้เฉพาะชั้นบนสุด K=1 ในข้อมูลทุกรูปแบบ การใช้ทุกชั้นที่มีอยู่เป็นแนวทางที่ดี เนื่องจากโครงข่ายประสาทสร้างคุณลักษณะหลายประเภท และสามารถดึงข้อมูลจากหลายชั้นมาใช้เป็นคุณลักษณะได้

การใช้คุณลักษณะจากหลายชั้นช่วยเพิ่มความแม่นยำและทำให้กระบวนการเรียนรู้แบบกำกับตนเองมีข้อมูลที่สมบูรณ์ยิ่งขึ้น

ประเภทของคุณลักษณะเป้าหมาย

บล็อก Transformer ใน data2vec มีหลายชั้น ซึ่งทั้งหมดใช้เป็นเป้าหมายได้ เพื่อวิเคราะห์ผลของชั้นต่าง ๆ ต่อประสิทธิภาพ นักวิจัยฝึกล่วงหน้าแบบจำลองเสียงบน Librispeech โดยใช้ชั้นต่างกันเป็นคุณลักษณะเป้าหมาย

ภาพด้านล่างแสดงอย่างชัดเจนว่าผลลัพธ์จากเครือข่ายส่งต่อไปข้างหน้า หรือ FFN ทำงานได้ดี ขณะที่ผลลัพธ์จากบล็อก self-attention ไม่ก่อให้เกิดแบบจำลองที่ใช้งานได้

การสร้างบริบทให้เป้าหมาย

ตัวแทนจากเครือข่ายครูใน data2vec ใช้ self-attention กับข้อมูลเข้าทั้งหมดเพื่อสร้างเป้าหมายที่มีบริบท นี่คือสิ่งที่แยก data2vec ออกจากแบบจำลองการเรียนรู้แบบกำกับตนเองอื่น ซึ่งสร้างงานการเรียนรู้ด้วยการสร้างซ้ำหรือคาดการณ์ส่วนย่อยของข้อมูลเข้า จึงเกิดคำถามว่า data2vec จำเป็นต้องใช้เป้าหมายที่มีบริบทเพื่อให้ทำงานได้ดีหรือไม่?

เพื่อตอบคำถามนี้ นักวิจัยสร้างตัวแทนเป้าหมายที่เข้าถึงข้อมูลเข้าได้เพียงส่วนที่กำหนดไว้ล่วงหน้า แทนการเข้าถึงทั้งหมด จากนั้นจำกัดกลไก self-attention ของเครือข่ายครูให้เข้าถึงบริบทโดยรอบได้เพียงบางส่วน เมื่อฝึกเสร็จแล้วจึงปรับแต่งให้ใช้บริบททั้งหมด

ภาพด้านล่างแสดงว่าขนาดบริบทที่ใหญ่ขึ้นมักทำให้ประสิทธิภาพดีขึ้น และเมื่อมองเห็นตัวอย่างข้อมูลเข้าทั้งหมด จะได้ความแม่นยำสูงสุด ซึ่งยืนยันว่า ตัวแทนเป้าหมายที่มีข้อมูลสมบูรณ์ยิ่งขึ้นสามารถให้ประสิทธิภาพที่ดีขึ้นได้

ตัวสกัดคุณลักษณะและการปิดบังข้อมูลเฉพาะแต่ละรูปแบบ

เป้าหมายหลักของ data2vec คือการออกแบบกลไกการเรียนรู้ที่เรียบง่ายและทำงานกับข้อมูลต่างรูปแบบได้ เพราะแม้แบบจำลองและกรอบงานปัจจุบันจะมีแนวทางการเรียนรู้ร่วมกัน แต่ยังใช้การปิดบังข้อมูลและตัวสกัดคุณลักษณะที่เฉพาะกับข้อมูลแต่ละรูปแบบ

การที่กรอบงานส่วนใหญ่ทำงานกับข้อมูลเพียงรูปแบบเดียวเป็นเรื่องสมเหตุสมผล เนื่องจากลักษณะของข้อมูลเข้าต่างกันอย่างมาก ตัวอย่างเช่น แบบจำลองรู้จำเสียงพูดใช้ข้อมูลเข้าความละเอียดสูง เช่น รูปคลื่น 10 kHz ซึ่งโดยทั่วไปมีตัวอย่างข้อมูลหลายพันจุด จากนั้นประมวลผลรูปคลื่นผ่านโครงข่ายประสาทแบบคอนโวลูชันหลายชั้นเพื่อให้ได้ลำดับคุณลักษณะที่ความถี่ 50 Hz

เป้าหมายที่มีโครงสร้างและบริบท

จุดแตกต่างหลักระหว่าง data2vec กับแบบจำลองคาดการณ์ข้อมูลที่ปิดบังอื่นคือ คุณลักษณะของเป้าหมายการฝึกใน data2vec มีบริบท โดยสร้างด้วย self-attention ของข้อมูลเข้าที่ปิดบังทั้งหมดในโหมดครู

กรอบงานอื่น เช่น BYOL หรือ Bootstrap Your Own Latent และ DINO ใช้ตัวแทนแฝงเช่นเดียวกับ data2vec แต่เน้นเรียนรู้ตัวแทนที่ไม่เปลี่ยนแปลงตามการแปลงข้อมูล

ข้อคิดส่งท้าย

งานล่าสุดในวงการ AI และการเรียนรู้ของเครื่องชี้ว่า สถาปัตยกรรมแบบจำลองที่เป็นแบบเดียวกันอาจเป็นแนวทางที่มีประสิทธิภาพสำหรับข้อมูลหลายรูปแบบ data2vec ใช้การเรียนรู้แบบกำกับตนเองกับข้อมูลสามรูปแบบ ได้แก่ เสียงพูด รูปภาพ และภาษา

แนวคิดหลักของ data2vec คือการใช้มุมมองข้อมูลเข้าเพียงบางส่วนเพื่อประมาณข้อมูลที่มีบริบทด้วยการถดถอย แนวทางนี้มีประสิทธิภาพ เพราะให้ผลดีกว่าแบบจำลองการเรียนรู้แบบกำกับตนเองก่อนหน้า บนชุดข้อมูล ImageNet-1K ทั้งสำหรับแบบจำลองเดี่ยว ViT-B และ ViT-L

data2vec เป็นหมุดหมายสำคัญของการเรียนรู้แบบกำกับตนเอง เพราะแสดงให้เห็นว่าการใช้วิธีการเรียนรู้เดียวกับข้อมูลหลายรูปแบบสามารถช่วยให้แบบจำลองเรียนรู้ข้ามรูปแบบได้ง่ายขึ้นจริง

Kunal Kejriwal เป็นวิศวกรแบ็กเอนด์ที่เชี่ยวชาญด้าน Python, PostgreSQL, Redis และโครงสร้างพื้นฐานคลาวด์บน GCP และ AWS. ด้วยประสบการณ์สามปีในการสร้างและขยายระบบที่ใช้งานจริง เขาเขียนเกี่ยวกับโครงสร้างพื้นฐาน AI, ระบบแบบกระจาย, และสถาปัตยกรรมที่อยู่เบื้องหลังการนำเวิร์กโหลดแมชชีนเลิร์นนิงไปใช้งาน