โมเดลและแพลตฟอร์ม AI

Salmonn: สู่ความสามารถในการฟังทั่วไปสำหรับโมเดลภาษาขนาดใหญ่

Kunal Kejriwal
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญSALMONN ผสานตัวเข้ารหัสเสียงและการพูดเข้ากับ LLM เพื่อประมวลผลดนตรี เหตุการณ์…
ดูเพิ่มเติม
  • SALMONN ผสานตัวเข้ารหัสเสียงและการพูดเข้ากับ LLM เพื่อประมวลผลดนตรี เหตุการณ์ และคำพูดโดยตรง
  • โมเดลใช้ขั้นตอนการปรับการกระตุ้นแบบใหม่เพื่อฟื้นฟูความสามารถในการใช้เหตุผลข้ามรูปแบบที่สูญเสียไประหว่างการฝึก
  • โครงสร้างของมันใช้ตัวเข้ารหัสคู่และ Q-Former เพื่อจัดแนวเสียงที่มีความยาวแปรผันกับโทเค็นข้อความ

การฟัง ซึ่งเกี่ยวข้องกับการรับรู้และทำความเข้าใจข้อมูลเสียงทั่วไป เป็นสิ่งสำคัญสำหรับตัวแทน AI ในสภาพแวดล้อมจริง ข้อมูลเสียงนี้ประกอบด้วยสามประเภทหลัก: เพลง เหตุการณ์เสียง และเสียงพูด เมื่อเร็วๆ นี้ โมเดลภาษาขนาดใหญ่ (LLM) แบบข้อความได้แสดงความสามารถที่น่าประทับใจ โดยบรรลุผลการทำงานระดับมนุษย์ในงานประมวลผลภาษาธรรมชาติ (NLP) หลายประเภท นอกจากนี้ การปรับแต่งคำสั่ง ซึ่งเป็นวิธีการฝึกอบรมโดยใช้คู่คำตอบอ้างอิงและคำสั่งผู้ใช้ ได้กลายเป็นที่นิยม วิธีการนี้ฝึกโมเดลภาษาขนาดใหญ่ให้ปฏิบัติตามคำสั่งผู้ใช้ที่เปิดกว้างได้อย่างมีประสิทธิภาพมากขึ้น อย่างไรก็ตาม การวิจัยในปัจจุบันมุ่งเน้นไปที่การเพิ่มความสามารถของโมเดลภาษาขนาดใหญ่ด้วยความสามารถในการรับรู้เนื้อหาหลายรูปแบบ

ในบทความนี้ เราจะพูดถึง SALMONN หรือ Speech Audio Language Music Open Neural Network เครือข่ายประสาทเทียมแบบเปิดสำหรับเสียงพูด เสียง ภาษา และดนตรี ซึ่งรวมตัวเข้ารหัสเสียงพูดและเสียงเข้ากับโมเดลภาษาขนาดใหญ่แบบข้อความที่ฝึกไว้ล่วงหน้าเป็นโมเดลเสียง–ข้อความหลายรูปแบบเพียงโมเดลเดียว SALMONN ช่วยให้โมเดลภาษาขนาดใหญ่เข้าใจและประมวลผลเสียงทั่วไปได้โดยตรง และให้ผลลัพธ์ที่แข่งขันได้ในงานที่ใช้ฝึก เช่น ตอบคำถามจากข้อมูลเสียง รู้จำและแปลเสียงพูด ยืนยันผู้พูด รู้จำอารมณ์ และสร้างคำบรรยายเสียงกับดนตรี เราจะสำรวจการทำงาน สถาปัตยกรรม และผลลัพธ์ในงาน NLP ต่างๆ

SALMONN: การแนะนำโมเดลภาษาขนาดใหญ่หลายรูปแบบแบบเสียง-ข้อความ

SALMONN ย่อมาจาก Speech Audio Language Music Open Neural Network และเป็นเฟรมเวิร์กโมเดลภาษาขนาดใหญ่หลายรูปแบบแบบเสียง-ข้อความที่สามารถรับรู้และเข้าใจเสียงพื้นฐานสามประเภท ได้แก่ เสียงพูด เหตุการณ์เสียง และเพลง โมเดล SALMONN ช่วยให้โมเดลภาษาขนาดใหญ่สามารถเข้าใจและประมวลผลข้อมูลเสียงทั่วไปได้โดยตรง และให้ผลการทำงานที่แข่งขันได้ในงานเสียงและพูดต่างๆ

เพื่อเพิ่มประสิทธิภาพในการทำงานทั้งพูดและไม่พูด เฟรมเวิร์ก SALMONN ใช้โครงสร้างตัวเข้ารหัสคู่ที่ประกอบด้วยตัวเข้ารหัสเสียง BEATs และตัวเข้ารหัสเสียงพูดที่มาจากโมเดล Whisper นอกจากนี้ เฟรมเวิร์ก SALMONN ยังใช้ตัวเชื่อม Q-Former ระดับหน้าต่างเป็นโมดูลเชื่อมต่อเพื่อแปลงลำดับผลลัพธ์ของตัวเข้ารหัสที่มีความยาวตัวแปรให้เป็นโทเค็นเสียงที่มีจำนวนตัวแปร และสุดท้ายบรรลุความละเอียดทางเวลาในการจัดตำแหน่งเสียง-ข้อความสูง

นอกจากนี้ เฟรมเวิร์ก SALMONN ยังใช้วิธีการ LoRA หรือการปรับตัวแบบอันดับต่ำเป็นตัวปรับข้ามโหมดเพื่อจัดแนวพื้นที่ผลลัพธ์กับพื้นที่อินพุตที่เพิ่มขึ้นในเฟรมเวิร์ก Vicuna ในการเพิ่มประสิทธิภาพเพิ่มเติม ในเฟรมเวิร์ก SALMONN ความสามารถในการทำงานข้ามโหมดที่เกิดขึ้นใหม่ซึ่งสูญเสียไประหว่างการฝึกอบรมคำสั่งเป็นเหตุผลหลักที่ทำให้เฟรมเวิร์ก SALMONN เพิ่มขั้นตอนปรับจูนการกระตุ้นด้วยตัวอย่างเพียงไม่กี่ตัวอย่าง เพื่อกู้คืนความสามารถที่เกิดขึ้นใหม่ทั่วไปของ LLM โดยความสามารถข้ามรูปแบบที่กล่าวถึงนี้หมายถึงการทำงานที่ไม่เคยพบระหว่างการฝึก นอกจากนี้ยังประเมินความสามารถในการฟังด้วยเกณฑ์ทดสอบเหตุการณ์เสียง ดนตรี และเสียงพูดสามระดับ ระดับแรกมีแปดงานที่ใช้ฝึกตามคำสั่ง เช่น การแปล การสร้างคำบรรยายเสียง และการรู้จำเสียงพูด อีกสองระดับเป็นงานที่ไม่ได้ใช้ฝึก ระดับสองมีงาน NLP จากเสียงพูดห้างาน เช่น การเติมช่องข้อมูลและการแปลเป็นภาษาที่ไม่ได้ฝึก โดยอาศัยการจัดแนวโทเค็นข้อความกับเสียงพูดหลายภาษาที่มีคุณภาพสูง ระดับสุดท้ายทดสอบการเข้าใจทั้งเสียงพูดและเสียงที่ไม่ใช่คำพูด เพื่อให้เหตุผลร่วมกันและเล่าเรื่องจากเสียง

โดยสรุป เฟรมเวิร์ก SALMONN เป็น

  1. โมเดลภาษาขนาดใหญ่หลายรูปแบบแบบเสียง-ข้อความแบบแรกที่สามารถเข้าใจและรับรู้ข้อมูลเสียงทั่วไปได้ รวมถึงเหตุการณ์เสียง เสียงพูด และเพลง
  2. ความพยายามในการวิเคราะห์ความสามารถที่เกิดขึ้นใหม่ข้ามโหมดโดยการนำปัจจัยการปรับขนาด LoRA มาใช้ และใช้ขั้นตอนปรับจูนการกระตุ้นเพิ่มเติมที่ประหยัดค่าใช้จ่ายระหว่างการฝึกเพื่อกระตุ้นความสามารถที่เกิดขึ้นใหม่ของเฟรมเวิร์ก

SALMONN: โครงสร้างและวิธีการ

ในบทนี้ เราจะมาดูโครงสร้าง วิธีการฝึกอบรม และการตั้งค่าการทดลองสำหรับเฟรมเวิร์ก SALMONN

โครงสร้างโมเดล

ในใจกลางของโครงสร้าง เฟรมเวิร์ก SALMONN จะจัดตำแหน่งและรวมผลลัพธ์จากตัวเข้ารหัสเสียงสองตัวต่อไปนี้ โดยใช้ตัวเชื่อม Q-Former ระดับหน้าต่างเป็นโมดูลเชื่อมต่อ ลำดับผลลัพธ์ที่สร้างโดย Q-Former จะถูกผสมกับคำสั่งผู้ใช้และใช้เป็นอินพุตสำหรับวิธีการปรับให้เหมาะสมด้วย LoRA เพื่อสร้างคำตอบที่ต้องการ

ตัวเข้ารหัสเสียง

เฟรมเวิร์ก SALMONN ใช้ตัวเข้ารหัสเสียงสองตัว: ตัวเข้ารหัสเสียง BEATs ที่ไม่ใช่เสียงพูด และตัวเข้ารหัสเสียงพูดที่มาจากเฟรมเวิร์ก Whisper ของ OpenAI ตัวเข้ารหัสเสียง BEATs ถูกฝึกโดยใช้วิธีเรียนรู้แบบกำกับตนเองซ้ำเป็นรอบเพื่อแยกความหมายระดับสูงของเสียงที่ไม่ใช่เสียงพูด ในขณะที่ตัวเข้ารหัสเสียงพูดถูกฝึกโดยใช้ข้อมูลที่มีการกำกับอ่อนสำหรับการรู้จำเสียงพูดและการแปลภาษา คุณลักษณะเอาต์พุตของตัวเข้ารหัสเสียงพูดเหมาะสำหรับข้อมูลเสียงพูดและเสียงรบกวนพื้นหลัง โมเดลแปลงเสียงเข้าเป็นโทเค็นก่อน แล้วปิดบังและทำนายโทเค็นระหว่างการฝึก คุณลักษณะของตัวเข้ารหัสเสียงทั้งสองนี้เสริมกันและเหมาะสำหรับทั้งเสียงพูดและไม่พูด

Q-Former ระดับหน้าต่าง

การใช้โครงสร้าง Q-Former เป็นวิธีการทั่วไปที่ใช้ในเฟรมเวิร์ก LLM เพื่อแปลงผลลัพธ์ของตัวเข้ารหัสภาพให้เป็นโทเค็นข้อความ เมื่อทำงานกับโทเค็นเสียงที่มีความยาวตัวแปร จะต้องมีการปรับเปลี่ยนบางอย่าง เฟรมเวิร์กมองเอาต์พุตของตัวเข้ารหัสภาพเป็นลำดับเอาต์พุตที่ต่อกัน และ Q-Former ใช้จำนวนคิวรีที่เรียนรู้ได้แบบคงที่เพื่อแปลงลำดับนั้นเป็นโทเค็นข้อความผ่านบล็อก Q-Former ที่ซ้อนกัน บล็อกดังกล่าวคล้ายตัวถอดรหัส Transformer แต่ตัดหน้ากากเชิงเหตุและผลในชั้น self-attention ออก และใช้จำนวนคิวรีเริ่มต้นที่คงที่แต่เรียนรู้ค่าได้

LoRA และ LLM

เฟรมเวิร์ก SALMONN ยังใช้โมเดล LLM Vicuna ซึ่งเป็นเฟรมเวิร์ก LLaMA ที่ปรับให้เหมาะสมสำหรับการปฏิบัติตามคำสั่งผู้ใช้อย่างแม่นยำและเป็นประโยชน์ วิธีการ LoRA เป็นวิธีการทั่วไปที่ใช้สำหรับการปรับให้เหมาะสมด้วยพารามิเตอร์ และใช้ในเฟรมเวิร์ก SALMONN เพื่อปรับเมทริกซ์น้ำหนักของคิวรีและค่าในชั้น self-attention อย่างมีประสิทธิภาพด้านจำนวนพารามิเตอร์

วิธีการฝึกอบรม

เฟรมเวิร์ก SALMONN ใช้วิธีการฝึกอบรมข้ามโหมดแบบสามขั้นตอน วิธีการฝึกอบรมประกอบด้วยขั้นตอนการฝึกอบรมล่วงหน้าและขั้นตอนการปรับให้เหมาะสมด้วยคำสั่ง ซึ่งรวมอยู่ในเฟรมเวิร์ก LLM ด้านภาพส่วนใหญ่ และขั้นตอนปรับจูนการกระตุ้นเพิ่มเติมเพื่อแก้ไขปัญหาการฟิตกับงานมากเกินไปที่พบในการสร้างคำบรรยายเสียงและรู้จำเสียงพูด

ขั้นตอนการฝึกอบรมล่วงหน้า

เพื่อจำกัดช่องว่างระหว่างพารามิเตอร์ที่ฝึกไว้ล่วงหน้า รวมถึงตัวเข้ารหัสและ LLM และพารามิเตอร์ที่กำหนดแบบสุ่ม รวมถึงตัวปรับและโมดูลเชื่อมต่อ เฟรมเวิร์ก SALMONN ใช้ข้อมูลการเขียนคำบรรยายเสียงและข้อมูลรู้จำเสียงพูดจำนวนมากเพื่อฝึกส่วนประกอบ LoRA และ Q-Former ล่วงหน้า งานเหล่านี้มีข้อมูลสำคัญเกี่ยวกับเนื้อหาของเหตุการณ์เสียงทั้งที่เป็นและไม่เป็นเสียงพูด โดยไม่ต้องใช้ความเข้าใจหรือการให้เหตุผลซับซ้อนเพื่อเรียนรู้การจัดแนวข้อความกับเสียง

ขั้นตอนการปรับให้เหมาะสมด้วยคำสั่ง

ขั้นตอนการปรับให้เหมาะสมด้วยคำสั่งที่ใช้ในเฟรมเวิร์ก SALMONN เหมือนกับที่ใช้ในเฟรมเวิร์ก NLP และ LLM แบบภาพ โดยใช้เหตุการณ์เสียง งานดนตรี และเสียงพูดเพื่อปรับจูนคำสั่งเสียง–ข้อความ งานได้รับการจัดลำดับความสำคัญตามการทดสอบ เช่น การรู้จำหน่วยเสียง การรู้จำเสียงพูดที่ซ้อนทับกัน และคำบรรยายดนตรี ข้อความที่จับคู่กับเสียงเป็นพื้นฐานในการสร้างคำสั่งสำหรับฝึก

การฟิตกับงานมากเกินไป

แม้ว่าจะใช้เพียงสองขั้นตอนการฝึกอบรมแรก เฟรมเวิร์ก SALMONN ก็ให้ผลลัพธ์ที่แข่งขันได้ในงานปรับให้เหมาะสมด้วยคำสั่ง แต่ประสิทธิภาพไม่ดีในการทำงานข้ามโหมด โดยเฉพาะงานที่ต้องให้เหตุผลร่วมกันข้ามรูปแบบ บางครั้งโมเดลไม่ทำตามคำสั่งและสร้างคำตอบที่ไม่เกี่ยวข้องหรือผิดพลาด ปรากฏการณ์นี้เรียกว่าการฟิตกับงานมากเกินไป จึงเพิ่มการปรับจูนการกระตุ้นเพื่อแก้ปัญหา

ขั้นตอนการปรับให้เหมาะสม

วิธีการที่มีประสิทธิภาพในการแก้ไขปัญหาการฟิตกับงานมากเกินไปคือการปรับให้เหมาะสมโมเดลภาษาข้อความที่มีเงื่อนไขด้วยคำตอบที่ยาวและหลากหลาย เช่น การเล่าเรื่องหรือการตอบคำถามจากข้อมูลเสียง จากนั้นสร้างข้อมูลฝึกเป็นคู่โดยจับคู่ข้อความกับคำบรรยายเสียง เสียงพูด หรือดนตรี

การกำหนดงาน

เพื่อประเมินความสามารถที่เกิดขึ้นใหม่ข้ามรูปแบบของ SALMONN ในแบบ zero-shot ผู้พัฒนาได้รวมงานเสียง พูด และเพลง 15 งานที่แบ่งออกเป็นสามระดับ

ระดับ 1

ในระดับแรก งานใช้สำหรับการปรับให้เหมาะสมด้วยคำสั่ง และดังนั้นจึงเป็นชุดงานที่ง่ายที่สุดสำหรับเฟรมเวิร์ก SALMONN

ระดับ 2

ระดับที่สองประกอบด้วยงานที่ไม่ได้รับการฝึกอบรม และระดับความยากสูงกว่าระดับ 1 ในระดับที่ 2 งานเป็นงาน NLP ที่รวมถึงการแยกคำสำคัญจากเสียงพูดที่ใช้ในการประเมินความแม่นยำของเฟรมเวิร์กในการแยกคำสำคัญบางคำโดยใช้เสียงพูด งานอื่นประกอบด้วยการตอบคำถามจากคำถามที่พูด (SQQA) เพื่อประเมินความรู้ทั่วไปที่นำมาใช้ตอบ การเติมช่องข้อมูลจากเสียงพูด (SF) เพื่อประเมินความถูกต้องของค่าในช่อง และงานแปลเสียงพูด (AST) สองงานจากภาษาอังกฤษเป็นเยอรมันและญี่ปุ่น

ระดับ 3

ระดับที่ 3 มีความซับซ้อนสูงสุดเมื่อเทียบกับระดับอื่นๆ และรวมถึงการให้เหตุผลร่วมกันจากเสียงพูดและเสียงอื่น (SAC) กับการเล่าเรื่องจากเสียง SAC ต้องเข้าใจคำถามในคลิปเสียง หาเหตุการณ์เสียงหรือดนตรีพื้นหลังที่เป็นหลักฐาน และสร้างเหตุผลที่เหมาะสมเพื่อตอบคำถาม ส่วนงานเล่าเรื่องต้องสร้างเรื่องที่มีความหมายจากข้อมูลในเสียงทั่วไป

ผลลัพธ์

งานระดับ 1

ตารางต่อไปนี้แสดงผลลัพธ์สำหรับงานระดับ 1 และสามารถสังเกตได้ว่าเฟรมเวิร์ก SALMONN ให้ผลลัพธ์ที่แข่งขันได้ในงานระดับ 1 โดยมีการปรับให้เหมาะสมหรือไม่

งานระดับ 2 และ 3

แม้ว่าเฟรมเวิร์ก SALMONN จะให้ผลลัพธ์ที่แข่งขันได้ในงานระดับ 1 โดยไม่ต้องปรับให้เหมาะสม แต่ไม่สามารถพูดได้เช่นเดียวกันสำหรับงานระดับ 2 และ 3 โดยไม่มีการปรับให้เหมาะสม เฟรมเวิร์ก SALMONN ต้องเผชิญกับปัญหาการฟิตกับงานมากเกินไปอย่างมากในงาน ผลลัพธ์ยิ่งลดลงในงาน SQQA, SAC และเล่าเรื่องที่เน้นปฏิสัมพันธ์หลายรูปแบบ และโมเดลทำตามคำสั่งได้ยากหากไม่มีการปรับจูนการกระตุ้น อย่างไรก็ตาม การปรับจูนดังกล่าวช่วยให้ผลลัพธ์ดีขึ้นมาก ดังภาพต่อไปนี้

การลดปัจจัยการปรับขนาด LoRA

การลดปัจจัยการปรับขนาด LoRA ประเมินผลกระทบของการใช้การลดปัจจัยการปรับขนาด LoRA ณ เวลาทดสอบ เพื่อลดการฟิตกับงานมากเกินไป ภาพต่อไปแสดงว่าการลดปัจจัยลงเหลือ 2.0 เพิ่มความสามารถในการให้เหตุผลข้ามรูปแบบในงาน ASR, PR, SQQA, เล่าเรื่อง และ SAC

การประเมินการฟิตกับงานมากเกินไป

เพื่อเน้นย้ำถึงการปรับให้เหมาะสม เฟรมเวิร์ก SALMONN วิเคราะห์การเปลี่ยนแปลงของความสับสนระหว่างสามขั้นตอนการฝึกอบรม และสามารถสังเกตได้ว่าค่า perplexity ของงานสร้างคำบรรยายเสียงอัตโนมัติ (AAC) และรู้จำเสียงพูดอัตโนมัติ (ASR) มีค่าต่ำหลังการฝึกขั้นแรก ซึ่งบ่งชี้ว่าโมเดลเรียนรู้การจัดแนวข้ามรูปแบบแล้ว

นอกจากนี้ ค่า perplexity ของงานรู้จำหน่วยเสียง (PR)ยังลดลงหลังขั้นตอนการปรับให้เหมาะสมด้วยคำสั่ง เนื่องจากขึ้นอยู่กับส่วนประกอบ LoRA ในการเรียนรู้โทเค็นเอาต์พุต แม้การปรับจูนตามคำสั่งลดค่า perplexity ของงานเล่าเรื่องและ SAC ได้ แต่ช่องว่างยังมากเกินกว่าจะทำงานสำเร็จ เว้นแต่จะเพิ่มขั้นตอนปรับจูนการกระตุ้นหรือนำส่วนประกอบ LoRA ออก

การปรับให้เหมาะสม

เฟรมเวิร์ก SALMONN ตรวจสอบวิธีการกระตุ้นการทำงานที่แตกต่างกัน รวมถึงการฝึกอบรมโมเดลในงานถามคำถามข้อความที่มีคำตอบยาว หรือใช้เรื่องราวที่เขียนด้วยเสียง หรือใช้การถอดเสียงพูดที่ยาวสำหรับงานรู้จำเสียงพูด ทั้ง Q-Former และ LoRA ถูกปรับจูนด้วยสามวิธีนี้ นอกจากนี้ยังทดลองละอินพุตเสียงและ Q-Former แล้วปรับจูน LoRA กับ Vicuna เป็นโมเดลภาษาขนาดใหญ่แบบข้อความที่ปรับตัวได้ ผลในภาพแสดงว่าการฝึก ASR ด้วยข้อความกำกับยาวไม่กระตุ้นโมเดล และการฝึก LoRA ด้วยคำสั่งข้อความเพียงอย่างเดียวสำหรับเรื่องเล่าหรือถามตอบข้อความก็ไม่กระตุ้นเช่นกัน

ความคิดสุดท้าย

ในบทความนี้ เราได้พูดถึง SALMONN หรือ Speech Audio Language Music Open Neural Network ซึ่งเป็นเฟรมเวิร์กโมเดลภาษาขนาดใหญ่หลายรูปแบบแบบเสียง-ข้อความที่สามารถรับรู้และเข้าใจเสียงพื้นฐานสามประเภท ได้แก่ เสียงพูด เหตุการณ์เสียง และเพลง โมเดล SALMONN ช่วยให้โมเดลภาษาขนาดใหญ่สามารถเข้าใจและประมวลผลข้อมูลเสียงทั่วไปได้โดยตรง และให้ผลการทำงานที่แข่งขันได้ในงานเสียงและพูดต่างๆ

เฟรมเวิร์ก SALMONN ให้ผลการทำงานที่แข่งขันได้ในงานเสียงและพูดต่างๆ รวมถึงการเขียนคำบรรยายเสียง การแปลภาษาและการรู้จำเสียงพูด และอื่นๆ และยังประยุกต์ใช้กับงานเข้าใจข้อมูลที่ไม่ได้ฝึก เช่น การแยกคำสำคัญจากเสียงพูดและการแปลเป็นภาษาที่ไม่ได้ฝึก ด้วยความสามารถเหล่านี้ เฟรมเวิร์ก SALMONN สามารถถือเป็นขั้นตอนต่อไปในการปรับปรุงความสามารถในการฟังทั่วไปของโมเดลภาษาขนาดใหญ่

Kunal Kejriwal เป็นวิศวกรแบ็กเอนด์ที่เชี่ยวชาญด้าน Python, PostgreSQL, Redis และโครงสร้างพื้นฐานคลาวด์บน GCP และ AWS. ด้วยประสบการณ์สามปีในการสร้างและขยายระบบที่ใช้งานจริง เขาเขียนเกี่ยวกับโครงสร้างพื้นฐาน AI, ระบบแบบกระจาย, และสถาปัตยกรรมที่อยู่เบื้องหลังการนำเวิร์กโหลดแมชชีนเลิร์นนิงไปใช้งาน