Transformer Neural Networks อธิบาย

Transformer Neural Networks อธิบาย

Transformer เป็นแบบจำลองการเรียนรู้ของเครื่องจักรที่เชี่ยวชาญในการประมวลผลและตีความข้อมูลลำดับ ทำให้เหมาะสำหรับการประมวลผลภาษาธรรมชาติ เพื่อทำความเข้าใจแบบจำลองการเรียนรู้ของเครื่องจักร Transformer และวิธีการทำงานของมัน ให้เรามาดูแบบจำลอง Transformer และกลไกที่ขับเคลื่อนมัน

บทความนี้จะครอบคลุม:

• แบบจำลอง Sequence-to-Sequence
• สถาปัตยกรรม Transformer Neural Network
• กลไก Attention
• ความแตกต่างระหว่าง Transformer และ RNNs/LSTMs

แบบจำลอง Sequence-to-Sequence

แบบจำลอง Sequence-to-Sequence เป็นแบบจำลอง NLP ที่ใช้ในการแปลงลำดับของหนึ่งประเภทเป็นลำดับของอีกประเภทหนึ่ง มีหลายประเภทของแบบจำลอง Sequence-to-Sequence เช่น Recurrent Neural Network และ Long Short-Term Memory (LSTM)

แบบจำลอง Sequence-to-Sequence แบบดั้งเดิม เช่น RNNs และ LSTMs ไม่ใช่จุดสนใจของบทความนี้ แต่การทำความเข้าใจพวกมันจำเป็นต่อการประเมินว่าแบบจำลอง Transformer ทำงานอย่างไรและทำไมพวกมันจึงเหนือกว่าแบบจำลอง Sequence-to-Sequence แบบดั้งเดิม

โดยทั่วไป แบบจำลอง RNN และ LSTM ประกอบด้วยเครือข่าย Encoder และ Decoder ที่วิเคราะห์ข้อมูลเข้าในแต่ละขั้นตอน เครือข่าย Encoder มีหน้าที่สร้างการแสดงผลที่เข้ารหัสของคำในข้อมูลเข้า ในแต่ละขั้นตอน เครือข่าย Encoder จะรับข้อมูลเข้าและสถานะที่ซ่อนอยู่จากขั้นตอนก่อนหน้าในซีรีส์ สถานะที่ซ่อนอยู่จะถูกอัปเดตเมื่อข้อมูลผ่านเครือข่ายจนถึงขั้นตอนสุดท้าย ซึ่ง “เวกเตอร์บริบท” จะถูกสร้างขึ้น เวกเตอร์บริบทจะถูกส่งไปยังเครือข่าย Decoder ซึ่งใช้ในการสร้างลำดับเป้าหมายโดยการคาดเดาคำที่น่าจะเป็นไปได้มากที่สุดซึ่งจับคู่กับคำเข้าสำหรับขั้นตอนเวลาที่เกี่ยวข้อง

แบบจำลองเหล่านี้สามารถเพิ่มประสิทธิภาพได้โดยใช้ “กลไก Attention” กลไก Attention นิยามว่าควรให้ความสนใจกับส่วนใดของเวกเตอร์เข้าเมื่อสร้างการเข้ารหัสสำหรับคำใดคำหนึ่ง กลไก Attention ช่วยให้แบบจำลอง Transformer สามารถประมวลผลคำหนึ่งๆ ในขณะที่ให้ความสนใจกับข้อมูลที่เกี่ยวข้องที่มีในคำอื่นๆ

สถาปัตยกรรม Transformer Neural Network

เราจะกล่าวถึงกลไก Attention ในรายละเอียดต่อไป แต่สำหรับตอนนี้ มาดู สถาปัตยกรรม Transformer Neural Network ในระดับสูง

โดยทั่วไป สถาปัตยกรรม Transformer Neural Network มีลักษณะดังนี้:

แม้ว่าสถาปัตยกรรมทั่วไปอาจเปลี่ยนแปลงระหว่างเครือข่าย แต่ส่วนประกอบหลักจะยังคงเหมือนเดิม: การเข้ารหัสตำแหน่ง, เวกเตอร์คำ, กลไก Attention, เครือข่ายประสาทเทียมแบบฟีดฟอร์เวิร์ด

การเข้ารหัสตำแหน่งและเวกเตอร์คำ

Transformer Neural Network ทำงานโดยการรับลำดับของข้อมูลเข้าและแปลงข้อมูลเหล่านั้นเป็นสองลำดับอื่น Transformer สร้างลำดับของเวกเตอร์คำและเวกเตอร์การเข้ารหัสตำแหน่ง

เวกเตอร์คำ เป็นเพียงข้อความที่แสดงในรูปแบบตัวเลขที่เครือข่ายประสาทเทียมสามารถประมวลผลได้ ในขณะที่เวกเตอร์การเข้ารหัสตำแหน่งเป็นตัวแทนเวกเตอร์ที่มีข้อมูลเกี่ยวกับตำแหน่งของคำปัจจุบันในประโยคที่มีต่อคำอื่นๆ

แบบจำลองประสาทเทียมอื่นๆ เช่น RNNs และ LSTMs ใช้เวกเตอร์เพื่อแสดงคำในข้อมูลเข้า เวกเตอร์เหล่านี้จะแสดงคำเป็นค่าคงที่ แต่นี่เป็นการจำกัดเพราะคำสามารถใช้ในบริบทที่แตกต่างกันได้ เครือข่าย Transformer ช่วยแก้ปัญหานี้โดยการทำให้ค่าคำยืดหยุ่นได้โดยใช้ฟังก์ชันไซนูสอยดัลเพื่อให้เวกเตอร์คำสามารถมีค่าแตกต่างกันไปตามตำแหน่งของคำในประโยค

สิ่งนี้ช่วยให้แบบจำลองสามารถรักษาข้อมูลเกี่ยวกับตำแหน่งสัมพัทธ์ของคำเข้าได้แม้หลังจากที่เวกเตอร์ผ่านชั้นของเครือข่าย Transformer

เวกเตอร์การเข้ารหัสตำแหน่งและเวกเตอร์คำจะถูกบวกเข้าด้วยกันแล้วส่งไปยังเครือข่าย Encoder และ Decoder ทั้งสองเครือข่าย ในขณะที่เครือข่าย Transformer ใช้สกีม่า Encoder/Decoder เช่นเดียวกับ RNNs และ LSTMs แต่สิ่งที่แตกต่างคือทั้งข้อมูลเข้าจะถูกส่งเข้าเครือข่ายในเวลาเดียวกัน ในขณะที่ RNNs/LSTMs ส่งข้อมูลเข้าไปทีละขั้นตอน

เครือข่าย Encoder มีหน้าที่แปลงข้อมูลเข้าเป็นรูปแบบที่เครือข่ายสามารถเรียนรู้ได้ ในขณะที่เครือข่าย Decoder แปลงการเข้ารหัสเป็นฟังก์ชันการกระจายความน่าจะเป็นที่ใช้ในการสร้างคำที่น่าจะเป็นไปได้มากที่สุดในประโยคผลลัพธ์

เนื่องจาก GPU สามารถประมวลผลข้อมูลแบบขนานได้ กลไก Attention หลายตัวจะถูกใช้ในแบบขนานเพื่อคำนวณข้อมูลที่เกี่ยวข้องสำหรับคำเข้าทั้งหมด ความสามารถในการให้ความสนใจกับคำหลายคำในเวลาเดียวกัน ซึ่งเรียกว่า “การให้ความสนใจแบบหลายหัว” ช่วยให้เครือข่ายสามารถเรียนรู้บริบทของคำในประโยคได้ และเป็นหนึ่งในข้อได้เปรียบที่เครือข่าย Transformer มีเหนือ RNNs และ LSTMs

กลไก Attention

กลไก Attention เป็นส่วนสำคัญที่สุดของเครือข่าย Transformer กลไก Attention เป็นสิ่งที่ช่วยให้แบบจำลอง Transformer ไปไกลกว่าขีดจำกัดของแบบจำลอง RNN หรือ LSTM แบบดั้งเดิม

แบบจำลอง Sequence-to-Sequence แบบดั้งเดิมจะทิ้งสถานะระหว่างทั้งหมดและใช้เฉพาะสถานะสุดท้าย/เวกเตอร์บริบทเมื่อใช้เครือข่าย Decoder เพื่อสร้างการคาดเดาเกี่ยวกับลำดับข้อมูลเข้า

การทิ้งทุกอย่างยกเว้นเวกเตอร์บริบทสุดท้ายจะทำงานได้ดีเมื่อลำดับข้อมูลเข้ามีขนาดเล็ก แต่เมื่อขนาดของลำดับข้อมูลเข้าเพิ่มขึ้น การทำงานของแบบจำลองจะย่ำแย่ลงเนื่องจากเป็นเรื่องยากที่จะสรุปลำดับข้อมูลเข้าที่ยาวเป็นเวกเตอร์เดียว

การแก้ปัญหาคือการเพิ่ม “การให้ความสนใจ” ของแบบจำลองและใช้สถานะ Encoder ระหว่างเพื่อสร้างเวกเตอร์บริบทสำหรับเครือข่าย Decoder

กลไก Attention นิยามว่าคำหรือโทเค็นข้อมูลเข้าใดที่สำคัญต่อแบบจำลองเมื่อสร้างการเข้ารหัสสำหรับโทเค็นใดๆ

กลไก Attention สามารถใช้ได้สามวิธี: Encoder-to-Decoder, Encoder-only, Decoder-only

การให้ความสนใจแบบ Encoder-to-Decoder ช่วยให้เครือข่าย Decoder พิจารณาลำดับข้อมูลเข้าเมื่อสร้างลำดับผลลัพธ์ ในขณะที่กลไก Attention แบบ Encoder-only และ Decoder-only ช่วยให้เครือข่ายพิจารณาส่วนต่างๆ ของลำดับก่อนหน้าและปัจจุบัน

การก่อสร้างกลไก Attention สามารถแบ่งออกเป็นห้าขั้นตอน:

1. การคำนวณคะแนนสำหรับทั้งหมดสถานะ Encoder
2. การคำนวณน้ำหนักการให้ความสนใจ
3. การคำนวณเวกเตอร์บริบท
4. การอัปเดตเวกเตอร์บริบทด้วยการผลิตของขั้นตอนก่อนหน้า
5. การสร้างการผลิตด้วยเครือข่าย Decoder

ขั้นตอนแรกคือให้เครือข่าย Decoder คำนวณคะแนนสำหรับทั้งหมดสถานะ Encoder ซึ่งทำได้โดยการฝึกเครือข่าย Decoder ซึ่งเป็นเครือข่ายประสาทเทียมแบบฟีดฟอร์เวิร์ดพื้นฐาน

ในการคำนวณน้ำหนักการให้ความสนใจ จะใช้ฟังก์ชันซอฟต์แมกซ์เพื่อสร้างการกระจายความน่าจะเป็นสำหรับน้ำหนักการให้ความสนใจ

หลังจากที่น้ำหนักการให้ความสนใจถูกคำนวณแล้ว เวกเตอร์บริบทจะต้องถูกคำนวณ ซึ่งทำได้โดยการคูณน้ำหนักการให้ความสนใจและสถานะที่ซ่อนอยู่เข้าด้วยกันสำหรับทุกขั้นตอน

หลังจากที่เวกเตอร์บริบทถูกคำนวณแล้ว จะถูกใช้ร่วมกับคำที่สร้างขึ้นในขั้นตอนก่อนหน้าเพื่อสร้างคำถัดไปในลำดับผลลัพธ์ เนื่องจากเครือข่าย Decoder ไม่มีการผลิตก่อนหน้าใดๆ ในขั้นตอนแรก จึงมักใช้โทเค็น “เริ่มต้น” พิเศษแทน

ความแตกต่างระหว่าง Transformer และ RNNs/LSTMs

มาดูความแตกต่างระหว่าง RNNs และ LSTMs กัน

RNNs ประมวลผลข้อมูลเข้าแบบลำดับ ในขณะที่เวกเตอร์สถานะที่ซ่อนอยู่ถูกบำรุงรักษาและเปลี่ยนแปลงโดยคำข้อมูลเข้าเมื่อผ่านเครือข่าย สถานะที่ซ่อนอยู่ของ RNN มักจะมีข้อมูลที่เกี่ยวข้องเพียงเล็กน้อยเกี่ยวกับข้อมูลเข้าในตอนต้น ซึ่งการเข้าใหม่มักจะทับซ้อนสถานะปัจจุบัน ทำให้ขาดข้อมูลและย่ำแย่ประสิทธิภาพเมื่อเวลาผ่านไป

ในทางกลับกัน แบบจำลอง Transformer ประมวลผลทั้งลำดับข้อมูลเข้าในเวลาเดียวกัน กลไก Attention ช่วยให้คำผลลัพธ์แต่ละคำได้รับข้อมูลจากทั้งคำข้อมูลเข้าและสถานะที่ซ่อนอยู่ทั้งหมด ทำให้เครือข่ายนี้น่าเชื่อถือสำหรับข้อความยาว

LSTMs เป็นรูปแบบที่ได้รับการดัดแปลงของ RNNs ที่ปรับให้เหมาะสมสำหรับการประมวลผลลำดับข้อมูลเข้าที่ยาวขึ้น สถาปัตยกรรม LSTM ใช้โครงสร้างที่เรียกว่า “เกต” ซึ่งประกอบด้วย “เกตเข้า”, “เกตออก” และ “เกตลืม” โครงสร้างที่มีเกตช่วยจัดการกับการสูญเสียข้อมูลทั่วไปของแบบจำลอง RNN

วิศวกร LSTM มักจะเพิ่มกลไก Attention เข้าไปในเครือข่าย ซึ่งทราบกันว่าสามารถปรับปรุงประสิทธิภาพของแบบจำลองได้ อย่างไรก็ตาม ในที่สุดก็พบว่ากลไก Attention เพียงอย่างเดียวสามารถปรับปรุงความแม่นยำได้ การค้นพบครั้งนี้นำไปสู่การสร้างเครือข่าย Transformer ที่ใช้กลไก Attention และการประมวลผลขนานโดยใช้ GPU