โมเดลภาษาขนาดใหญ่แบบ Decoder: คู่มือฉบับสมบูรณ์

โมเดลภาษาขนาดใหญ่ (LLMs) ได้ปฏิวัติภาคการประมวลผลภาษาธรรมชาติ (NLP) โดยแสดงความสามารถที่น่าประทับใจในการสร้างข้อความที่เหมือนมนุษย์ การตอบคำถาม และช่วยเหลือในงานที่เกี่ยวข้องกับภาษาหลายอย่าง ที่แก่นกลางของโมเดลเหล่านี้มี โครงสร้าง Transformer แบบ Decoder เท่านั้น ซึ่งเป็นรูปแบบหนึ่งของโครงสร้าง Transformer เดิมที่เสนอในเอกสาร “Attention is All You Need” โดย Vaswani และคณะ

โครงสร้าง Transformer: การทบทวน

ก่อนที่จะลึกเข้าไปในรายละเอียดของ LLMs แบบ Decoder เราต้องทบทวนโครงสร้าง Transformer ซึ่งเป็นพื้นฐานที่โมเดลเหล่านี้ถูกสร้างขึ้น โครงสร้าง Transformer นำเสนอแนวทางใหม่ในการสร้างแบบจำลองลำดับ โดยอาศัยกลไกการให้ความสนใจเพียงอย่างเดียวในการจับข้อมูลที่มีความสัมพันธ์ระยะไกลในข้อมูล โดยไม่ต้องใช้เลเยอร์แบบเรียกซ้ำหรือเลเยอร์แบบสัมผัส

Transformers Architecture

โครงสร้าง Transformer เดิมประกอบด้วยสองส่วนหลัก: Encoder และ Decoder Encoder จะประมวลผลลำดับข้อมูลเข้าและสร้างการแสดงผลบริบท ซึ่งจะถูกใช้โดย Decoder เพื่อสร้างลำดับผลลัพธ์ โครงสร้างนี้ถูกออกแบบมาเพื่อใช้ในงานแปลภาษา โดยที่ Encoder จะประมวลผลประโยคที่ให้มาในภาษาเดิม และ Decoder จะสร้างประโยคที่สอดคล้องกันในภาษาลูกข่าย

การให้ความสนใจตนเอง: กุญแจสู่ความสำเร็จของ Transformer

ที่แก่นกลางของ Transformer มีกลไกการให้ความสนใจตนเอง ซึ่งเป็นเทคนิคที่ทรงพลังที่ทำให้โมเดลสามารถชั่งน้ำหนักและรวมข้อมูลจากตำแหน่งต่างๆ ในลำดับข้อมูลเข้า ไม่เหมือนกับโมเดลลำดับแบบดั้งเดิมที่ประมวลผลโทเค็นเข้าแบบลำดับ การให้ความสนใจตนเองทำให้โมเดลสามารถจับข้อมูลที่มีความสัมพันธ์ระหว่างโทเค็นต่างๆ ในลำดับได้ โดยไม่คำนึงถึงตำแหน่งของโทเค็นในลำดับ

Multiquery attention

การดำเนินการให้ความสนใจตนเองสามารถแบ่งออกเป็นสามขั้นตอนหลัก:

1. การฉายภาพ Query, Key และ Value: ลำดับข้อมูลเข้าจะถูกฉายภาพออกเป็นสามการแสดงผลแยกกัน: Query (Q), Key (K) และ Value (V) การฉายภาพเหล่านี้จะได้มาจากการคูณข้อมูลเข้าด้วยเมทริกซ์น้ำหนักที่เรียนรู้
2. การคำนวณคะแนนความสนใจ: สำหรับตำแหน่งทุกตำแหน่งในลำดับข้อมูลเข้า คะแนนความสนใจจะถูกคำนวณโดยการทำดอทโปรดัคระหว่างเวกเตอร์ Query ที่สอดคล้องกับเวกเตอร์ Key ทั้งหมด คะแนนเหล่านี้แสดงถึงความเกี่ยวข้องของแต่ละตำแหน่งกับตำแหน่งที่กำลังประมวลผล
3. ผลรวมถ่วงน้ำหนักของ Value: คะแนนความสนใจจะถูกปรับขนาดโดยใช้ฟังก์ชัน Softmax และน้ำหนักความสนใจที่ได้จะถูกใช้ในการคำนวณผลรวมถ่วงน้ำหนักของเวกเตอร์ Value โดยจะสร้างการแสดงผลผลลัพธ์สำหรับตำแหน่งที่กำลังประมวลผล

การให้ความสนใจแบบหลายหัว (Multi-Head Attention) เป็นรูปแบบหนึ่งของการให้ความสนใจตนเองที่ทำให้โมเดลสามารถจับข้อมูลที่มีความสัมพันธ์ต่างๆ ได้โดยการคำนวณคะแนนความสนใจข้ามหลาย “หัว” ในแบบขนาน โดยแต่ละหัวจะมีการฉายภาพ Query, Key และ Value ของตนเอง

รูปแบบและคอนฟิกโครงสร้าง

แม้ว่าหลักการสำคัญของ LLMs แบบ Decoder จะยังคงเหมือนเดิม นักวิจัยได้สำรวจรูปแบบและคอนฟิกโครงสร้างต่างๆ เพื่อปรับปรุงประสิทธิภาพ ความมีประสิทธิภาพ และความสามารถในการทั่วไป ในส่วนนี้ เราจะสำรวจตัวเลือกโครงสร้างและผลกระทบที่ตามมา

ประเภทโครงสร้าง

LLMs แบบ Decoder สามารถแบ่งออกเป็นสามประเภทหลัก: Encoder-Decoder, Causal Decoder และ Prefix Decoder แต่ละประเภทมีรูปแบบการให้ความสนใจที่แตกต่างกัน

โครงสร้าง Encoder-Decoder

ตามโมเดล Transformer เดิม โครงสร้าง Encoder-Decoder ประกอบด้วยสองสแต็ก: Encoder และ Decoder Encoder จะใช้เลเยอร์การให้ความสนใจตนเองแบบหลายหัวที่ซ้อนกันเพื่อเข้ารหัสลำดับข้อมูลเข้าและสร้างการแสดงผลบริบท Decoder จะทำการให้ความสนใจข้ามเพื่อสร้างลำดับผลลัพธ์ โครงสร้างนี้มีประสิทธิภาพในงาน NLP หลายอย่าง แต่ LLMs ไม่หลายแบบใช้โครงสร้างนี้ เช่น Flan-T5

โครงสร้าง Causal Decoder

โครงสร้าง Causal Decoder รวมถึงการสร้างมาสก์ความสนใจที่ไม่เชื่อมโยง ซึ่งทำให้แต่ละโทเค็นเข้าสามารถให้ความสนใจกับโทเค็นเข้าในอดีตและตัวมันเองเท่านั้น โทเค็นเข้าและผลลัพธ์จะถูกประมวลผลภายใน Decoder เดียวกัน โมเดลที่มีชื่อเสียง เช่น GPT-1, GPT-2 และ GPT-3 ใช้โครงสร้างนี้ โดย GPT-3 แสดงให้เห็นถึงความสามารถในการเรียนรู้ในบริบทที่น่าประทับใจ

โครงสร้าง Prefix Decoder

โครงสร้าง Prefix Decoder หรือที่เรียกว่า Non-Causal Decoder เป็นการปรับเปลี่ยนกลไกการสร้างมาสก์ของ Causal Decoder เพื่อให้สามารถให้ความสนใจแบบสองทิศทางกับโทเค็นใน prefix และแบบไม่เชื่อมโยงกับโทเค็นที่สร้างขึ้น โครงสร้างนี้สามารถเข้ารหัสลำดับ prefix ได้แบบสองทิศทางและคาดการณ์โทเค็นผลลัพธ์แบบอัตลักษณ์โดยใช้พารามิเตอร์ที่ใช้ร่วมกัน LLMs ที่ใช้โครงสร้าง Prefix Decoder รวมถึง GLM130B และ U-PaLM

ทั้งสามโครงสร้างสามารถขยายได้โดยใช้เทคนิคการปรับขนาดแบบ Mixture-of-Experts (MoE) ซึ่งทำให้สามารถกระตุ้นการทำงานของน้ำหนักของเครือข่ายประสาทเทียมบางส่วนสำหรับข้อมูลเข้าแต่ละชุดเทคนิคนี้ถูกใช้ในโมเดล เช่น Switch Transformer และ GLaM โดยการเพิ่มจำนวนผู้เชี่ยวชาญหรือขนาดพารามิเตอร์ทั้งหมดจะแสดงให้เห็นถึงการปรับปรุงประสิทธิภาพที่สำคัญ

Transformer แบบ Decoder เท่านั้น: การยอมรับธรรมชาติแบบ Autoregressive

แม้ว่าโครงสร้าง Transformer เดิมถูกออกแบบมาเพื่อใช้ในงานแปลภาษา แต่งาน NLP หลายอย่าง เช่น การสร้างภาษาและการสร้างข้อความ สามารถถูกกำหนดให้เป็นปัญหา Autoregressive โดยที่โมเดลสร้างโทเค็นหนึ่งๆ ในแต่ละครั้ง โดยมีเงื่อนไขจากโทเค็นที่สร้างขึ้นก่อนหน้านี้

ดังนั้น โครงสร้าง Transformer แบบ Decoder เท่านั้นจึงเป็นรูปแบบที่เรียบง่ายของโครงสร้าง Transformer ซึ่งเก็บเฉพาะส่วน Decoder ไว้ โครงสร้างนี้เหมาะสำหรับงาน Autoregressive โดยที่สร้างโทเค็นผลลัพธ์หนึ่งๆ ในแต่ละครั้ง โดยอาศัยโทเค็นที่สร้างขึ้นก่อนหน้านี้เป็นบริบท

ส่วนประกอบโครงสร้างของ LLMs แบบ Decoder

แม้ว่าหลักการสำคัญของการให้ความสนใจตนเองและmasked self-attention จะยังคงเหมือนเดิม LLMs แบบ Decoder ที่ทันสมัยได้แนะนำนวัตกรรมโครงสร้างหลายอย่างเพื่อปรับปรุงประสิทธิภาพ ความมีประสิทธิภาพ และความสามารถในการทั่วไป มาทำความรู้จักกับส่วนประกอบและเทคนิคหลักๆ ที่ใช้ใน LLMs ที่ทันสมัย

การแสดงผลข้อมูลเข้า

ก่อนที่จะประมวลผลลำดับข้อมูลเข้า LLMs แบบ Decoder จะใช้เทคนิคการแบ่งคำและฝังตัวเพื่อแปลงข้อความดั้งเดิมให้เป็นการแสดงผลตัวเลขที่เหมาะสมสำหรับโมเดล

vector embedding

การแบ่งคำ: การแบ่งคำเป็นกระบวนการที่แปลงข้อความดั้งเดิมให้เป็นลำดับของโทเค็น ซึ่งอาจเป็นคำ ย่อยคำ หรือแม้แต่ตัวอักษรตัวเดียว ขึ้นอยู่กับกลยุทธ์การแบ่งคำที่ใช้ เทคนิคการแบ่งคำที่นิยมสำหรับ LLMs รวมถึงการเข้ารหัสแบบ Byte-Pair (BPE), SentencePiece และ WordPiece

บล็อกการให้ความสนใจหลายหัว

ส่วนประกอบหลักของ LLMs แบบ Decoder คือเลเยอร์การให้ความสนใจหลายหัว ซึ่งทำการดำเนินการให้ความสนใจตนเองที่มีการปิดมาสก์ เหล่านี้ถูกซ้อนกันหลายครั้ง โดยแต่ละเลเยอร์จะให้ความสนใจกับผลลัพธ์ของเลเยอร์ก่อนหน้า ทำให้โมเดลสามารถจับข้อมูลที่ซับซ้อนและความสัมพันธ์ที่เพิ่มขึ้นได้

เลเยอร์แบบฟีดฟอร์เวิร์ด

นอกเหนือจากเลเยอร์การให้ความสนใจหลายหัว LLMs แบบ Decoder ยังรวมเลเยอร์แบบฟีดฟอร์เวิร์ด ซึ่งใช้เครือข่ายประสาทเทียมแบบง่ายๆ กับตำแหน่งทุกตำแหน่งในลำดับ เหล่านี้แนะนำความไม่เชื่อมต่อและช่วยให้โมเดลเรียนรู้การแสดงผลที่ซับซ้อนมากขึ้น

การให้ความสนใจแบบกระจายและ Transformer ที่มีประสิทธิภาพ

แม้ว่ากลไกการให้ความสนใจตนเองจะมีพลัง แต่ก็มีความซับซ้อนที่เป็น二乗ต่อความยาวของลำดับ ทำให้มีค่าใช้จ่ายในการคำนวณสูงสำหรับลำดับที่ยาว เพื่อแก้ไขปัญหานี้ เทคนิคต่างๆ ถูกเสนอเพื่อลดความต้องการการคำนวณและความจำของการให้ความสนใจตนเอง ทำให้สามารถประมวลผลลำดับที่ยาวได้อย่างมีประสิทธิภาพ

ขนาดโมเดลและความสามารถในการปรับขนาด

หนึ่งในคุณลักษณะที่กำหนด LLMs ที่ทันสมัยคือขนาดที่มาก โดยจำนวนพารามิเตอร์อยู่ในช่วงจากพันล้านถึงร้อยพันล้าน การเพิ่มขนาดโมเดลเป็นปัจจัยสำคัญในการบรรลุประสิทธิภาพที่ดีที่สุด เนื่องจากโมเดลที่ใหญ่ขึ้นสามารถจับข้อมูลที่ซับซ้อนและความสัมพันธ์ได้มากขึ้น

การอนุมานและสร้างข้อความ

หนึ่งในกรณีการใช้งานหลักของ LLMs แบบ Decoder คือการสร้างข้อความ โดยที่โมเดลสร้างข้อความที่สอดคล้องและดูเป็นธรรมชาติตามคำแนะนำหรือบริบทที่ให้มา

ความก้าวหน้าและทิศทางในอนาคต

สาขาของ LLMs แบบ Decoder กำลังพัฒนาอย่างรวดเร็ว โดยมีการวิจัยและความก้าวหน้าใหม่ๆ ที่ผลักดันขอบเขตของสิ่งที่โมเดลเหล่านี้สามารถทำได้ มาทำความรู้จักกับความก้าวหน้าและทิศทางที่น่าสนใจ

สรุป

LLMs แบบ Decoder ได้กลายเป็นพลังที่เปลี่ยนแปลงภาคการประมวลผลภาษาธรรมชาติ โดยผลักดันขอบเขตของสิ่งที่เป็นไปได้ในการสร้างและเข้าใจภาษา จากจุดเริ่มต้นที่เป็นรูปแบบที่เรียบง่ายของโครงสร้าง Transformer โมเดลเหล่านี้ได้พัฒนาเป็นระบบที่ซับซ้อนและทรงพลัง โดยใช้เทคนิคและนวัตกรรมโครงสร้างล่าสุด