GPT-3: Few Shot Learning สำหรับ Language Model

ในช่วงไม่กี่ปีที่ผ่านมา อุตสาหกรรม AI และ ML ได้เห็นการพัฒนาการใช้งานระบบ NLP ที่เพิ่มขึ้นอย่างมาก เนื่องจากนักวิจัยสามารถนำแนวทางปฏิบัติของ NLP ไปใช้ได้อย่างยืดหยุ่นและไม่ขึ้นอยู่กับงานเฉพาะสำหรับการถ่ายโอนงานในภายหลัง

ในตอนแรก มีการใช้การแสดงผลแบบชั้นเดียวที่ใช้เวกเตอร์คำและถูกส่งไปยังโครงสร้างงานเฉพาะ ต่อมา มีการใช้โครงสร้าง RNN ที่ใช้การแสดงผลแบบหลายชั้นและสถานะตามบริบทเพื่อสร้างการแสดงผลที่ดีขึ้น และ最近ที่สุด เรามีโมเดลภาษาที่ถ่ายโอนได้หรือโมเดลเรคคอร์เรนต์ที่ถูกพรีเทรนซึ่งได้ลบความจำเป็นในการมีโครงสร้างงานเฉพาะโดยการปรับโมเดลเหล่านี้

โมเดลภาษาที่ถ่ายโอนได้ได้พิสูจน์แล้วว่าเป็นจุดเปลี่ยนสำคัญในอุตสาหกรรม NLP เนื่องจากได้นำไปสู่ความก้าวหน้าที่สำคัญในงานที่ท้าทาย เช่น การตอบคำถาม การอ่านความเข้าใจหรือบล็อกข้อความ การอนุมานข้อความ และอื่นๆ

อย่างไรก็ตาม แม้ว่าโมเดลภาษาที่ถ่ายโอนได้จะมีข้อดี แต่ก็มีข้อจำกัดที่สำคัญ เนื่องจากต้องการการปรับให้เหมาะสมเฉพาะงานหรือชุดข้อมูลเฉพาะงานเพื่อให้ได้ประสิทธิภาพที่ต้องการ นอกจากนี้ โมเดลภาษาที่ถ่ายโอนได้还ต้องการให้นักพัฒนาทำการปรับให้เหมาะสมชุดข้อมูลให้หลายแสนตัวอย่างที่เฉพาะเจาะจงสำหรับงานนั้น

ไม่ต้องสงสัยเลยว่าการลบข้อกำหนดสำหรับชุดข้อมูลเฉพาะงานและงานเฉพาะจะน่าพึงพอใจและเป็นประโยชน์อย่างมากสำหรับอุตสาหกรรม NLP จากหลายๆ ด้าน

ปัญหาเกี่ยวกับโมเดลภาษาที่ถ่ายโอนได้แบบพรีเทรนหรือโมเดลเรคคอร์เรนต์

• การจำกัดความเป็นไปได้และความสามารถในการใช้งาน

ประการแรกและสำคัญที่สุด คือความต้องการของชุดข้อมูลขนาดใหญ่ที่มีข้อมูลที่มีฉลากสำหรับแต่ละงาน ซึ่งจำกัดความสามารถในการใช้งานและความเป็นไปได้ของโมเดลภาษา โมเดลภาษามีการใช้งานในงานหลากหลาย เช่น การสร้างเรื่องสั้น การแก้ไขข้อผิดพลาดทางไวยกรณ์ การสร้างตัวอย่างเกี่ยวกับแนวคิด และอื่นๆ ในบางครั้ง การรวบรวมชุดข้อมูลที่มีข้อมูลที่มีฉลากขนาดใหญ่สำหรับแต่ละงานอาจเป็นงานที่ท้าทาย โดยเฉพาะอย่างยิ่งเมื่อต้องทำซ้ำสำหรับแต่ละงาน

• การเอาเปรียบความสัมพันธ์ที่ไม่แท้จริงในข้อมูลการฝึก

ข้อจำกัดและความแคบของการกระจายข้อมูลฝึกซึ่งร่วมกับความสามารถในการแสดงผลของโมเดลอาจส่งผลให้เกิดการเติบโตที่สำคัญในศักยภาพในการเอาเปรียบความสัมพันธ์ที่ไม่แท้จริงในข้อมูลการฝึก การเอาเปรียบข้อมูลการฝึกอาจส่งผลให้เกิดปัญหาในการปรับให้เหมาะสมและพรีเทรน เนื่องจากโมเดลภาษาที่ถ่ายโอนได้ถูกออกแบบมาเพื่อดูดซับข้อมูลจำนวนมากในช่วงพรีเทรน

นอกจากนี้ การทำงานกับโมเดลก่อนหน้านี้ได้แสดงให้เห็นว่าโมเดลขนาดใหญ่ไม่ได้ส่งผลให้ได้ผลลัพธ์ที่ดีทุกครั้ง นอกจากนี้ยังได้แสดงให้เห็นว่าการทำให้เหมาะสมที่ได้รับภายใต้แบบอย่างนี้อาจส่งผลให้ได้ผลลัพธ์ที่ไม่ดี เนื่องจากโมเดลมีความเฉพาะเจาะจงมากเกินไปกับข้อมูลการฝึกและไม่สามารถทำงานได้ดีในสถานการณ์ที่อยู่นอกขอบเขตของข้อมูลการฝึก

• การเปรียบเทียบกับการเรียนรู้ของมนุษย์

สุดท้ายนี้ เมื่อเปรียบเทียบกับโมเดลภาษาที่ถ่ายโอนได้ มนุษย์ไม่ต้องการชุดข้อมูลขนาดใหญ่สำหรับการเรียนรู้งานภาษาส่วนใหญ่ ในหลายๆ งาน มนุษย์สามารถเรียนรู้ได้ด้วยคำแนะนำสั้นๆ ในภาษาหรือการแสดงตัวอย่างงานภาษาเพียงเล็กน้อย

ความสามารถในการปรับตัวของมนุษย์มีประโยชน์หลายอย่าง เช่น มนุษย์สามารถเปลี่ยนระหว่างทักษะที่แตกต่างกันหรือผสมผสานทักษะเพื่อทำงานได้ดีขึ้นในภาษา ซึ่งเป็นสิ่งที่โมเดลภาษาปัจจุบันไม่สามารถทำได้

การแก้ปัญหาโดยใช้การเรียนรู้แบบเมตาและ GPT-3

วิธีแก้ปัญหาที่เป็นไปได้สำหรับปัญหาเหล่านี้คือการใช้การเรียนรู้แบบเมตา ซึ่งเป็นแนวคิดใน ML ที่สมัยใหม่ที่ช่วยให้โมเดลสามารถพัฒนาทักษะและความสามารถในการรับรู้รูปแบบที่กว้างขึ้นระหว่างการฝึก และใช้ทักษะเหล่านี้ในการปรับตัวและเรียนรู้ได้อย่างรวดเร็วเมื่อเผชิญกับงานใหม่ๆ

การเรียนรู้แบบเมตาได้รับการนำไปใช้ในโครงสร้างโมเดลภาษาโดยใช้เทคนิคที่เรียกว่า “การเรียนรู้แบบในบริบท” ซึ่งใช้ข้อความข้อมูลเข้าของโมเดลภาษาที่ถูกพรีเทรนเป็นการกำหนดงาน ในกระบวนการนี้ โมเดลจะปรับตัวให้เข้ากับคำสั่งภาษาและอาจใช้ตัวอย่างบางส่วน และจากนั้นโมเดลจะคาดการณ์ขั้นตอนต่อไปของงาน

ปัญหาหลักของการเรียนรู้แบบเมตาคือแม้ว่าจะแสดงศักยภาพที่ดี แต่ก็ยังต้องมีการปรับปรุงเพิ่มเติมเพื่อให้กลายเป็นวิธีการที่ใช้ได้จริงสำหรับการเรียนรู้ภาษา

นอกจากการเรียนรู้แบบเมตาแล้ว วิธีอื่นที่ได้รับความนิยมคือการเพิ่มความสามารถของโมเดลภาษาที่ถ่ายโอนได้ ในช่วงไม่กี่ปีที่ผ่านมา โมเดลภาษาที่ถ่ายโอนได้ได้เห็นการเพิ่มขึ้นของขนาดโมเดลอย่างมาก โดยมีโมเดล RNNS18 ที่มี 100 ล้านพารามิเตอร์ โมเดล DCLT18 ที่มี 300 ล้านพารามิเตอร์ โมเดล RWC19 ที่มี 1.5 พันล้านพารามิเตอร์ โมเดล SSP19 ที่มี 8 พันล้านพารามิเตอร์ โมเดล RSR19 ที่มี 11 พันล้านพารามิเตอร์ และโมเดล TUR20 ที่มี 17 พันล้านพารามิเตอร์

การเพิ่มความสามารถของโมเดลหรือการเพิ่มพารามิเตอร์ทางประวัติศาสตร์ได้นำไปสู่การปรับปรุงในด้านการสร้างข้อความ และมีแนวโน้มที่การลดความสูญเสียแบบลอการิทึมที่เกี่ยวข้องกับงานในภายหลังจะตามมาเมื่อขนาดโมเดลเพิ่มขึ้น

ซึ่งนำเราไปสู่โมเดล GPT-3 ที่มีพารามิเตอร์มากกว่า 175 พันล้านพารามิเตอร์ และเมื่อเปิดตัวเป็นโมเดลภาษาที่ถ่ายโอนได้ที่มีความสามารถสูงสุดในขณะนั้น มาเรียนรู้เกี่ยวกับโมเดล GPT-3 กัน

การแนะนำโมเดล GPT-3

GPT-3 เป็นโมเดลภาษาอัตลักษณ์ที่มีพารามิเตอร์มากกว่า 175 พันล้านพารามิเตอร์ที่ถูกปล่อยออกมาโดย OpenAI ในปี 2020 GPT-3 ยังถูกจัดประเภทเป็นโมเดลภาษาขนาดใหญ่ เช่นเดียวกับโมเดล GPT-2 ที่เป็นตัวเดียวกัน เป็นโมเดลทรานส์ฟอร์เมอร์ที่ใช้โครงสร้างแบบ decoder-only ที่ใช้การสร้างข้อความ

โมเดล GPT-3 วัดความสามารถในการเรียนรู้บริบทของตนเอง และโมเดล GPT-3 ถูกประเมินบนชุดข้อมูล NLP มากกว่าสองโหลและงานใหม่ๆ หลายงาน สำหรับแต่ละงาน โมเดล GPT-3 ถูกประเมินภายใต้สามเงื่อนไข

• การเรียนรู้แบบ Few Shot หรือ In-Context Learning: ใน Few Shot Learning โมเดล GPT-3 อนุญาตให้มีการกระจายที่สามารถเข้ากับหน้าต่างบริบทของโมเดลได้
• การเรียนรู้แบบ One Shot: ใน One Shot Learning โมเดลอนุญาตให้มีตัวอย่างเพียงตัวอย่างเดียว
• การเรียนรู้แบบ Zero Shot: ใน Zero Shot Learning ไม่มีตัวอย่าง และมีเพียงคำสั่งภาษาธรรมชาติที่อธิบายงานที่ให้กับโมเดล

โดยทั่วไป โมเดล GPT-3 ให้ผลลัพธ์ที่ต้องการใน Zero-Shot และ One-Shot และใน Few-Shot โมเดล GPT-3 ออกมาดีกว่าโมเดลที่ถ่ายโอนได้ที่ดีที่สุดส่วนใหญ่ นอกจากนี้ โมเดล GPT-3 ยังทำงานได้ดีใน One-Shot และ Zero-Shot สำหรับงานภาษาที่ออกแบบมาเพื่อทดสอบการให้เหตุผลหรือต้องการความสนใจอย่างรวดเร็ว เช่น การใช้คำใหม่หลังประโยคหรือการแก้ปัญหาทางคณิตศาสตร์

โมเดล GPT-3: วิธีการ

โมเดล GPT-3 ใช้วิธีการพรีเทรนที่เป็นแบบเดียวกันกับโมเดล RWC-19 ซึ่งประกอบด้วยโมเดล ข้อมูล และการฝึก และคล้ายกับกระบวนการพรีเทรนที่โมเดล RWC-19 ใช้ โมเดล GPT-3 เพิ่มขนาดโมเดล ขนาดชุดข้อมูล ความหลากหลายของชุดข้อมูล และเพิ่มระยะเวลาการฝึก

โมเดลยังใช้วิธีการเรียนรู้แบบในบริบทที่คล้ายกับโมเดล RWC-19 แต่ปรับเปลี่ยนบางสิ่งโดยการสำรวจการตั้งค่าต่างๆ สำหรับการเรียนรู้รูปแบบภายในบริบทของชุดข้อมูล

ดังนั้น มาเริ่มด้วยการสำรวจการตั้งค่าเหล่านี้และประเมินว่าโมเดล GPT-3 ทำงานอย่างไรในแต่ละการตั้งค่า

การปรับให้เหมาะสม

การปรับให้เหมาะสมเป็นวิธีการที่ใช้กันอย่างแพร่หลายในโมเดลภาษาที่ถ่ายโอนได้ และวิธีนี้เกี่ยวข้องกับการอัปเดตความหนักของโมเดลที่ถูกพรีเทรนโดยการฝึกโมเดลบนชุดข้อมูลที่มีการกำกับซึ่งเฉพาะเจาะจงสำหรับงานที่ต้องการ และใช้ตัวอย่างที่มีฉลากหลายแสนตัวอย่างในช่วงการนี้

วิธีการปรับให้เหมาะสมมีประโยชน์เพราะให้ผลลัพธ์ที่ดีในหลายๆ มาตรฐาน อย่างไรก็ตาม ข้อจำกัดหลักของการใช้วิธีการปรับให้เหมาะสมคือต้องการชุดข้อมูลใหม่และขนาดใหญ่สำหรับแต่ละงาน และมีศักยภาพในการเอาเปรียบคุณลักษณะที่ไม่แท้จริงของชุดข้อมูลการฝึก และอาจส่งผลให้ได้ผลลัพธ์ที่ไม่ดีสำหรับงานที่อยู่นอกชุดข้อมูลการฝึก

ขอบเขตปัจจุบันของโมเดล GPT-3 ไม่ได้ใช้วิธีการปรับให้เหมาะสมเนื่องจากประสิทธิภาพที่ไม่ขึ้นอยู่กับงาน แต่การปรับให้เหมาะสมสามารถใช้กับโมเดล GPT-3 ในอนาคต

Few Shot

Few Shot คือคำที่ใช้เพื่ออธิบายสถานการณ์ที่โมเดล GPT-3 ได้รับตัวอย่างบางส่วนของงานในช่วงการแทรก และไม่มีการอัปเดตความหนักของโมเดล ใน Few Shot ชุดข้อมูลมักจะมีตัวอย่างที่มีบริบทและความสมบูรณ์ที่ต้องการ (เช่น ประโยคภาษาฝรั่งเศสและคำแปลภาษาอังกฤษ) Few Shot ให้โมเดล K ตัวอย่างของบริบทและความสมบูรณ์ และจากนั้นให้โมเดลบริบทสุดท้ายและคาดหวังให้โมเดลให้ผลลัพธ์

ข้อได้เปรียบหลักของการใช้ Few Shot คือการลดความจำเป็นในการมีชุดข้อมูลเฉพาะงานและลดศักยภาพในการเรียนรู้การกระจายที่แคบจากชุดข้อมูลขนาดใหญ่ที่ถูกปรับให้เหมาะสมอย่างแคบ อย่างไรก็ตาม ข้อเสียหลักของการใช้ Few Shot คือผลลัพธ์ที่ได้รับใน Few Shot ไม่ดีและไม่ดีเท่ากับโมเดลที่ดีที่สุดอื่นๆ ที่ถูกปรับให้เหมาะสม

One Shot

ใน One Shot โมเดลได้รับตัวอย่างเพียงตัวอย่างเดียว และส่วนที่เหลือคล้ายกับ Few Shot การใช้ One Shot ในโมเดลภาษาที่ถ่ายโอนได้เป็นเพราะว่ามันเป็นวิธีที่ดีที่สุดในการสื่อสารงานให้กับมนุษย์ ในหลายๆ งาน มนุษย์ให้ตัวอย่างเพียงตัวอย่างเดียวของงานและอาจยากที่จะเข้าใจบริบทของงานหากไม่มีตัวอย่าง

Zero Shot

ใน Zero Shot ไม่มีตัวอย่าง และโมเดลได้รับคำสั่งภาษาธรรมชาติที่อธิบายงาน วิธี Zero Shot เป็นวิธีที่ให้ความสะดวกสบายสูงสุด มีความทนทาน และหลีกเลี่ยงความสัมพันธ์ที่ไม่แท้จริง แต่ก็เป็นวิธีที่ท้าทายที่สุด เนื่องจากในบางกรณี มนุษย์ยากที่จะเข้าใจบริบทของงานหากไม่เห็นตัวอย่างก่อน

อย่างไรก็ตาม สำหรับบางงาน Zero Shot เป็นวิธีที่ใกล้เคียงที่สุดกับวิธีการที่มนุษย์ทำงานกับภาษา

รูปด้านบนเปรียบเทียบ Few Shot, One Shot และ Zero Shot ในการทำงานกับงานภาษา เช่น การแปลประโยคภาษาอังกฤษเป็นภาษาฝรั่งเศส

GPT-3: โครงสร้างโมเดล

โมเดล GPT-3 ใช้โครงสร้างแบบเดียวกันกับโมเดล GPT-2 ซึ่งรวมถึงการปรับให้เหมาะสมก่อนการเรียนรู้ การเริ่มต้นแบบปรับเปลี่ยน และเทคนิคการแปลงโทเค็นแบบย้อนกลับ เช่นเดียวกับที่ใช้ในโมเดล GPT-2 โดยไม่รวมการใช้กลยุทธ์แบบย้อนกลับสำหรับแบบการดูแลที่กระจายท้องถิ่นและชั้นหนาแน่นแบบสลับกันในโครงสร้างทรานส์ฟอร์เมอร์

เพื่อศึกษาการพึ่งพาประสิทธิภาพของโมเดลต่อขนาดโมเดล นักพัฒนาจึงฝึกโมเดล 8 โมเดลที่มีขนาดต่างกันซึ่งครอบคลุมสามอันดับของขนาดตั้งแต่ 125 ล้านพารามิเตอร์จนถึงมากกว่า 175 พันล้านพารามิเตอร์ โดยโมเดลสุดท้ายคือโมเดล GPT-3 งานก่อนหน้านี้เกี่ยวกับโมเดลภาษาขนาดใหญ่แสดงให้เห็นว่าการปรับขนาดของความสูญเสียการตรวจสอบควรมีลักษณะเป็นพลังที่เรียบง่ายในฐานะขนาดเมื่อมีการฝึกที่เพียงพอ

รูปด้านบนเปรียบเทียบขนาดและโครงสร้างของโมเดล 8 โมเดลที่ใช้ในการพัฒนา GPT-3 โดยที่ n(params) หมายถึงจำนวนพารามิเตอร์ที่สามารถฝึกได้ทั้งหมด n(layers) หมายถึงจำนวนชั้นในโมเดล d(model) หมายถึงจำนวนหน่วยในแต่ละชั้นของจุดขวด และ d(head) หมายถึงมิติของหัวการดูแลแต่ละหัว หน้าต่างบริบทสำหรับแต่ละโมเดลคือ 2048 โทเค็น

นอกจากนี้ เพื่อลดการถ่ายโอนข้อมูลระหว่างโหนด โมเดลถูกแบ่งออกไปตามความลึกและความกว้างของมิติไปตาม GPU ตัวเลือกพารามิเตอร์ทางโครงสร้างสำหรับแต่ละโมเดลถูกเลือกตามความสามารถในการคำนวณและสมดุลการโหลดเพื่อเพิ่มความแม่นยำในการวางโมเดลบน GPU

ชุดข้อมูลการฝึก

โดยทั่วไป โมเดลภาษาขนาดใหญ่จะใช้ชุดข้อมูลที่มีขนาดใหญ่มากซึ่งเพิ่มขึ้นอย่างมากในช่วงไม่กี่ปีที่ผ่านมา และสิ้นสุดด้วยชุดข้อมูล Common Crawl ซึ่งมีคำมากกว่า 1 ล้านล้านคำ ขนาดของชุดข้อมูลนี้เพียงพอสำหรับการฝึกโมเดล GPT-3 โดยไม่ต้องอัปเดตบนลำดับเดียวกันหลายครั้ง อย่างไรก็ตาม การศึกษาและวิเคราะห์ประสิทธิภาพแสดงให้เห็นว่าชุดข้อมูล Common Crawl ที่กรองเบาๆ หรือไม่กรองมีคุณภาพต่ำเมื่อเทียบกับชุดข้อมูลที่ดูแลอย่างดี

เพื่อแก้ไขปัญหาคุณภาพเฉลี่ยของชุดข้อมูล นักพัฒนาทำ 3 ขั้นตอนเพื่อเพิ่มคุณภาพของชุดข้อมูล

1. นักพัฒนาดาวน์โหลดและกรองชุดข้อมูล Common Crawl ตามช่วงคล้ายกับชุดข้อมูลอ้างอิงที่มีคุณภาพสูง
2. นักพัฒนาทำการลบการทำซ้ำที่ระดับเอกสารในชุดข้อมูลเพื่อรักษาความสมบูรณ์ของชุดข้อมูลที่ถูกจัดเก็บไว้เพื่อวัดความ过拟ที่มีประสิทธิภาพและป้องกันความซ้ำซ้อน
3. นักพัฒนาบวกชุดข้อมูลอ้างอิงที่มีคุณภาพสูงเข้ากับชุดข้อมูลการฝึกเพื่อเพิ่มความหลากหลายของชุดข้อมูลและเพิ่มคุณภาพ

รูปด้านล่างแสดงสัดส่วนหรือส่วนผสมสุดท้ายของชุดข้อมูลที่ใช้ในการฝึกโมเดล GPT-3 ชุดข้อมูล Common Crawl ประกอบด้วยข้อความธรรมดา 45 เทระไบต์ (TB) ก่อนการกรอง ซึ่งลดลงเหลือ 570 จิกะไบต์ (GB) หลังการกรอง ซึ่งเทียบเท่ากับมากกว่า 400 พันล้านโทเค็นแบบ byte-pair

ข้อกังวลที่สำคัญเกี่ยวกับโมเดลภาษาขนาดใหญ่ที่ถูกพรีเทรนบนข้อมูลอินเทอร์เน็ตจำนวนมากที่มีความสามารถในการจดจำและเรียนรู้เนื้อหาจำนวนมากคือความเสี่ยงในการปนเปื้อนของงานในภายหลังโดยการมีชุดข้อมูลทดสอบหรือพัฒนาที่ถูกมองเห็นในช่วงพรีเทรน เพื่อลดความเสี่ยงในการปนเปื้อนนี้ นักพัฒนาค้นหาความทับซ้อนกับชุดข้อมูลทดสอบและพัฒนาของมาตรฐานที่ศึกษาใน GPT-3 และพยายามลบความทับซ้อนเหล่านั้นออก

รูปด้านบนแสดงการคำนวณทั้งหมดที่ใช้ในการฝึกโมเดล GPT-3 โมเดลใช้กฎการปรับขนาดสำหรับโมเดลภาษาเพื่อฝึกโมเดลที่ใหญ่กว่าบนโทเค็นน้อยกว่าแบบทั่วไป ดังนั้น ทั้ง GPT-3 และ RoBERTa-Large ซึ่งมีขนาดเล็กกว่า GPT-3 ถึง 10 เท่า ต้องการการคำนวณประมาณ 50 เพตาฟล็อป/วันในช่วงพรีเทรน

การประเมิน

สำหรับการเรียนรู้แบบ Few Shot โมเดลประเมินตัวอย่างทุกตัวอย่างในชุดข้อมูลการประเมินโดยการวาดตัวอย่าง K ตัวอย่างจากชุดข้อมูลการฝึกของงานนั้นเป็นการปรับให้เหมาะสมและแบ่งด้วย 1 หรือ 2 บรรทัดใหม่ขึ้นอยู่กับงาน สำหรับ Storycloze และ LAMBADA โมเดลวาดตัวอย่างจากชุดข้อมูลพัฒนาสำหรับการประเมินบนชุดข้อมูลทดสอบเนื่องจากไม่มีชุดข้อมูลการฝึกที่มีการกำกับ สำหรับ Winograd มีเพียงชุดข้อมูลเดียว ดังนั้นตัวอย่างจึงถูกวาดจากชุดข้อมูลนั้นโดยตรง

K สามารถเป็นค่าใดๆ ตั้งแต่ 0 ถึงจำนวนโทเค็นสูงสุดที่อนุญาตโดยหน้าต่างบริบทของโมเดล ซึ่งเท่ากับ n = 2048 สำหรับโมเดลทั้งหมด และสามารถใส่ตัวอย่างได้ประมาณ 10 ถึง 100 ตัวอย่าง ค่า K ที่ใหญ่ขึ้นบ่อยครั้งให้ผลลัพธ์ที่ดีกว่า แต่ไม่ใช่ทุกครั้ง ซึ่งเป็นเหตุผลที่เมื่อโมเดลมีชุดข้อมูลทดสอบและชุดข้อมูลพัฒนาที่แยกจากกัน โมเดลจะทดสอบค่า K หลายค่าในชุดข้อมูลพัฒนาบนชุดข้อมูลทดสอบ

นอกจากนี้ สำหรับงานที่ต้องเลือกการเติมที่ถูกต้องจากตัวเลือกหลายตัว นักพัฒนาจะให้ตัวอย่าง K ตัวอย่างพร้อมบริบทและเติมตัวอย่าง และตามด้วยบริบทเพียงตัวอย่างเดียว และงานจะถูกเปรียบเทียบตามความน่าจะเป็นของโมเดลภาษา (LM) ของการเติมแต่ละครั้ง สำหรับงานที่ต้องมีการจำแนกประเภทแบบไบนารี โมเดลจะให้ตัวเลือกที่มีความหมายและชื่อที่มีความหมายมากกว่า และอาจจัดงานให้คล้ายกับโมเดล RSR และโครงสร้าง

สำหรับงานที่ต้องมีการเติมแบบอิสระ โมเดลจะใช้การค้นหาแบบบีม (beam search) พร้อมกับตัวเลือกที่เหมือนกับโครงสร้าง RSR โดยมีหน้าต่างบีมขนาด 4 และการลงโทษ 0.6 โมเดลจะถูกประเมินโดยใช้ F1 ความคล้ายคลึงกัน คะแนนแมตช์ที่ถูกต้องหรือคะแนน BLEU ขึ้นอยู่กับมาตรฐานของชุดข้อมูล

ผลลัพธ์

รูปด้านบนแสดงเส้นโค้งการฝึกสำหรับโมเดล 8 โมเดลที่ใช้ในโครงสร้าง GPT-3 ตามที่อธิบายไว้ในหัวข้อก่อนหน้า ผลลัพธ์คล้ายกับผลลัพธ์จากโมเดลภาษา KMH ซึ่งแสดงให้เห็นว่าประสิทธิภาพของโมเดล GPT-3 ติดตามกฎที่เหมาะสมเมื่อใช้การคำนวณการฝึกอย่างมีประสิทธิภาพ มีความแตกต่างเล็กน้อยจากกฎเมื่อขยายความแตกต่างออกไปอีกสองอันดับ

ก่อนที่จะประเมินโมเดล 8 โมเดลบนชุดข้อมูลการฝึกที่หลากหลาย ชุดข้อมูลจะถูกแบ่งออกเป็น 8 หมวดหมู่ที่แสดงถึงงานที่คล้ายกัน หมวดหมู่เหล่านี้คือ

1. การประเมินบนงานภาษาที่ดั้งเดิมและงานที่คล้ายกับการสร้างภาษา เช่น การเติมคำหรือการเติมประโยค/ย่อหน้า
2. การประเมินบนงานตอบคำถามแบบ “ปิดหนังสือ”
3. การประเมินความสามารถในการแปลภาษา (โดยเฉพาะ one-shot และ few-shot)
4. การประเมินบนงานที่คล้ายกับ Winograd Schema
5. การประเมินบนชุดข้อมูลที่เกี่ยวข้องกับการให้เหตุผลหรือตอบคำถามทั่วไป
6. การประเมินบนงานการอ่านความเข้าใจ
7. การประเมินบนมาตรฐาน SuperGLUE
8. การสำรวจ NLI

การสร้างภาษา การเติม และงาน Cloze

ในหัวข้อนี้ ประสิทธิภาพของโมเดล GPT-3 จะถูกประเมินบนงานภาษาที่ดั้งเดิมและงานที่ต้องคาดการณ์คำเดียวหรือเติมย่อหน้าหรือประโยคหรือส่วนหนึ่งของข้อความ มาเรียนรู้เกี่ยวกับงานเหล่านี้ในรายละเอียด

การสร้างภาษา

โมเดล GPT-3 คำนวณความสับสนแบบ zero-shot บนชุดข้อมูล PTB หรือ Penn Tree Bank โมเดลละเว้นงานที่เกี่ยวข้องกับ Wikipedia เนื่องจากถูกบรรจุในข้อมูลการฝึกของโมเดล และมาตรฐานหนึ่งพันล้านคำก็ถูกละเว้นเช่นกันเนื่องจากส่งผลให้เกิดความไม่สอดคล้องกันในชุดข้อมูล อย่างไรก็ตาม ชุดข้อมูล PTB จัดการกับปัญหานี้ได้เนื่องจากสามารถจัดทำขึ้นก่อนอินเทอร์เน็ตสมัยใหม่

โมเดลที่ใหญ่ที่สุดในโครงสร้าง GPT-3 ตั้งค่ามาตรฐานใหม่บนชุดข้อมูล PTB ด้วยความแตกต่างที่น่าสังเกต 15 คะแนน และได้ความสับสน 20.50

การเพิ่มขึ้นของความสูญเสียแบบลอการิทึมส่งผลให้ได้ผลลัพธ์ที่ดีขึ้นอย่างต่อเนื่องในงาน NLP หลากหลาย

LAMBADA

ชุดข้อมูล LAMBADA ใช้เพื่อทดสอบการสร้างแบบจำลองความสัมพันธ์ระยะไกลในย่อหน้าหรือข้อความ ซึ่งหมายความว่าโมเดลจะต้องคาดการณ์คำสุดท้ายของประโยคหลังจากอ่านย่อหน้าเพื่อเข้าใจบริบท

โมเดล GPT-3 ได้ 76% ความแม่นยำบน LAMBADA และมีผลลัพธ์ที่ดีกว่าโมเดลที่ดีที่สุดก่อนหน้านี้ถึง 8% นอกจากนี้ โมเดล LAMBADA ยังแสดงให้เห็นถึงความยืดหยุ่นของการเรียนรู้แบบ few-shot เนื่องจากสามารถแก้ไขปัญหาได้ในลักษณะที่คลาสสิกกับชุดข้อมูล

การเติมประโยคใน LAMBADA มักจะเป็นคำสุดท้ายของประโยค แต่เนื่องจากโมเดลภาษาไม่สามารถทราบได้ว่าคำสุดท้ายคืออะไร จึงมอบความน่าจะเป็นไม่เพียงแต่สำหรับการเติมที่ถูกต้องเท่านั้น แต่ยังรวมถึงการดำเนินการต่ออื่นๆ ในย่อหน้าด้วย

นอกจากนี้ เมื่อตัวอย่างที่ให้กับโมเดล GPT-3 ถูกปรับเปลี่ยนในบางวิธี โมเดลสามารถให้ผลลัพธ์ที่ถูกต้องได้ถึง 86% ซึ่งเป็นการปรับปรุงที่เพิ่มขึ้น 18% เมื่อเทียบกับโมเดลก่อนหน้า

การถามคำถามแบบปิดหนังสือ

การถามคำถามแบบปิดหนังสือเป็นความพยายามในการวัดความสามารถของโมเดล GPT-3 ในการตอบคำถามโดยอาศัยความรู้ทั่วไป เนื่องจากคำถามเหล่านี้มีคำถามที่เป็นไปได้จำนวนมาก งานจึงทำได้โดยใช้ระบบการค้นหาข้อมูลที่ช่วยให้โมเดลค้นหาข้อความที่เกี่ยวข้องและโมเดลที่เรียนรู้เพื่อสร้างคำตอบตามข้อความที่ค้นพบและคำถาม

รูปด้านบนเปรียบเทียบผลลัพธ์สำหรับโมเดล GPT-3 เทียบกับโมเดลอื่นๆ ที่ทำงานบนชุดข้อมูลต่างๆ บนชุดข้อมูล TriviaQA โมเดลได้ 64.3% ในการถามคำถามแบบ zero-shot ในขณะที่ได้ 68% และ 71.2% ใน one-shot และ few-shot ตามลำดับ

เห็นได้ชัดว่าโมเดล GPT-3 ใน zero-shot ทำงานได้ดีกว่าโมเดล T5-11B ที่ถูกปรับให้เหมาะสมถึง 14%

รูปด้านบนแสดงให้เห็นว่าประสิทธิภาพของโมเดล GPT-3 เพิ่มขึ้นอย่างราบรื่นเมื่อขนาดโมเดลเพิ่มขึ้น ผลลัพธ์เหล่านี้ชี้ให้เห็นว่าโมเดลภาษายังคงเรียนรู้จากชุดข้อมูลเมื่อความสามารถของโมเดลเพิ่มขึ้น

ความคิดสุดท้าย

สามารถพูดได้ว่า GPT-3 เป็นขั้นตอนการปฏิวัติในอุตสาหกรรม LLM เนื่องจาก GPT-3 ช่วยผลักดันขอบเขตของสิ่งที่โมเดลภาษาสามารถทำได้ และเป็นการพัฒนาที่ทำและอุปสรรคที่เอาชนะโดย GPT-3 ที่เปิดทางให้กับโมเดลภาษาขนาดใหญ่ที่ทันสมัยและแม่นยำที่สุดจนถึงปัจจุบัน คือ GPT-4