ทุกสิ่งที่คุณต้องรู้เกี่ยวกับ Llama 3 | โมเดลโอเพ่นซอร์สที่ทรงพลังที่สุด | คอนเซปต์ถึงการใช้งาน

Meta ได้เผยโฉม Llama 3 ซึ่งเป็นรุ่นต่อไปของโมเดลภาษาขนาดใหญ่ (LLM) โอเพ่นซอร์สที่มีคุณภาพสูงสุดของบริษัท โดยสร้างบนพื้นฐานที่กำหนดโดยรุ่นก่อนหน้า Llama 3 มีเป้าหมายที่จะเพิ่มความสามารถที่ทำให้ Llama 2 เป็นคู่แข่งโอเพ่นซอร์สที่สำคัญของ ChatGPT ตามที่กล่าวไว้ในบทวิจารณ์โดยรวมในบทความ Llama 2: การสำรวจลึกเกี่ยวกับคู่แข่งโอเพ่นซอร์สของ ChatGPT

ในบทความนี้ เราจะพูดถึงคอนเซปต์หลักเบื้องหลัง Llama 3 ตรวจสอบสถาปัตยกรรมและกระบวนการฝึกอบรมที่เป็นนวัตกรรมใหม่ และให้คำแนะนำเชิงปฏิบัติเกี่ยวกับวิธีการเข้าถึง ใช้ และใช้โมเดลที่เป็นนวัตกรรมใหม่นี้อย่างมีความรับผิดชอบ ไม่ว่าคุณจะเป็นนักวิจัย ผู้พัฒนา หรือผู้ที่ชื่นชอบ AI บทความนี้จะเตรียมความพร้อมให้คุณด้วยความรู้และทรัพยากรที่จำเป็นในการใช้พลังของ Llama 3 สำหรับโครงการและแอปพลิเคชันของคุณ

การพัฒนาของ Llama: จาก Llama 2 ถึง Llama 3

CEO ของ Meta Mark Zuckerberg ประกาศ การเปิดตัว Llama 3 โมเดล AI ล่าสุดที่พัฒนาโดย Meta AI โมเดลระดับแนวหน้านี้ซึ่งตอนนี้เป็นโอเพ่นซอร์ส มีเป้าหมายที่จะเพิ่มประสิทธิภาพผลิตภัณฑ์ต่างๆ ของ Meta รวมถึง Messenger และ Instagram Zuckerberg เน้นย้ำว่า Llama 3 จัดให้ Meta AI เป็นผู้ช่วย AI ที่สามารถเข้าถึงได้ฟรีที่ทันสมัยที่สุด ผู้ช่วย AI ที่สามารถเข้าถึงได้ฟรี

ก่อนที่เราจะพูดถึงรายละเอียดของ Llama 3 มาทำความรู้จักกับ Llama 2 ก่อน Llama 2 ซึ่งเปิดตัวในปี 2022 เป็น 里程碑ที่สำคัญในภูมิทัศน์ของ LLM โอเพ่นซอร์ส โดยนำเสนอโมเดลที่ทรงพลังและมีประสิทธิภาพซึ่งสามารถรันบนฮาร์ดแวร์ของผู้บริโภค

อย่างไรก็ตาม แม้ว่า Llama 2 จะเป็นความสำเร็จที่สำคัญ แต่ก็มีข้อจำกัด ผู้ใช้รายงานปัญหาเกี่ยวกับการปฏิเสธที่ไม่ถูกต้อง (โมเดลที่ปฏิเสธที่จะตอบคำสั่งเบนิน) ความเป็นประโยชน์ที่จำกัด และพื้นที่สำหรับการปรับปรุงในด้านต่างๆ เช่น การให้เหตุผลและการสร้างโค้ด

ดังนั้นจึงมี Llama 3: การตอบสนองของ Meta ต่อความท้าทายเหล่านี้และคำติชมของชุมชน ด้วย Llama 3 Meta ตั้งเป้าที่จะสร้างโมเดลโอเพ่นซอร์สที่ดีที่สุดเทียบเท่ากับโมเดลที่เป็นเจ้าของที่ดีที่สุดในปัจจุบัน ในขณะเดียวกันก็ให้ความสำคัญกับการพัฒนาและการใช้งานอย่างมีความรับผิดชอบ

Llama 3: สถาปัตยกรรมและการฝึกอบรม

หนึ่งในนวัตกรรมหลักใน Llama 3 คือ โทเคไนเซอร์ของมัน ซึ่งมีว็อกแบลรี่ที่ขยายใหญ่ขึ้นอย่างมีนัยสำคัญถึง 128,256 โทเค็น (จาก 32,000 ใน Llama 2) ว็อกแบลรี่ที่ใหญ่ขึ้นนี้ช่วยให้สามารถเข้ารหัสข้อความได้อย่างมีประสิทธิภาพทั้งสำหรับอินพุตและเอาต์พุต ซึ่งอาจนำไปสู่การปรับปรุงความสามารถหลายภาษาและประสิทธิภาพโดยรวม

Llama 3 ยังรวม การดูแลกลุ่มคำถาม (GQA) เทคนิคการแสดงข้อมูลที่มีประสิทธิภาพซึ่งเพิ่มความสามารถในการปรับขนาดและช่วยให้โมเดลจัดการบริบทที่ยาวขึ้นได้อย่างมีประสิทธิภาพ รุ่น 8B ของ Llama 3 ใช้ GQA ในขณะที่โมเดล 8B และ 70B สามารถประมวลผลลำดับได้ถึง 8,192 โทเค็น

ข้อมูลการฝึกอบรมและการปรับขนาด

ข้อมูลการฝึกอบรมที่ใช้สำหรับ Llama 3 เป็นปัจจัยสำคัญที่ทำให้ประสิทธิภาพดีขึ้น Meta ได้สร้างชุดข้อมูลขนาดใหญ่กว่า 15 ล้านล้าน โทเค็นจากแหล่งข้อมูลออนไลน์ที่มีอยู่สาธารณะ ซึ่งใหญ่กว่าชุดข้อมูลที่ใช้สำหรับ Llama 2 ถึง 7 เท่า ชุดข้อมูลนี้ยังรวมข้อมูลที่มีคุณภาพสูงมากกว่า 5% ที่ไม่ใช่ภาษาอังกฤษ ซึ่งครอบคลุมภาษา 30 ภาษา เพื่อเตรียมพร้อมสำหรับการใช้งานหลายภาษาในอนาคต

เพื่อให้แน่ใจในคุณภาพของข้อมูล Meta ใช้เทคนิคการกรองขั้นสูง รวมถึงฟิลเตอร์ฮิวริสติก ฟิลเตอร์ NSFW การลบซ้ำแบบซีแมนติก และตัวจำแนกข้อความที่ฝึกอบรมด้วย Llama 2 เพื่อคาดการณ์คุณภาพของข้อมูล ทีมงานยังดำเนินการการทดลองอย่างกว้างขวางเพื่อกำหนดส่วนผสมของแหล่งข้อมูลที่เหมาะสมที่สุดสำหรับการฝึกอบรมก่อนหน้า โดยให้ความแน่ใจว่า Llama 3 มีประสิทธิภาพดีในหลายกรณีการใช้งาน รวมถึงคำถามที่ท้าทาย STEM การเขียนโค้ด และความรู้ทางประวัติศาสตร์

การปรับขนาดการฝึกอบรมก็เป็นประเด็นสำคัญในการพัฒนา Llama 3 เช่นกัน Meta ได้พัฒนากฎการปรับขนาดที่ช่วยให้สามารถคาดการณ์ประสิทธิภาพของโมเดลที่ใหญ่ที่สุดในงานสำคัญๆ เช่น การสร้างโค้ด ก่อนการฝึกอบรมจริงๆ สิ่งนี้ช่วยให้การตัดสินใจเกี่ยวกับส่วนผสมของข้อมูลและการจัดสรรการคำนวณได้อย่างมีประสิทธิภาพมากขึ้น

โมเดลที่ใหญ่ที่สุดของ Llama 3 ถูกฝึกอบรมบนคลัสเตอร์ GPU ที่สร้างเอง 24,000 เครื่อง โดยใช้เทคนิคการขนานข้อมูล การขนานแบบโมเดล และการขนานแบบไปป์ไลน์ Meta ได้พัฒนาสแต็คการฝึกอบรมขั้นสูงซึ่งตรวจจับและจัดการข้อผิดพลาดโดยอัตโนมัติ เพิ่มเวลาใช้งาน GPU และเพิ่มประสิทธิภาพการฝึกอบรมประมาณ 3 เท่าเมื่อเทียบกับ Llama 2

การปรับแต่งคำแนะนำและการแสดงผล

เพื่อปลดปล่อยศักยภาพเต็มที่ของ Llama 3 สำหรับการแชทและแอปพลิเคชันสนทนา Meta ได้พัฒนาแนวทางใหม่ในการปรับแต่งคำแนะนำ โดยใช้ การปรับแต่งแบบดูแล (SFT) การตัวอย่างที่ปฏิเสธ การเพิ่มประสิทธิภาพนโยบายแบบพร็อกซี (PPO) และ การเพิ่มประสิทธิภาพความชอบโดยตรง (DPO)

คุณภาพของคำสั่งและอันดับความชอบที่ใช้ใน SFT และ PPO และ DPO มีบทบาทสำคัญในการแสดงผลของโมเดลที่จัดตำแหน่ง Meta ได้สร้างและตรวจสอบคุณภาพของข้อมูลเหล่านี้อย่างรอบคอบ

การฝึกอบรมบนอันดับความชอบผ่าน PPO และ DPO ยังปรับปรุงประสิทธิภาพของ Llama 3 ในงานที่ต้องใช้เหตุผลและการเขียนโค้ดอย่างมีนัยสำคัญ Meta พบว่าแม้ว่าโมเดลจะดิ้นรนในการตอบคำถามที่ต้องใช้เหตุผลโดยตรง แต่ก็ยังสามารถสร้างต้นเหตุผลที่ถูกต้องได้ การฝึกอบรมบนอันดับความชอบช่วยให้โมเดลเรียนรู้วิธีการเลือกคำตอบที่ถูกต้องจากต้นเหตุผลเหล่านี้

ผลลัพธ์แสดงให้เห็นด้วยตัวมันเอง: Llama 3 มีประสิทธิภาพเหนือกว่าโมเดลแชทโอเพ่นซอร์สหลายรุ่นที่มีอยู่ในอุตสาหกรรมบนมาตรฐานทั่วไปของอุตสาหกรรม โดยสร้างผลลัพธ์ใหม่ในระดับแนวหน้าสำหรับ LLMs ที่ขนาดพารามิเตอร์ 8B และ 70B

การพัฒนาและการใช้งานอย่างมีความรับผิดชอบ

ในขณะที่การแสวงหาการแสดงผลที่ทันสมัย Meta ยังให้ความสำคัญกับการพัฒนาและการใช้งานอย่างมีความรับผิดชอบสำหรับ Llama 3 บริษัทได้นำแนวทางระดับระบบ โดยมองเห็นโมเดล Llama 3 เป็นส่วนหนึ่งของระบบที่กว้างขึ้น ซึ่งให้ผู้พัฒนาเป็นผู้ขับเคลื่อน ช่วยให้พวกเขาสามารถออกแบบและปรับแต่งโมเดลสำหรับกรณีการใช้งานและข้อกำหนดด้านความปลอดภัยเฉพาะของตนเอง

Meta ได้ดำเนินการฝึกอบรมแบบแดงอย่างกว้างขวาง ประเมินแบบก้าวร้าว และใช้เทคนิคการบรรเทาความปลอดภัยเพื่อลดความเสี่ยงที่เหลืออยู่ในโมเดลที่ปรับแต่งคำแนะนำ อย่างไรก็ตาม บริษัทตระหนักว่าความเสี่ยงที่เหลืออยู่อาจยังคงอยู่ และแนะนำให้ผู้พัฒนาควรประเมินความเสี่ยงเหล่านี้ในบริบทของกรณีการใช้งานเฉพาะ

เพื่อสนับสนุนการปรับใช้อย่างมีความรับผิดชอบ Meta ได้อัปเดตคู่มือการใช้งานอย่างมีความรับผิดชอบ โดยให้ทรัพยากรที่ครอบคลุมสำหรับผู้พัฒนาในการใช้แนวทางปฏิบัติด้านความปลอดภัยของโมเดลและระบบสำหรับแอปพลิเคชันของตน คู่มือนี้ครอบคลุมหัวข้อต่างๆ เช่น การดูแลเนื้อหา การประเมินความเสี่ยง และการใช้เครื่องมือความปลอดภัย เช่น Llama Guard 2 และ Code Shield

Llama Guard 2 ซึ่งสร้างบนภาษี MLCommons ได้รับการออกแบบมาเพื่อจัดประเภทอินพุต (คำสั่ง) และคำตอบของ LLMs โดยตรวจจับเนื้อหาที่อาจถือว่าไม่ปลอดภัยหรือเป็นอันตราย CyberSecEval 2 ขยายความสามารถของตัวก่อนหน้าโดยเพิ่มมาตรการเพื่อป้องกับการละเมิดตัวแปลโค้ด การรักษาความปลอดภัยทางไซเบอร์ และความเสี่ยงต่อการโจมตีแบบฉีดคำสั่ง

Code Shield ซึ่งเป็นการแนะนำใหม่ด้วย Llama 3 เพิ่มการกรองแบบเรียลไทม์ของโค้ดที่ไม่ปลอดภัยที่ผลิตโดย LLMs โดยลดความเสี่ยงที่เกี่ยวข้องกับคำแนะนำโค้ดที่ไม่ปลอดภัย การละเมิดตัวแปลโค้ด และการดำเนินการคำสั่งแบบปลอดภัย

การเข้าถึงและการใช้งาน Llama 3

หลังจากการเปิดตัว Llama 3 ของ Meta AI มีเครื่องมือโอเพ่นซอร์สหลายตัวที่พร้อมสำหรับการใช้งานบนระบบปฏิบัติการต่างๆ รวมถึง Mac, Windows และ Linux ส่วนนี้อธิบายเครื่องมือที่น่าสังเกตสามตัว: Ollama, Open WebUI และ LM Studio ซึ่งแต่ละตัวมีคุณสมบัติเฉพาะสำหรับการใช้ความสามารถของ Llama 3 บนอุปกรณ์ส่วนบุคคล

Ollama: มีให้สำหรับ Mac, Linux และ Windows Ollama ทำให้การทำงานของ Llama 3 และโมเดลภาษาขนาดใหญ่อื่นๆ ง่ายขึ้นบนคอมพิวเตอร์ส่วนบุคคล แม้กระทั่งบนฮาร์ดแวร์ที่ไม่แข็งแรง มันรวมถึงผู้จัดการแพ็คเกจสำหรับการจัดการโมเดลที่ง่ายดาย และรองรับคำสั่งบนหลายแพลตฟอร์มสำหรับการดาวน์โหลดและการรันโมเดล

Open WebUI พร้อม Docker: เครื่องมือนี้ให้อินเทอร์เฟซที่ใช้งานง่ายซึ่งใช้ Docker และเข้ากันได้กับ Mac, Linux และ Windows มันทำงานร่วมกับโมเดลจาก Ollama Registry ได้อย่างไร้รอยต่อ ช่วยให้ผู้ใช้สามารถใช้งานและโต้ตอบกับโมเดลอย่าง Llama 3 ภายในอินเทอร์เฟซเว็บที่ใช้งานง่าย

LM Studio: มีให้สำหรับผู้ใช้บน Mac, Linux และ Windows LM Studio รองรับโมเดลหลายตัวและสร้างขึ้นจากโครงการ llama.cpp มันให้อินเทอร์เฟซการแชทและอำนวยความสะดวกในการโต้ตอบโดยตรงกับโมเดลต่างๆ รวมถึง Llama 3 8B Instruct Model

เครื่องมือเหล่านี้ทำให้ผู้ใช้สามารถใช้ Llama 3 บนอุปกรณ์ส่วนบุคคลได้อย่างมีประสิทธิภาพ โดยรองรับทักษะทางเทคนิคและความต้องการที่หลากหลาย แต่ละแพลตฟอร์มมีกระบวนการขั้นตอนที่ชัดเจนสำหรับการตั้งค่าและการโต้ตอบกับโมเดล ทำให้ AI ขั้นสูงเข้าถึงได้ง่ายสำหรับนักพัฒนาและผู้ที่ชื่นชอบ AI