พ็อกเก็ตไซส์พลังงาน: เปิดตัว Microsoft Phi-3 โมเดลภาษาที่พอดีกับโทรศัพท์ของคุณ

ในสาขาเทคโนโลยีปัญญาประดิษฐ์ที่กำลังพัฒนาอย่างรวดเร็ว ในขณะที่แนวโน้มมักจะเอียงไปทางโมเดลที่ใหญ่และซับซ้อนขึ้น Microsoft (MSFT ) ได้เลือกแนวทางที่แตกต่างด้วย Phi-3 Mini ของตนเอง โมเดลภาษาขนาดเล็ก (SLM) รุ่นที่สามนี้ มีความสามารถที่แข็งแกร่งของโมเดลขนาดใหญ่ในเฟรมเวิร์กที่เหมาะสมกับข้อจำกัดของทรัพยากรบนสมาร์ทโฟน ด้วยพารามิเตอร์ 3.8 พันล้านตัว Phi-3 Mini มีประสิทธิภาพเทียบเท่ากับโมเดลภาษาขนาดใหญ่ (LLM) ในหลายๆ งาน รวมถึงการประมวลผลภาษา การให้เหตุผล การเขียนโค้ด และคณิตศาสตร์ และได้รับการออกแบบให้ทำงานได้อย่างมีประสิทธิภาพบนอุปกรณ์มือถือผ่านการปรับขนาด

ความท้าทายของโมเดลภาษาขนาดใหญ่

การพัฒนาของ Microsoft Phi SLM เป็นการตอบสนองต่อความท้าทายที่สำคัญที่เกิดจาก LLM ซึ่งต้องการพลังประมวลผลมากกว่าที่มักพบในอุปกรณ์ผู้บริโภค ความต้องการสูงนี้ทำให้การใช้งานบนคอมพิวเตอร์และอุปกรณ์มือถือทั่วไปซับซ้อน และทำให้เกิดความกังวลเกี่ยวกับสิ่งแวดล้อมเนื่องจากการบริโภคพลังงานระหว่างการฝึกอบรมและการดำเนินการ และมีความเสี่ยงที่จะทำให้ความลำเอียงยังคงอยู่ด้วยชุดข้อมูลการฝึกอบรมที่ใหญ่และซับซ้อน ปัจจัยเหล่านี้ยังสามารถทำให้โมเดลตอบสนองช้าในแอปพลิเคชันแบบเรียลไทม์และทำให้การอัปเดต更加ท้าทาย

Phi-3 Mini: การปรับเปลี่ยน AI บนอุปกรณ์ส่วนบุคคลเพื่อความเป็นส่วนตัวและประสิทธิภาพที่ดีขึ้น

Phi-3 Mini ได้รับการออกแบบมาเพื่อมอบทางเลือกที่คุ้มต้นทุนและมีประสิทธิภาพสำหรับการรวม AI ขั้นสูงเข้ากับอุปกรณ์ส่วนบุคคล เช่น โทรศัพท์และแล็ปท็อป การออกแบบนี้ช่วยให้สามารถตอบสนองได้เร็วขึ้นและทันที ทำให้การโต้ตอบของผู้ใช้กับเทคโนโลยีในชีวิตประจำวันดีขึ้น

Phi-3 Mini ช่วยให้สามารถประมวลผลฟังก์ชัน AI ที่ซับซ้อนได้โดยตรงบนอุปกรณ์มือถือ ซึ่งลดการอาศัยบริการคลาวด์และเพิ่มการประมวลผลข้อมูลแบบเรียลไทม์ ความสามารถนี้มีความสำคัญอย่างยิ่งสำหรับแอปพลิเคชันที่ต้องการการประมวลผลข้อมูลทันที เช่น การดูแลสุขภาพแบบมือถือ การแปลภาษาแบบเรียลไทม์ และการศึกษาที่เป็นส่วนตัว การออกแบบที่คุ้มต้นทุนของ Phi-3 Mini ไม่เพียงแต่ลดค่าใช้จ่ายในการดำเนินการเท่านั้น แต่ยังขยายโอกาสสำหรับการรวม AI ในอุตสาหกรรมต่างๆ รวมถึงตลาดเกิดใหม่ เช่น เทคโนโลยีแบบสวมใส่และระบบอัตโนมัติในบ้าน Phi-3 Mini ช่วยให้สามารถประมวลผลข้อมูลได้โดยตรงบนอุปกรณ์เครื่องเดียว ซึ่งเพิ่มความเป็นส่วนตัวของผู้ใช้ ซึ่งอาจมีความสำคัญอย่างยิ่งสำหรับการจัดการข้อมูลที่ละเอียดอ่อนในด้านสุขภาพและบริการทางการเงิน นอกจากนี้ ความต้องการพลังงานที่ต่ำของโมเดลยังช่วยให้การดำเนินงาน AI มีความยั่งยืนมากขึ้น ซึ่งสอดคล้องกับความพยายามด้านความยั่งยืนของโลก

ปรัชญาการออกแบบและวิวัฒนาการของ Phi

ปรัชญาการออกแบบของ Phi มีพื้นฐานมาจากแนวคิดของ การเรียนรู้ตามหลักสูตร ซึ่งได้รับแรงบันดาลใจจากแนวทางการศึกษาที่เด็กๆ เรียนรู้ผ่านตัวอย่างที่ท้าทายมากขึ้นเรื่อยๆ ความคิดหลักคือการเริ่มการฝึกอบรม AI ด้วยตัวอย่างที่ง่ายและเพิ่มความซับซ้อนของข้อมูลการฝึกอบรมเมื่อกระบวนการเรียนรู้ดำเนินไป Microsoft ได้ใช้กลยุทธ์การศึกษานี้โดยการสร้างชุดข้อมูลจากหนังสือเรียน ตามที่ระบุไว้ในการศึกษา “หนังสือเรียนคือทั้งหมดที่คุณต้องการ” ซีรีส์ Phi ได้รับการเปิดตัวในเดือนมิถุนายน 2023 โดยเริ่มต้นด้วย Phi-1 ซึ่งเป็นโมเดลที่กะทัดรัดมีพารามิเตอร์ 1.3 พันล้านตัว โมเดลนี้แสดงให้เห็นถึงประสิทธิภาพที่ดีโดยเฉพาะอย่างยิ่งในงานเขียนโค้ด Python โดยที่มันสามารถเอาชนะโมเดลที่ใหญ่และซับซ้อนกว่าได้ โดยสร้างความสำเร็จนี้ Microsoft ได้พัฒนา Phi-1.5 ต่อไป ซึ่งรักษาพารามิเตอร์จำนวนเท่าเดิม แต่ขยายความสามารถในด้านการให้เหตุผลและการเข้าใจภาษา ซีรีส์นี้ได้รับการยอมรับอย่างมากเมื่อมีการเปิดตัว Phi-2 ในเดือนธันวาคม 2023 โดยมีพารามิเตอร์ 2.7 พันล้านตัว Phi-2 แสดงให้เห็นถึงทักษะที่น่าประทับใจในการให้เหตุผลและการเข้าใจภาษา ทำให้เป็นคู่แข่งที่แข็งแกร่งสำหรับโมเดลที่ใหญ่กว่ามาก

Phi-3 เทียบกับโมเดลภาษาขนาดเล็กอื่นๆ

Phi-3 Mini ขยายความก้าวหน้าของ Phi-2 โดยเอาชนะโมเดลภาษาขนาดเล็กอื่นๆ เช่น Gemma ของ Google (GOOGL ), Mistral ของ Mistral, Llama3-Instruct ของ Meta และ GPT 3.5 ในหลายๆ แอปพลิเคชันทางอุตสาหกรรม รวมถึงการเข้าใจภาษา การอนุมาน ความรู้ทั่วไป การให้เหตุผลเชิงร่วมรู้ และการแก้ปัญหาคณิตศาสตร์ระดับประถมศึกษา โดยแสดงให้เห็นถึงประสิทธิภาพที่เหนือกว่าเมื่อเทียบกับโมเดลเหล่านั้น Phi-3 Mini ยังได้รับการทดสอบออฟไลน์บน iPhone 14 สำหรับงานต่างๆ รวมถึงการสร้างเนื้อหาและการให้คำแนะนำกิจกรรมที่เหมาะสมกับสถานที่เฉพาะ สำหรับจุดประสงค์นี้ Phi-3 Mini ถูกบีบอัดให้เหลือ 1.8GB โดยใช้กระบวนการเรียกว่า การปรับขนาด ซึ่งปรับโมเดลให้เหมาะสมกับอุปกรณ์ที่มีทรัพยากรจำกัดโดยการแปลงข้อมูลตัวเลขของโมเดลจากตัวเลขทศนิยม 32 บิตเป็นรูปแบบที่กะทัดรัดมากกว่า เช่น ตัวเลขจำนวนเต็ม 4 บิต การปรับขนาดนี้ไม่เพียงแต่ลดขนาดของโมเดลเท่านั้น แต่ยังปรับปรุงความเร็วในการประมวลผลและประสิทธิภาพพลังงาน ซึ่งจำเป็นสำหรับอุปกรณ์มือถือ นักพัฒนามักใช้เฟรมเวิร์ก เช่น TensorFlow Lite หรือ PyTorch Mobile โดยมีเครื่องมือการปรับขนาดที่ติดตั้งไว้ล่วงหน้าเพื่อทำให้กระบวนการนี้เป็นอัตโนมัติและปรับให้เหมาะสม

การเปรียบเทียบคุณลักษณะ: Phi-3 Mini เทียบกับ Phi-2 Mini

ด้านล่างนี้ เราเปรียบเทียบคุณลักษณะบางอย่างของ Phi-3 กับ Phi-2

• สถาปัตยกรรมโมเดล: Phi-2 ใช้สถาปัตยกรรมแบบทรานส์ฟอร์เมอร์ที่ออกแบบมาเพื่อคาดการณ์คำถัดไป Phi-3 Mini ก็ใช้สถาปัตยกรรมแบบทรานส์ฟอร์เมอร์ดีコ더เช่นกัน แต่สอดคล้องกับโครงสร้างของโมเดล Llama-2 มากขึ้น โดยใช้ตัวแบ่งคำที่มีขนาด 320,641 ซึ่งทำให้เครื่องมือที่พัฒนาสำหรับ Llama-2 สามารถปรับให้เข้ากับ Phi-3 Mini ได้ง่าย
• ความยาวบริบท: Phi-3 Mini รองรับความยาวบริบท 8,000 โทเค็น ซึ่งมากกว่า 2,048 โทเค็นของ Phi-2 อย่างมาก ความยาวที่เพิ่มขึ้นนี้ช่วยให้ Phi-3 Mini จัดการการโต้ตอบที่มีรายละเอียดมากขึ้นและประมวลผลข้อความที่ยาวขึ้น
• การทำงานบนอุปกรณ์มือถือ: Phi-3 Mini สามารถบีบอัดลงเป็น 4 บิต โดยใช้พื้นที่ประมาณ 1.8GB ของหน่วยความจำ เช่นเดียวกับ Phi-2 มันถูกทดสอบการทำงานออฟไลน์บน iPhone 14 โดยมีชิป A16 Bionic โดยที่มันบรรลุความเร็วในการประมวลผลมากกว่า 12 โทเคนต่อวินาที ซึ่งเทียบเท่ากับประสิทธิภาพของ Phi-2 ในเงื่อนไขที่คล้ายคลึงกัน
• ขนาดโมเดล: Phi-3 Mini มีพารามิเตอร์ 3.8 พันล้านตัว ซึ่งมากกว่า 2.7 พันล้านตัวของ Phi-2 สิ่งนี้สะท้อนถึงความสามารถที่เพิ่มขึ้นของมัน
• ข้อมูลการฝึกอบรม: ไม่เหมือนกับ Phi-2 ซึ่งถูกฝึกอบรมบน 1.4 ล้านล้านโทเค็น Phi-3 Mini ถูกฝึกอบรมบนชุดข้อมูลที่ใหญ่กว่ามากที่ 3.3 ล้านล้านโทเค็น ทำให้สามารถเข้าใจรูปแบบภาษาที่ซับซ้อนได้ดีขึ้น

การแก้ไขข้อจำกัดของ Phi-3 Mini

แม้ว่า Phi-3 Mini จะแสดงถึงความก้าวหน้าที่สำคัญในด้านโมเดลภาษาขนาดเล็ก แต่ก็ไม่ได้ปราศจากข้อจำกัด ข้อจำกัดหลักของ Phi-3 Mini เมื่อเทียบกับโมเดลภาษาขนาดใหญ่คือความสามารถในการจัดเก็บข้อมูลข้อเท็จจริงที่กว้างขวางน้อยกว่า ซึ่งอาจส่งผลต่อความสามารถในการจัดการกับคำถามที่ต้องการข้อมูลเฉพาะเจาะจงหรือความรู้เชี่ยวชาญโดยอิสระ อย่างไรก็ตาม สิ่งนี้สามารถบรรเทาได้โดยการรวม Phi-3 Mini เข้ากับเครื่องมือค้นหา ซึ่งช่วยให้โมเดลสามารถเข้าถึงข้อมูลที่กว้างขวางมากขึ้นแบบเรียลไทม์ และช่วยให้สามารถตอบสนองได้อย่างแม่นยำและทันสมัย

การเข้าถึง

Phi-3 มีให้บริการบนหลายแพลตฟอร์ม รวมถึง Microsoft Azure AI Studio, Hugging Face และ Ollama บน Azure AI โมเดลนี้รวมการทำงานแบบ_deploy-evaluate-finetune_ และบน Ollama สามารถทำงานบนแล็ปท็อปได้ โมเดลนี้ได้รับการปรับให้เหมาะสมสำหรับ ONNX Runtime และรองรับ Windows DirectML เพื่อให้ทำงานได้ดีบนฮาร์ดแวร์ต่างๆ เช่น GPU, CPU และอุปกรณ์มือถือ นอกจากนี้ Phi-3 ยังมีให้บริการเป็นไมโครเซอร์วิสผ่าน NVIDIA NIM (NVDA ) พร้อมด้วย API มาตรฐานสำหรับการติดตั้งแบบง่ายๆ บนหลายๆ สภาพแวดล้อม และได้รับการปรับให้เหมาะสมสำหรับ GPU ของ NVIDIA โดยเฉพาะ Microsoft มีแผนที่จะขยายซีรีส์ Phi-3 ในอนาคตอันใกล้โดยการเพิ่ม Phi-3-small (7B) และ Phi-3-medium (14B) ให้กับผู้ใช้เพื่อเพิ่มทางเลือกในการสร้างสมดุลระหว่างคุณภาพและต้นทุน

สรุป

Phi-3 Mini ของ Microsoft กำลังสร้างความก้าวหน้าที่สำคัญในด้านปัญญาประดิษฐ์โดยการปรับโมเดลภาษาขนาดใหญ่ให้เหมาะสมกับการใช้งานบนมือถือ โมเดลนี้ปรับปรุงการโต้ตอบของผู้ใช้กับอุปกรณ์ผ่านการประมวลผลแบบเรียลไทม์ที่เร็วขึ้นและคุณลักษณะความเป็นส่วนตัวที่ดีขึ้น มันลดความจำเป็นในการใช้บริการคลาวด์ ลดค่าใช้จ่ายในการดำเนินงาน และขยายโอกาสสำหรับการใช้งาน AI ในหลายๆ ด้าน เช่น การดูแลสุขภาพและการอัตโนมัติในบ้าน ด้วยการเน้นไปที่การลดความลำเอียงผ่านการเรียนรู้ตามหลักสูตรและรักษาความสามารถในการแข่งขัน Phi-3 Mini กำลังพัฒนาเป็นเครื่องมือสำคัญสำหรับ AI มือถือที่มีประสิทธิภาพและยั่งยืน ซึ่งเปลี่ยนแปลงวิธีที่เราสนับสนุนเทคโนโลยีในชีวิตประจำวัน