ขุมพลังขนาดพกพา: เปิดตัว Phi-3 ของ Microsoft ซึ่งเป็นโมเดลภาษาที่เหมาะกับโทรศัพท์ของคุณ

ในสาขาปัญญาประดิษฐ์ที่มีการพัฒนาอย่างรวดเร็ว ในขณะที่กระแสนิยมมักจะเอนเอียงไปทางโมเดลที่ใหญ่กว่าและซับซ้อนมากขึ้น Microsoft ก็ใช้แนวทางที่แตกต่างกับ Phi-3 Mini นี้ โมเดลภาษาขนาดเล็ก (SLM)ซึ่งขณะนี้อยู่ในเจเนอเรชันที่ 3.8 ได้บรรจุความสามารถอันแข็งแกร่งของรุ่นใหญ่ๆ ไว้ในเฟรมเวิร์กที่เหมาะกับข้อจำกัดด้านทรัพยากรอันเข้มงวดของสมาร์ทโฟน ด้วยพารามิเตอร์ 3 พันล้านพารามิเตอร์ Phi-XNUMX Mini จึงเหมาะสมกับประสิทธิภาพของ โมเดลภาษาขนาดใหญ่ (LLM) ในงานต่างๆ รวมถึงการประมวลผลภาษา การใช้เหตุผล การเขียนโค้ด และคณิตศาสตร์ และได้รับการปรับแต่งเพื่อการทำงานที่มีประสิทธิภาพบนอุปกรณ์เคลื่อนที่ผ่านการหาปริมาณ

ความท้าทายของโมเดลภาษาขนาดใหญ่

การพัฒนา Phi SLM ของ Microsoft เป็นการตอบสนองต่อความท้าทายที่สำคัญที่เกิดจาก LLM ซึ่งต้องใช้พลังในการคำนวณมากกว่าที่มีในอุปกรณ์ทั่วไป ความต้องการที่สูงนี้ทำให้การใช้งานบนคอมพิวเตอร์มาตรฐานและอุปกรณ์เคลื่อนที่มีความซับซ้อน ทำให้เกิดข้อกังวลด้านสิ่งแวดล้อมเนื่องจากการใช้พลังงานระหว่างการฝึกอบรมและการปฏิบัติงาน และความเสี่ยงที่ทำให้เกิดอคติต่อชุดข้อมูลการฝึกอบรมขนาดใหญ่และซับซ้อน ปัจจัยเหล่านี้ยังสามารถลดการตอบสนองของโมเดลในแอปพลิเคชันแบบเรียลไทม์ และทำให้การอัปเดตมีความท้าทายมากขึ้น

Phi-3 Mini: ปรับปรุง AI บนอุปกรณ์ส่วนบุคคลเพื่อความเป็นส่วนตัวและประสิทธิภาพที่เพิ่มขึ้น

เค้ก พี-3 มินิ ได้รับการออกแบบอย่างมีกลยุทธ์เพื่อเสนอทางเลือกที่คุ้มค่าและมีประสิทธิภาพสำหรับการบูรณาการ AI ขั้นสูงเข้ากับอุปกรณ์ส่วนบุคคลโดยตรง เช่น โทรศัพท์และแล็ปท็อป การออกแบบนี้อำนวยความสะดวกในการตอบสนองที่รวดเร็วและทันท่วงทียิ่งขึ้น เพิ่มการโต้ตอบของผู้ใช้กับเทคโนโลยีในสถานการณ์ประจำวัน

Phi-3 Mini ช่วยให้ฟังก์ชัน AI ที่ซับซ้อนได้รับการประมวลผลโดยตรงบนอุปกรณ์เคลื่อนที่ ซึ่งช่วยลดการพึ่งพาบริการคลาวด์และปรับปรุงการจัดการข้อมูลแบบเรียลไทม์ ความสามารถนี้เป็นหัวใจสำคัญสำหรับแอปพลิเคชันที่ต้องการการประมวลผลข้อมูลทันที เช่น การดูแลสุขภาพเคลื่อนที่ การแปลภาษาแบบเรียลไทม์ และการศึกษาเฉพาะบุคคล ซึ่งอำนวยความสะดวกให้กับความก้าวหน้าในสาขาเหล่านี้ ความคุ้มค่าของโมเดลนี้ไม่เพียงแต่ช่วยลดต้นทุนการดำเนินงาน แต่ยังขยายศักยภาพในการบูรณาการ AI ในอุตสาหกรรมต่างๆ รวมถึงตลาดเกิดใหม่ เช่น เทคโนโลยีอุปกรณ์สวมใส่และระบบอัตโนมัติในบ้าน Phi-3 Mini ช่วยให้สามารถประมวลผลข้อมูลได้โดยตรงบนอุปกรณ์ท้องถิ่นซึ่งช่วยเพิ่มความเป็นส่วนตัวของผู้ใช้ สิ่งนี้อาจมีความสำคัญสำหรับการจัดการข้อมูลที่ละเอียดอ่อนในด้านต่างๆ เช่น สุขภาพส่วนบุคคลและบริการทางการเงิน นอกจากนี้ ความต้องการพลังงานต่ำของโมเดลดังกล่าวยังส่งผลต่อการดำเนินงาน AI ที่ยั่งยืนต่อสิ่งแวดล้อม ซึ่งสอดคล้องกับความพยายามด้านความยั่งยืนระดับโลก

ปรัชญาการออกแบบและวิวัฒนาการของพี่

ปรัชญาการออกแบบของพี่ ขึ้นอยู่กับแนวคิดของ การเรียนรู้หลักสูตรซึ่งได้รับแรงบันดาลใจจากแนวทางการศึกษาที่เด็กๆ เรียนรู้ผ่านตัวอย่างที่ท้าทายมากขึ้นเรื่อยๆ แนวคิดหลักคือการเริ่มการฝึกอบรม AI ด้วยตัวอย่างที่ง่ายขึ้น และค่อยๆ เพิ่มความซับซ้อนของข้อมูลการฝึกอบรมเมื่อกระบวนการเรียนรู้ดำเนินไป Microsoft ได้นำกลยุทธ์การศึกษานี้ไปใช้โดยการสร้างชุดข้อมูลจากตำราเรียนตามรายละเอียดในการศึกษาของพวกเขา”หนังสือเรียนคือสิ่งที่คุณต้องการ- ซีรีส์ Phi เปิดตัวในเดือนมิถุนายน 2023 โดยเริ่มจาก Phi-1 ซึ่งเป็นรุ่นกะทัดรัดที่มีพารามิเตอร์ 1.3 พันล้านตัว โมเดลนี้แสดงให้เห็นประสิทธิภาพอย่างรวดเร็ว โดยเฉพาะอย่างยิ่งในงานเขียนโค้ด Python ซึ่งมีประสิทธิภาพเหนือกว่าโมเดลที่ใหญ่กว่าและซับซ้อนกว่า จากความสำเร็จนี้ Microsoft ได้พัฒนาในภายหลัง พี-1.5ซึ่งยังคงรักษาจำนวนพารามิเตอร์เท่าเดิมแต่ได้ขยายความสามารถในด้านต่างๆ เช่น การใช้เหตุผลสามัญสำนึกและความเข้าใจภาษา ซีรีส์นี้โดดเด่นด้วยการเปิดตัวของ พี-2 ในเดือนธันวาคม 2023 ด้วยพารามิเตอร์ 2.7 พันล้านรายการ Phi-2 แสดงให้เห็นทักษะที่น่าประทับใจในด้านการใช้เหตุผลและความเข้าใจภาษา ถือเป็นคู่แข่งที่แข็งแกร่งเมื่อเทียบกับรุ่นที่มีขนาดใหญ่กว่ามาก

Phi-3 เทียบกับโมเดลภาษาเล็กอื่นๆ

Phi-3 Mini ขยายต่อยอดจากรุ่นก่อน โดยขยายความก้าวหน้าของ Phi-2 โดยเหนือกว่า SLM อื่นๆ เช่น เจมม่าของ Google, มิสทรัล มิสทรัล, Llama3-คำสั่งของ Metaและ จีพีที 3.5ในงานอุตสาหกรรมต่างๆ แอปพลิเคชันเหล่านี้ประกอบด้วยความเข้าใจและการอนุมานภาษา ความรู้ทั่วไป การใช้เหตุผลสามัญสำนึก ปัญหาคำศัพท์ทางคณิตศาสตร์ในโรงเรียนประถมศึกษา และการตอบคำถามทางการแพทย์ ซึ่งแสดงประสิทธิภาพที่เหนือกว่าเมื่อเปรียบเทียบกับโมเดลเหล่านี้ นอกจากนี้ Phi-3 Mini ยังผ่านการทดสอบออฟไลน์บน iPhone 14 สำหรับงานต่างๆ รวมถึงการสร้างเนื้อหาและการให้คำแนะนำกิจกรรมที่ปรับให้เหมาะกับสถานที่เฉพาะ เพื่อจุดประสงค์นี้ Phi-3 Mini ได้รับการย่อให้เป็น 1.8GB โดยใช้กระบวนการที่เรียกว่า การหาปริมาณซึ่งปรับโมเดลให้เหมาะสมสำหรับอุปกรณ์ที่มีทรัพยากรจำกัดโดยการแปลงข้อมูลตัวเลขของโมเดลจากตัวเลขทศนิยม 32 บิตเป็นรูปแบบที่กะทัดรัดมากขึ้น เช่น จำนวนเต็ม 4 บิต ซึ่งไม่เพียงแต่ช่วยลดพื้นที่หน่วยความจำของโมเดลเท่านั้น แต่ยังปรับปรุงความเร็วการประมวลผลและประสิทธิภาพการใช้พลังงาน ซึ่งมีความสำคัญสำหรับอุปกรณ์พกพา โดยทั่วไปแล้วนักพัฒนาจะใช้กรอบงานเช่น TensorFlow Lite or PyTorch มือถือโดยผสมผสานเครื่องมือวัดปริมาณในตัวเพื่อทำให้กระบวนการนี้เป็นอัตโนมัติและปรับปรุง

การเปรียบเทียบคุณสมบัติ: Phi-3 Mini กับ Phi-2 Mini

ด้านล่างนี้เราเปรียบเทียบคุณสมบัติบางอย่างของ Phi-3 กับ Phi-2 รุ่นก่อน

• สถาปัตยกรรมจำลอง: Phi-2 ทำงานบนสถาปัตยกรรมที่ใช้หม้อแปลงไฟฟ้าซึ่งออกแบบมาเพื่อทำนายคำถัดไป นอกจากนี้ Phi-3 Mini ยังใช้สถาปัตยกรรมตัวถอดรหัสหม้อแปลงไฟฟ้า แต่จะสอดคล้องกับโครงสร้างโมเดล Llama-2 มากขึ้น โดยใช้โทเค็นไนเซอร์เดียวกันกับขนาดคำศัพท์ 320,641 ความเข้ากันได้นี้ช่วยให้แน่ใจว่าเครื่องมือที่พัฒนาขึ้นสำหรับ Llama-2 สามารถนำไปปรับใช้กับ Phi-3 Mini ได้อย่างง่ายดาย
• ความยาวบริบท: Phi-3 Mini รองรับความยาวบริบท 8,000 โทเค็น ซึ่งมากกว่าโทเค็น 2 ของ Phi-2,048 อย่างมาก การเพิ่มขึ้นนี้ทำให้ Phi-3 Mini สามารถจัดการการโต้ตอบที่มีรายละเอียดมากขึ้นและประมวลผลข้อความที่ยาวขึ้น
• ทำงานภายในเครื่องบนอุปกรณ์มือถือ: Phi-3 Mini สามารถบีบอัดเป็น 4 บิต ใช้หน่วยความจำประมาณ 1.8GB ซึ่งคล้ายกับ Phi-2 ได้รับการทดสอบการทำงานแบบออฟไลน์บน iPhone 14 ด้วยชิป A16 Bionic โดยมีความเร็วในการประมวลผลมากกว่า 12 โทเค็นต่อวินาที ซึ่งตรงกับประสิทธิภาพของ Phi-2 ภายใต้เงื่อนไขที่คล้ายคลึงกัน
• รุ่นขนาด: ด้วยพารามิเตอร์ 3.8 พันล้านพารามิเตอร์ Phi-3 Mini จึงมีสเกลที่ใหญ่กว่า Phi-2 ซึ่งมีพารามิเตอร์ 2.7 พันล้านตัว นี่สะท้อนถึงความสามารถที่เพิ่มขึ้น
• ข้อมูลการฝึกอบรม: แตกต่างจาก Phi-2 ซึ่งได้รับการฝึกฝนด้วยโทเค็น 1.4 ล้านล้านโทเค็น Phi-3 Mini ได้รับการฝึกฝนบนชุดโทเค็นที่ใหญ่กว่ามากจำนวน 3.3 ล้านล้านโทเค็น ทำให้สามารถเข้าใจรูปแบบภาษาที่ซับซ้อนได้ดีขึ้น

จัดการกับข้อจำกัดของ Phi-3 Mini

แม้ว่า Phi-3 Mini จะแสดงให้เห็นถึงความก้าวหน้าที่สำคัญในขอบเขตของโมเดลภาษาเล็กๆ แต่ก็ไม่ได้ไร้ขีดจำกัด ข้อจำกัดหลักของ Phi-3 Mini เมื่อพิจารณาจากขนาดที่เล็กกว่าเมื่อเทียบกับรุ่นภาษาขนาดใหญ่ ก็คือความสามารถที่จำกัดในการจัดเก็บความรู้ข้อเท็จจริงที่กว้างขวาง ซึ่งอาจส่งผลต่อความสามารถในการจัดการข้อซักถามที่ต้องใช้ข้อมูลข้อเท็จจริงเชิงลึกหรือความรู้ของผู้เชี่ยวชาญโดยละเอียด อย่างไรก็ตาม สิ่งนี้สามารถบรรเทาลงได้ด้วยการผสานรวม Phi-3 Mini เข้ากับเครื่องมือค้นหา วิธีนี้ทำให้โมเดลสามารถเข้าถึงข้อมูลที่หลากหลายมากขึ้นแบบเรียลไทม์ โดยชดเชยข้อจำกัดด้านความรู้โดยธรรมชาติได้อย่างมีประสิทธิภาพ การบูรณาการนี้ช่วยให้ Phi-3 Mini ทำงานเหมือนกับนักสนทนาที่มีความสามารถสูง ซึ่งแม้จะเข้าใจภาษาและบริบทอย่างครอบคลุม แต่ก็อาจจำเป็นต้อง "ค้นหา" ข้อมูลเป็นครั้งคราวเพื่อให้คำตอบที่ถูกต้องและทันสมัย

ความพร้อมที่จะให้บริการ

ขณะนี้ Phi-3 มีให้บริการในหลายแพลตฟอร์ม รวมถึง ไมโครซอฟต์ อาซัวร์ เอไอ สตูดิโอ, กอดหน้าและ โอลามา- บน Azure AI โมเดลดังกล่าวได้รวมเวิร์กโฟลว์การปรับใช้-ประเมิน-ปรับแต่ง และบน Ollama ก็สามารถทำงานได้บนแล็ปท็อปในเครื่อง โมเดลได้รับการปรับแต่งให้เหมาะกับ รันไทม์ ONNX และสนับสนุน Windows DirectMLเพื่อให้แน่ใจว่าทำงานได้ดีกับฮาร์ดแวร์ประเภทต่างๆ เช่น GPU, CPU และอุปกรณ์มือถือ นอกจากนี้ Phi-3 ยังนำเสนอเป็นไมโครเซอร์วิสผ่าน NVIDIA NIMซึ่งมาพร้อมกับ API มาตรฐานเพื่อการปรับใช้ที่ง่ายดายในสภาพแวดล้อมที่แตกต่างกัน และปรับให้เหมาะสมสำหรับ NVIDIA GPU โดยเฉพาะ ไมโครซอฟต์วางแผนที่จะขยายซีรีส์ Phi-3 เพิ่มเติมในอนาคตอันใกล้นี้ด้วยการเพิ่มรุ่น Phi-3-small (7B) และ Phi-3-medium (14B) เพื่อให้ผู้ใช้มีทางเลือกเพิ่มเติมเพื่อสร้างสมดุลระหว่างคุณภาพและต้นทุน

บรรทัดด้านล่าง

Phi-3 Mini ของ Microsoft กำลังก้าวหน้าอย่างมากในด้านปัญญาประดิษฐ์โดยการปรับพลังของโมเดลภาษาขนาดใหญ่สำหรับการใช้งานบนมือถือ รุ่นนี้ปรับปรุงการโต้ตอบของผู้ใช้กับอุปกรณ์ผ่านการประมวลผลแบบเรียลไทม์ที่รวดเร็วขึ้นและฟีเจอร์ความเป็นส่วนตัวที่ได้รับการปรับปรุง ลดความต้องการบริการบนคลาวด์ ลดต้นทุนการดำเนินงาน และขยายขอบเขตแอปพลิเคชัน AI ในด้านต่างๆ เช่น การดูแลสุขภาพและระบบอัตโนมัติในบ้าน ด้วยการมุ่งเน้นไปที่การลดอคติผ่านการเรียนรู้ตามหลักสูตรและการรักษาประสิทธิภาพการแข่งขัน Phi-3 Mini กำลังพัฒนาเป็นเครื่องมือสำคัญสำหรับ AI เคลื่อนที่ที่มีประสิทธิภาพและยั่งยืน โดยเปลี่ยนวิธีที่เราโต้ตอบกับเทคโนโลยีทุกวันอย่างละเอียด