כוח רב בגודל כיס: הצגת Phi-3 של Microsoft, מודל שפה שמתאים לטלפון שלך

בתחום המהיר והמשתנה של בינה מלאכותית, בעוד שהמגמה היא לרוב לעבר מודלים גדולים ומורכבים יותר, Microsoft אימצה גישה שונה עם Phi-3 Mini. מודל שפה קטן (SLM) זה, כעת בדור השלישי, מאפשר יכולות חזקות של מודלים גדולים יותר במסגרת שמתאימה למגבלות המשאבים החמורות של טלפונים חכמים. עם 3.8 מיליארד פרמטרים, Phi-3 Mini מתאים לביצועים של מודלי שפה גדולים (LLM) במשימות שונות כולל עיבוד שפה, היגיון, קידוד ומתמטיקה, ומיועד לפעולה יעילה על מכשירים ניידים דרך קוונטיזציה.

אתגרים של מודלי שפה גדולים

פיתוח מודלי Phi SLMs של Microsoft הוא תגובה לאתגרים המשמעותיים שמוצגים על ידי LLMs, אשר דורשים יותר כוח חישובי מאשר הזמין בדרך כלל על מכשירי צריכה. דרישה גבוהה זו מסבכת את השימוש בהם על מחשבים סטנדרטיים ומכשירים ניידים, מעלה חששות סביבתיים בגלל צריכת האנרגיה שלהם במהלך אימון ופעולה, וטומנת בחובה את הסיכון להמשך הטיות עם מאגרי אימון גדולים ומורכבים. גורמים אלו יכולים גם לפגוע בתגובות המהירות של המודלים ביישומים בזמן אמת ולהקשות על עדכונים.

Phi-3 Mini: סטרימליינינג AI על מכשירים אישיים לפרטיות משופרת ויעילות

Phi-3 Mini תוכנן במכוון להציע חלופה יעילה וזולה יותר לאינטגרציה של AI מתקדם ישירות על מכשירים אישיים כגון טלפונים ומחשבים ניידים. תכנון זה מאפשר תגובות מהירות יותר, מידיות יותר, ומשפר את האינטראקציה של המשתמש עם הטכנולוגיה בסיטואציות יומיומיות.
Phi-3 Mini מאפשר פונקציונליות AI מתוחכמת להיות מעובדת ישירות על מכשירים ניידים, מה שמפחית את התלות בשירותי ענן ומשפר את טיפול הנתונים בזמן אמת. יכולת זו היא מכרעת עבור יישומים שדורשים עיבוד נתונים מיידי, כגון בריאות ניידת, תרגום שפה בזמן אמת, וחינוך מותאם אישית, ומאפשרת התקדמות בתחומים אלו. יעילות העלות של המודל לא רק מפחיתה את עלויות הפעולה אלא גם מרחיבה את הפוטנציאל לאינטגרציה של AI בתעשיות שונות, כולל שווקים חדשים כגון טכנולוגיה ניתנת לענידה ואוטומציה ביתית. Phi-3 Mini מאפשר עיבוד נתונים ישירות על מכשירים מקומיים, מה שמשפר את פרטיות המשתמש. זה יכול להיות חיוני עבור ניהול מידע רגיש, כגון בתחומי בריאות אישית ושירותים פיננסיים. בנוסף, דרישות האנרגיה הנמוכות של המודל תורמות לפעולות AI ברות קיימות, התואמות למאמצים גלובליים לקיימות.

פילוסופיית עיצוב והתפתחות של Phi

פילוסופיית העיצוב של Phi מבוססת על מושג למידת תוכנית לימודים, השואב השראה מהגישה החינוכית שבה ילדים לומדים דרך דוגמאות הולכות ומתקשות יותר. הרעיון העיקרי הוא להתחיל את האימון של AI עם דוגמאות קלות יותר ולהגדיל את המורכבות של נתוני האימון ככל שתהליך הלמידה מתקדם. Microsoft מישמה אסטרטגיה חינוכית זו על ידי בניית מאגר נתונים מספרי לימוד, כפי שמפורט במחקרם “ספרי לימוד הם כל מה שאתה צריך.” סדרת Phi הושקה ביוני 2023, החל ב-Phi-1, מודל קומפקטי המתגאה ב-1.3 מיליארד פרמטרים. מודל זה הוכיח במהירות את יעילותו, במיוחד במשימות קידוד Python, שם הוא עלה על מודלים גדולים ומורכבים יותר. על בסיס הצלחה זו, Microsoft פיתחה בהמשך Phi-1.5, אשר שמרה על אותו מספר פרמטרים אך הרחיבה את יכולותיה בתחומים כגון היגיון והבנת שפה. הסדרה בלטה עם הוצאת Phi-2 בדצמבר 2023. עם 2.7 מיליארד פרמטרים, Phi-2 הציג יכולות מרשימות בהיגיון והבנת שפה, מעמדו כמתחרה חזק נגד מודלים גדולים בהרבה.

Phi-3 vs. מודלי שפה קטנים אחרים

בנייה על התקדמויות של Phi-2, Phi-3 Mini מרחיב את ההתקדמויות על ידי עקיפת SLMs אחרים, כגון Gemma של Google, Mistral של Mistral, Llama3-Instruct של Meta, ו-GPT 3.5, במגוון יישומים תעשייתיים. יישומים אלו כוללים הבנת שפה והסקה, ידע כללי, היגיון, בעיות מילוליות במתמטיקה ברמת בית ספר יסודי, וענייני בריאות, המציגים ביצועים עדיפים לעומת מודלים אלו. Phi-3 Mini עבר גם בדיקות אופליין על iPhone 14 למשימות שונות, כולל יצירת תוכן והצעות פעילות מותאמות למיקומים ספציפיים. לצורך זה, Phi-3 Mini הודק ל-1.8GB באמצעות תהליך הנקרא קוונטיזציה, המאפטים את המודל למכשירים בעלי משאבים מוגבלים על ידי המרת נתונים מספריים של המודל ממספרים בנקודה צפה 32-ביט לפורמטים קומפקטיים יותר כגון מספרים שלמים 4-ביט. זה לא רק מפחית את טביעת הזיכרון של המודל אלא גם משפר את מהירות העיבוד ואת היעילות האנרגטית, אשר חיונית עבור מכשירים ניידים. מפתחים בדרך כלל משתמשים במסגרות כגון TensorFlow Lite או PyTorch Mobile, הכוללות כלים מובנים לקוונטיזציה כדי לאוטומט את התהליך הזה.

השוואת תכונות: Phi-3 Mini vs. Phi-2 Mini

להלן, אנו משווים כמה מהתכונות של Phi-3 עם קודמו Phi-2.

• ארכיטקטורת המודל: Phi-2 פועל על ארכיטקטורה מבוססת טרנספורמר שתוכננה לחזות את המילה הבאה. Phi-3 Mini גם כן מנצל ארכיטקטורת טרנספורמר דקודר, אך מתאים יותר למבנה המודל Llama-2, באמצעות אותו טוקנייזר עם גודל אוצר מילים של 320,641. תאימות זו מבטיחה שכלים שפותחו עבור Llama-2 יכולים להתאים בקלות לשימוש עם Phi-3 Mini.
• אורך הקונטקסט: Phi-3 Mini תומך באורך קונטקסט של 8,000 טוקנים, הרבה יותר מאשר 2,048 הטוקנים של Phi-2. הגדלה זו מאפשרת ל-Phi-3 Mini לנהל אינטראקציות מפורטות יותר ולעבד קטעי טקסט ארוכים יותר.
• ריצה מקומית על מכשירים ניידים: Phi-3 Mini יכול להיות מדוק ל-4-ביט, תופס כ-1.8GB של זיכרון, דומה ל-Phi-2. הוא נבדק רץ אופליין על iPhone 14 עם שבב A16 Bionic, שם הוא השיג מהירות עיבוד של יותר מ-12 טוקנים לשנייה, תואם לביצועי Phi-2 תחת תנאים דומים.
• גודל המודל: עם 3.8 מיליארד פרמטרים, Phi-3 Mini הוא בקנה מידה גדול יותר מ-Phi-2, שיש לו 2.7 מיליארד פרמטרים. זה משקף את היכולות המוגברות שלו.
• נתוני אימון: בניגוד ל-Phi-2, שהוא הוכשר על 1.4 טריליון טוקנים, Phi-3 Mini הוכשר על סט גדול בהרבה של 3.3 טריליון טוקנים, מה שמאפשר לו להשיג תפיסה טובה יותר של דפוסי שפה מורכבים.

טיפול במגבלות של Phi-3 Mini

בעוד Phi-3 Mini מדגים התקדמויות משמעותיות בתחום מודלי שפה קטנים, הוא אינו חסין ממגבלות. אחד המגבלות העיקריות של Phi-3 Mini, נובע מגודלו הקטן יחסית למודלים גדולים, הוא היכולת המוגבלת לאחסון ידע עובדתי נרחב. זה יכול להשפיע על יכולתו לטפל בשאילתות שדורשות עומק של ידע עובדתי מפורט או ידע מומחה, באופן עצמאי. זה יכול להיות מיטיב על ידי אינטגרציה של Phi-3 Mini עם מנוע חיפוש. דרך זו, המודל יכול לגשת לטווח רחב יותר של מידע בזמן אמת, באופן יעיל, פוצה על מגבלות הידע הטבעיות שלו. זה מאפשר ל-Phi-3 Mini לפעול כמו משוחח מיומן, שלמרות תפיסה מקיפה של שפה והקשר, עשוי להזדקק ל”חיפוש” מידע לספק תגובות מדויקות ועדכניות.

זמינות

Phi-3 כעת זמין על פלטפורמות רבות, כולל Microsoft Azure AI Studio, Hugging Face, ו-Ollama. ב-Azure AI, המודל כולל זרימת עבודה של פריסה-אימון-סיום, וב-Ollama, הוא יכול לרוץ מקומית על מחשבים ניידים. המודל תוכנן עבור ONNX Runtime ותומך ב-Windows DirectML, מבטיח שהוא עובד היטב על סוגי חומרה שונים כגון GPU, CPU, ומכשירים ניידים. בנוסף, Phi-3 מוצע כשירות מיקרו דרך NVIDIA NIM, מצויד ב-API סטנדרטי לפריסה קלה בסביבות שונות, ומותאם במיוחד ל-GPU של NVIDIA. Microsoft תוכננת להרחיב את סדרת Phi-3 בעתיד הקרוב על ידי הוספת מודלים Phi-3-small (7B) ו-Phi-3-medium (14B), מה שיעניק למשתמשים אפשרויות נוספות לאיזון בין איכות לעלות.

התוצאה הסופית

Phi-3 Mini של Microsoft עושה צעדים משמעותיים בתחום הבינה המלאכותית על ידי אדפטציה של כוחם של מודלי שפה גדולים לשימוש נייד. מודל זה משפר את האינטראקציה של המשתמש עם המכשירים דרך עיבוד מהיר יותר ובזמן אמת, ותכונות פרטיות משופרות. הוא מפחית את הצורך בשירותי ענן, מוריד עלויות פעולה, ומרחיב את הטווח ליישומים של AI בתחומים כגון בריאות ואוטומציה ביתית, תוך שמירה על יעילות וקיימות. עם דגש על הפחתת הטיות דרך למידת תוכנית לימודים ושמירה על ביצועים תחרותיים, Phi-3 Mini הופך לכלי מפתח עבור AI נייד יעיל ובר קיימא, משנה בעדינות את האופן בו אנו מינגנים עם טכנולוגיה ביומיום.