הימנעות מסכנות מוסתרות: ניווט במלכודות בלתי נראות ב-ML ב-iOS

האם אתה זקוק ל-ML?

למידת מכונה מצטיינת בזיהוי תבניות. אם תצליח לאסוף מערכת נתונים נקייה עבור משימתך, זה בדרך כלל רק עניין של זמן עד שתוכל לבנות מודל ML עם ביצועים על-אנושיים. זה במיוחד נכון במשימות קלאסיות כמו סיווג, רגרסיה וגילוי חריגים.

כאשר אתה מוכן לפתור חלק מבעיות העסק שלך עם ML, עליך לשקול היכן מודלי ML שלך ירוצו. עבור חלקם, זה משמעותי לרוץ תשתית שרת. זה הוא יתרון של שמירה על מודלי ML שלך פרטיים, כך שזה קשה יותר עבור מתחרים לתפוס. בנוסף, שרתים יכולים לרוץ מגוון רחב יותר של מודלים. לדוגמה, מודלים GPT (שזכו לפרסום עם ChatGPT) כרגע דורשים כרטיסי מעבד גרפי מודרניים, כך שהתקנים צרכניים מחוץ לשאלה. מצד שני, תחזוקת תשתית היא יקרה מאוד, ואם התקן צרכני יכול לרוץ את המודל שלך, למה לשלם יותר? בנוסף, עשויות להיות גם חששות פרטיות שבהן אינך יכול לשלוח נתוני משתמש לשרת רחוק לעיבוד.

אולם, בואו נניח שזה משמעותי להשתמש בהתקני iOS של לקוחותיך לריצת מודל ML. מה יכול להשתבש?

מגבלות פלטפורמה

מגבלות זיכרון

התקני iOS הם בעלי זיכרון וידאו זמין הרבה פחות מהמקבילים שלהם בשולחן העבודה. לדוגמה, ה-Nvidia RTX 4080 Ti האחרון הוא בעל 20 GB של זיכרון זמין. מצד שני, אייפונים מחוברים לזיכרון ה-RAM הכללי במה שהם קוראים “זיכרון מאוחד”. לצורך השוואה, האייפון 14 Pro הוא בעל 6 GB של RAM. עוד יותר, אם תקצה יותר מחצי הזיכרון, iOS כנראה תהרוג את האפליקציה כדי לוודא שהמערכת ההפעלה נשארת תגובתית. זה אומר שאתה יכול לסמוך רק על 2-3 GB של זיכרון זמין עבור היקשרות של רשת עצבית.

חוקרים אומנם אימנו את המודלים שלהם לאופטימיזציה של דיוק מעל שימוש בזיכרון. עם זאת, יש גם מחקרים זמינים על דרכים לאופטימיזציה עבור מהירות וטביעת זיכרון, כך שאתה יכול לחפש מודלים פחות דורשים או לאמ