מנהיגי מחשבה
הגביע הקדוש של כוח חישובי בבינה מלאכותית
למרות ההתקדמות המדהימה, יכולותיה של הבינה המלאכותית עדיין מוגבלות בהשוואה לציפיות בעולם האמיתי. אנו בונים מודלים מורכבים, מפעילים רשתות נוירונים ובודקים אלגוריתמים, אך ההתקדמות לפעמים נעצרת במקומות שאנו הכי פחות מצפים להם.
הבעיה לעיתים קרובות אינה טמונה באלגוריתמים או בנתונים, אלא בכוח החישוב, המשאבים המאפשרים למודלים ללמוד ולפעול בקנה מידה הנדרש. אז מה מסתתר מאחורי המחסום הזה? בואו נבחן את המשאב הקריטי שבלעדיו אפילו פרויקטי הבינה המלאכותית המבטיחים ביותר לא יכולים להתקדם מעבר למעבדה.
גירעון המחשוב והשלכותיו
כדי להבין את הנושא הזה, נתחיל עם ההיסטוריה של התקשורת הסלולרית. כאשר הופיעו רשתות 3G ומאוחר יותר 4G, האינטרנט כבר היה כמעט גלובלי. וכאשר הוצג 5G, אנשים רבים שאלו שאלה הגיונית לחלוטין: "האינטרנט יהיה מהיר יותר - אבל אז מה?"
במציאות, העלייה במהירות האינטרנט אינה נובעת מנוחות המשתמש. היא משנה את כל הנוף הטכנולוגי. צצים מקרי שימוש שהיו בלתי אפשריים בעבר. 5G התברר כמהיר בהרבה מ-4G, והקפיצה הזו לא הייתה הדרגתית, כמו הקפיצה מ-1G ל-2G, אלא אקספוננציאלית. כתוצאה מכך, יכולים להופיע יישומים חדשים, מכשירים ומחלקות שלמות של טכנולוגיה.
מצלמות רמזורים, מערכות ניתוח תנועה בזמן אמת ומנגנוני ויסות תנועה אוטומטיים - כל זה מתאפשר הודות לטכנולוגיות תקשורת חדשות. המשטרה משיגה דרכים חדשות להחלפת נתונים, ובחלל, טלסקופים ולוויינים יכולים להעביר כמויות עצומות של מידע לכדור הארץ. קפיצת מדרגה איכותית בטכנולוגיה בסיסית מניעה את התפתחות המערכת האקולוגית כולה.
אותו עיקרון חל על כוח חישוב. דמיינו את סך קיבולת החישוב של האנושות ביחידות היפותטיות. כיום, אולי יהיו לנו, נניח, עשר יחידות כאלה. בעזרתן נוכל לייצר תמונות וסרטונים, לכתוב טקסטים, ליצור חומרי שיווק... זה כבר משמעותי, אבל טווח היישומים מוגבל בעיקרו.
עכשיו דמיינו שהיו לנו לא עשר, אלא אלף יחידות כאלה. פתאום, טכנולוגיות שהיו בעבר יקרות מדי הופכות לאפשריות, וסטארט-אפים שננטשו עקב עלויות חישוב גבוהות מתחילים להיות הגיוניים כלכלית.
קחו לדוגמה את רובוטקסיה. כיום, הם מסתמכים בעיקר על מחשבים מקומיים חלשים יחסית המותקנים ברכב. עם זאת, אם שידור הווידאו היה מועבר לענן עם משאבי חישוב עצומים, הנתונים היו יכולים להיות מעובדים ומוחזרים בזמן אמת. וזה קריטי: מכונית הנוסעת במהירות של 100 קמ"ש חייבת לקבל החלטות בשברירי שנייה - לנסוע ישר, לפנות, לבלום או לא לבלום.
זה הזמן שבו תעשיית רובוטקסי מתפקדת במלואה הופכת לאפשרית, ולא רק פתרונות מבודדים כמו אלה שאנו רואים כיום. כל מחשב מקומי המותקן במכונית מוגבל מטבעו באופן שמערכת מחוברת אינה מוגבלת בו. ככל שנוכל להרחיב אותו מהר יותר, כך העולם סביבנו ישתנה מהר יותר.
גישה לשבבים ול"כרטיס הזהב" בבינה מלאכותית
בהקשר של כוח חישוב, עולה השאלה: האם גישה לשבבים מודרניים הופכת ל"כרטיס הזהב" לכניסה לשוק הבינה המלאכותית? האם שחקנים גדולים שחותמים על חוזים עם יצרני שבבים, או מייצרים אותם בעצמם, יוצרים פער בין חברות גדולות לחברות אחרות?
פער כזה מתעורר רק במקרה אחד: אם מודל עסקי מתמקד אך ורק במכירת שבבים ללקוחות גדולים. בפועל, יצרנים כמו NVIDIA שואפים לספק פתרונות ענן לכולם. השבבים המותאמים שלהם זמינים בענן הן למפתחים OpenAI והן למפתחים עצמאיים.
אפילו בריתות אסטרטגיות בין חברות כמו גוגל, אנתרופיק, מיקרוסופט, OpenAI, אמזון ו-NVIDIA הן בעיקר שותפויות לניצול משאבים משותף, ולא ניסיונות לסגירת השוק. מודל זה מאפשר הקצאה יעילה של כוח חישוב, ובכך מאיץ את הפיתוח הטכנולוגי.
אם נעקוב אחר שרשרת השימוש במשאבי החישוב, היא מתחילה במשתמש הקצה. לדוגמה, כאשר משתמשים ב-WhatsApp לשיחות וידאו והודעות, החברה חייבת לוודא שהשירות פועל: אחסון ועיבוד נתונים, הרצת מודלים לניקוי וידאו, הוספת אפקטים ושיפור איכות התמונה.
תחזוקת שרתים קנייניים היא יקרה, הם מיושנים ודורשים תחזוקה מתמדת. זו הסיבה שצצו פתרונות ענן, "הענן". השוק נשלט על ידי שלושה שחקנים: Google Cloud, AWS ו-Microsoft Azure. חברות אחרות אינן יכולות להתחרות ברמה זו: היקף התשתית עצום מדי.
שירותי ענן הם מרכזי נתונים עצומים עם קירור, אספקת חשמל ותחזוקה מסביב לשעון. הם מכילים שרתים ושבבים מיוחדים של NVIDIA, AMD ויצרנים אחרים, מה שמאפשר תהליכי חישוב בקנה מידה גדול.
כאן אנו מגיעים לשאלה המרכזית שדנתי בה ב טור קודם על מרכזי נתונים, ורוצים להמשיך כאן: מהו צוואר הבקבוק העיקרי במערכת הזו? האם זה מחסור בחשמל, או הקושי בקירור מרכזי נתונים באזורים שבהם האקלים הופך את זה למאתגר במיוחד? במציאות, הסוד טמון בשבבים עצמם...
הגביע הקדוש
מדוע NVIDIA מוערכת כיום בכ-5 טריליון דולר ונחשבת לאחת החברות הציבוריות המצליחות ביותר בעולם? הסיבה פשוטה: NVIDIA מייצרת את השבבים עליהם מאומנים מודלים של בינה מלאכותית ומריצים הסקות.
כל אחד מהשבבים הללו צורך כמויות אדירות של חשמל בעת אימון מודלים גדולים או עיבוד כמויות נתונים הולכות וגדלות. אבל באיזו יעילות מנוצלת האנרגיה הזו? כאן נכנסים לתמונה שבבים ייעודיים; הם מטפלים במשימות ספציפיות בצורה יעילה הרבה יותר מאשר כרטיסי מסך לשימוש כללי.
מודלים של בינה מלאכותית שונים זה מזה. לדוגמה, ל-OpenAI יש משפחה אחת של מודלים, ול-Anthropic משפחה אחרת. המושגים אולי דומים, אך המבנים המתמטיים ותהליכי החישוב שונים. שבב יחיד לשימוש כללי, בעת אימון מודלים של OpenAI (כמו ChatGPT) לעומת מודלים של Anthropic (כמו Claude), משמש כ"כלי אחד שמתאים לכולם", וצורך, נניח, 100,000 שעות חישוב עבור מודל אחד ו-150,000 עבור אחר. היעילות משתנה באופן משמעותי ורק לעתים רחוקות היא אופטימלית.
חברות פותרות בעיה זו על ידי ייצור שבבים ייעודיים. לדוגמה, שבב אחד ניתן למטב לארכיטקטורת ChatGPT ולאמן אותו, נניח, תוך 20 דקות, בעוד שבב אחר מותאם לארכיטקטורה של Anthropic ומשלים גם הוא את האימון תוך 20 דקות. צריכת האנרגיה וזמן האימון מצטמצמים פי כמה בהשוואה לשבב לשימוש כללי.
כאשר שבבים אלה נמכרים לחברות גדולות, כמו גוגל, אמזון, מיקרוסופט או אזור, הם מוצעים כמוצרים עצמאיים. משתמשים יכולים לבחור, למשל, שבב המותאם לדגם YOLO או שבב פשוט וזול יותר לארכיטקטורת Xen. בדרך זו, חברות מקבלות גישה למשאבי חישוב המותאמים בדיוק למשימות שלהן, במקום לרכוש מעבדים גרפיים לשימוש כללי. אם למשתמש יש עשר פונקציות שונות, הוא יכול להשתמש בעשרה שבבים ייעודיים שונים.
המגמה ברורה: שבבים ייעודיים מחליפים בהדרגה שבבים לשימוש כללי. סטארט-אפים רבים עובדים כיום עם ASIC (מעגלים משולבים ספציפיים ליישום), שבבים המיועדים למשימות חישוביות ספציפיות. ה-ASIC הראשונים הופיעו לכריית ביטקוין: בתחילה, מטבעות קריפטוגרפיים נכרו על גבי מעבדי NVIDIA, לאחר מכן נוצרו שבבים אך ורק עבור ביטקוין ולא היו מסוגלים לבצע משימות אחרות.
אני רואה את זה בפועל: אותה תצורת חומרה יכולה להניב תוצאות שונות לחלוטין בהתאם למשימה. בסטארט-אפ שלי אינטרוספקטוראנו חוקרים תהליכים אלה בפרויקטים אמיתיים, וכיועצים אסטרטגיים של Keymakrאני צופה כיצד לקוחות משיגים יעילות משבבים ייעודיים, מה שמאפשר למודלים לרוץ מהר יותר. פרויקטים שנתקעו בעבר במהלך אימון או הסקה מגיעים לתוצאות יציבות בעזרת גישה זו.
עם זאת, התמחות צרה טומנת בחובה סיכונים. שבב המותאם לארכיטקטורה של Anthropic לא יעבוד לאימון מודלים של OpenAI, ולהיפך. כל ארכיטקטורה חדשה דורשת דור חדש של חומרה, מה שיוצר סיכון ל"התרוקנות" בקנה מידה גדול. אם Anthropic תשחרר ארכיטקטורה חדשה מחר, כל השבבים מהדור הקודם יהפכו ללא יעילים או חסרי תועלת. ייצור שבבים חדשים עולה מיליארדי דולרים ויכול להימשך שנים.
זה יוצר דילמה: האם עלינו לייצר שבבים ייעודיים שיעבדו בצורה מושלמת בתרחיש צר, או להמשיך לייצר שבבים למטרות כלליות שיפתרו את כל המשימות בצורה סבירה אך לא ידרשו החלפה מלאה כאשר הארכיטקטורות משתנות?
יעילות בהקשר זה נמדדת על ידי שלושה פרמטרים עיקריים: זמן ריצה, צריכת חשמל וייצור חום. מדדים אלה קשורים זה לזה באופן ישיר: ככל שהמערכת פועלת זמן רב יותר, כך היא צורכת יותר אנרגיה ומייצרת יותר חום. הפחתת פרמטר אחד משפרת אוטומטית את שני האחרים.
כאן טמון "הגביע הקדוש" של ביצועי בינה מלאכותית: אם ניתן לייעל לפחות אחד ממדדי היעילות הבסיסיים, גם המדדים האחרים משתפרים כמעט אוטומטית.
תהליך בר-קיימא
עם השימוש הגובר בשבבים ייעודיים, סוגיית סיכוני ייצור יתר הפכה דחופה. כיום, עודף הציוד כבר משמעותי, וחברות מטפלות בבעיה זו בדרכים בנות-קיימא שונות, כולל שימוש חוזר במשאבים קיימים.
מיחזור ציוד הפך למרכיב מפתח בפיתוח בר-קיימא בתעשיות היי-טק. שבבים מכילים כמויות ניכרות של מתכות יקרות ובסיסיות, זהב, נחושת, אלומיניום, פלדיום וחומרים נדירים, כמו גם חומרים המשמשים במיקרו-שבבים וטרנזיסטורים. ברגע שהציוד מתיישן, ניתן להחזיר משאבים יקרי ערך אלה לייצור, ובכך להפחית את עלות הרכיבים החדשים תוך הפחתת טביעת הרגל הסביבתית של התעשייה.
חלק מהמפעלים והחברות המתמחים מתמקדים במחזור והפקת מתכות יקרות מרכיבים מיושנים. לדוגמה, חלק מהמתקנים משתמשים בתהליכים הידרו-מטאלורגיים ובשיטות כימיות מתקדמות כדי להפיק זהב ונחושת ברמת טוהר גבוהה, מה שמאפשר שימוש חוזר בחומרים אלה בשבבים חדשים.
בנוסף, חברות מיישמות מודלים של לולאה סגורה, שבהם ציוד ישן משודרג או משולב בפתרונות חדשים, ובכך מפחיתים את הצורך בחילוץ משאבים ראשוניים. גישות כאלה לא רק מסייעות למזער פסולת אלא גם להפחית את טביעת הרגל הפחמנית של הייצור, שכן כרייה מסורתית ועיבוד מתכות דורשים אנרגיה משמעותית.
ניהול בר-קיימא של מחזור החיים של שבבים וציוד יכול להפוך לסטנדרט בתעשייה, שבו התקדמות טכנולוגית עולה בקנה אחד עם אחריות סביבתית.
