הגביע הקדוש של כוח חישובי באינטליגנציה מלאכותית

למרות ההתקדמות המדהימה, היכולות של בינה מלאכותית עדיין מוגבלות בהשוואה לציפיות העולמיות. אנו בונים מודלים מורכבים, רצים רשתות נוירונים ובודקים אלגוריתמים, אך ההתקדמות לפעמים נעצרת במקומות שאנו הכי פחות מצפים.

הבעיה לעיתים קרובות לא נמצאת באלגוריתמים או בנתונים, אלא בכוח החישוב, המשאבים שמאפשרים למודלים ללמוד ולפעול בקנה מידה הנדרש. אז מה נמצא מאחורי מחסום זה? בואו נבחן את המשאב הקריטי בלעדיו אפילו הפרויקטים המתקדמים ביותר של AI לא יכולים לעבור את המעבדה.

הגירעון החישובי והשלכותיו

כדי להבין נושא זה, בואו נתחיל עם ההיסטוריה של תקשורת סלולרית. כאשר רשתות 3G ו-4G הופיעו, האינטרנט כבר היה כמעט גלובלי. וכאשר 5G הוצג, הרבה אנשים שאלו שאלה מושלמת: “האינטרנט יהיה מהיר יותר – אבל מה העניין?”

במציאות, העלייה במהירות האינטרנט לא באה לידי ביטוי בנוחות המשתמש. היא משנה את כל הנוף הטכנולוגי. מקרים שימוש מופיעים שהיו בלתי אפשריים בעבר. 5G התברר כמהיר הרבה יותר מ-4G, וקפיצה זו לא הייתה הדרגתית, כמו הקפיצה מ-1G ל-2G, אלא מעריכית. בעקבות כך, יישומים חדשים, התקנים וכיתות טכנולוגיה שלמות יכולים להופיע.

מצלמות רמזור, מערכות ניתוח תנועה בזמן אמת ומנגנוני בקרת תנועה אוטומטיים – הכל הופך לאפשרי הודות לטכנולוגיות תקשורת חדשות. המשטרה זוכה לדרכים חדשות להחליף נתונים, ובחלל, טלסקופים ולוויינים יכולים לשדר כמויות עצומות של מידע לכדור הארץ. קפיצה איכותית בטכנולוגיה בסיסית מניעה את התפתחות הסביבה כולה.

עיקרון זהה חל גם על כוח חישובי. נדמיין את יכולת החישוב הכוללת של האנושות ביחידות היפותטיות. היום, אולי יש לנו, נאמר, עשר יחידות כאלה. איתן, אנו יכולים ליצור תמונות ווידאו, לכתוב טקסטים, ליצור חומרי שיווק… זה כבר משמעותי, אך טווח היישומים מוגבל בעיקר.

כעת נדמיין שיש לנו לא עשר, אלא אלף יחידות כאלה. פתאום, טכנולוגיות שהיו קודם לכן יקרות מדי הופכות למעשיות, וסטארט-אפים שננטשו בגלל עלויות חישוב גבוהות מתחילים להיראות כלכליים.

לדוגמה, נעים על רובוט-מוניות. היום, הם בעיקר סומכים על מחשבים מקומיים חלשים יותר המותקנים ברכב. אולם, אם הזרם הווידאו היה מועבר לענן עם משאבים חישוביים עצומים, הנתונים יכלו להיות מעובדים ומוחזרים בזמן אמת. וזה הכרחי: מכונית הנוסעת ב-100 קמ”ש חייבת לקבל החלטות בזמן שברירי – לנסוע ישר, לפנות, לבלום או לא לבלום.

אז תעשיית רובוט-מוניות מלאה ותקינה הופכת לאפשרית, לא רק פתרונות מבודדים כמו אלה שאנו רואים היום. כל מחשב מקומי המותקן ברכב מוגבל באופן תוך-מובנה, שמערכת מחוברת אינה. ככל שאנו יכולים להגדיל את הקנה, כך העולם סביבנו ישתנה.

גישה לשבבים ו”הכרטיס המוזהב” ב-AI

בהקשר של כוח חישובי, עולה השאלה: האם גישה לשבבים מודרניים הופכת ל”כרטיס המוזהב” לכניסה לשוק AI? האם שחקנים גדולים שחותמים חוזים עם יצרני שבבים, או מייצרים אותם בעצמם, יוצרים פער בין חברות תאגידים גדולות לבין כולם?

פער כזה נוצר רק במקרה אחד: אם מודל עסקי מתמקד אך ורק במכירת שבבים ללקוחות גדולים. בפועל, יצרנים כמו NVIDIA מטרתם לספק פתרונות ענן לכולם. שבבים מותאמים שלהם זמינים בענן הן ל-OpenAI והן למפתחים עצמאיים.

אפילו בריתות אסטרטגיות בין חברות כמו Google, Anthropic, Microsoft, OpenAI, Amazon ו-NVIDIA הן בעיקר שותפויות לניצול משאבים משותף, ולא ניסיונות לסגור את השוק. מודל זה מאפשר את הקצאת כוח החישוב בצורה יעילה, ובכך מאיץ את הפיתוח הטכנולוגי.

אם נעקב אחר שרשרת השימוש במשאבים החישוביים, היא מתחילה מהמשתמש הסופי. לדוגמה, כאשר אתה משתמש ב-WhatsApp לשיחות וידאו והודעות, החברה חייבת לוודא שהשירות עובד: אחסון ועיבוד נתונים, ריצה של מודלים לניקוי וידאו, הוספת אפקטים ושיפור איכות התמונה.

אחזקת שרתים פרטיים היא יקרה, הם הופכים למיושנים ודורשים תחזוקה קבועה. זה למה פתרונות ענן, “הענן”, הופיעו. השוק מבוקר על ידי שלושה שחקנים: Google Cloud, AWS ו-Microsoft Azure. חברות אחרות לא יכולות להתחרות ברמה הזו: קנה המידה של התשתית הוא גדול מדי.

שירותי ענן הם מרכזי נתונים ענקיים עם קירור, אספקת חשמל ותחזוקה סביב השעון. הם מכילים שרתים ושבבים מיוחדים מ-NVIDIA, AMD ויצרנים אחרים, המאפשרים תהליכים חישוביים בקנה מידה גדול.

כאן אנו מגיעים לשאלה המרכזית שדנתי ב טור הקודם שלי על מרכזי נתונים, ורוצה להמשיך כאן: מהו המחסום העיקרי במערכת הזו? האם זה מחסור בחשמל, או הקושי בקירור מרכזי נתונים באזורים שבהם האקלים הופך אותו לאתגר במיוחד? במציאות, הסוד טמון בשבבים עצמם…

הגביע הקדוש

למה NVIDIA היום מוערכת בסביבות 5 טריליון דולר ונמנית עם החברות המצליחות ביותר בעולם? הסיבה פשוטה: NVIDIA מייצרת את השבבים עליהם מודלי AI מאומנים ומבצעים הסקה.

כל אחד משבבים אלה צורך כמויות עצומות של חשמל כאשר מאמנים מודלים גדולים או מעבדים נפחי נתונים הולכים וגדלים. אבל כיצד יעיל השימוש באנרגיה הזו? זה המקום בו שבבים מיוחדים מגיעים לידי ביטוי; הם מטפלים במשימות ספציפיות הרבה יותר יעיל מאשר GPU כללי.

מודלי AI שונים. OpenAI, למשל, היא משפחה אחת של מודלים, Anthropic – אחרת. המושגים עשויים להיות דומים, אך המבנים המתמטיים והתהליכים החישוביים שונים. שבב כללי אחד, כאשר מאמנים מודלים של OpenAI (כמו ChatGPT) לעומת מודלים של Anthropic (כמו Claude), פועל כ”כלי אחד-גודל-מתאים-לכולם”, צורך, נאמר, 100,000 שעות חישוב למודל אחד ו-150,000 למשנהו. היעילות משתנה באופן משמעותי ולעיתים רחוקות היא אופטימלית.

חברות פותרות בעיה זו על ידי ייצור שבבים מיוחדים. לדוגמה, שבב אחד יכול להיות מותאם לארכיטקטורה של ChatGPT ולאמ