האם GPT-4 יביא אותנו קרוב יותר למהפכה אמיתית של AI?

זה כבר כמעט שלוש שנים מאז GPT-3 הוצג, בחודש מאי 2020. מאז, המודל ליצירת טקסט AI גרף הרבה עניין בזכות יכולתו ליצור טקסט שנראה ונשמע כאילו נכתב על ידי אדם. עכשיו נראה שהגרסה הבאה של התוכנה, GPT-4, נמצאת סביב הפינה, עם תאריך הפצה משוער בתחילת 2023.

בעליל, על אף הציפייה הרבה לחדשות AI האלה, הפרטים המדויקים על GPT-4 היו קצת מעורפלים. OpenAI, החברה שמאחורי GPT-4, לא פרסמה הרבה מידע על המודל החדש, כגון תכונותיו או יכולותיו. אולם, התקדמויות אחרונות בתחום AI, במיוחד בנוגע לעיבוד שפה טבעית (NLP), עשויות לספק כמה רמזים על מה שאנו יכולים לצפות מ-GPT-4.

מהו GPT?

לפני שנכנסים לפרטים, זה מועיל להגדיר בסיס למהו GPT. GPT ראשי תיבות של Generative Pre-trained Transformer, והוא מתייחס למודל רשת נוירונים עמוקה שמאומן על נתונים זמינים מהאינטרנט כדי ליצור כמויות גדולות של טקסט מיוצר מכונה. GPT-3 הוא הדור השלישי של טכנולוגיה זו, והוא אחד ממודלי AI ליצירת טקסט המתקדמים ביותר הזמינים כיום.

חשבו על GPT-3 כמערכת הפועלת במעט כמו עוזרים קוליים, כגון Siri או Alexa, רק בקנה מידה הרבה יותר גדול. במקום לבקש מ-Alexa לנגן את השיר האהוב עליכם או להשתמש ב-Siri כדי לכתוב הודעה, אתם יכולים לבקש מ-GPT-3 לכתוב ספר אלקטרוני שלם בתוך כמה דקות או ליצור 100 רעיונות לפוסטים ברשתות החברתיות בפחות מדקה. כל מה שהמשתמש צריך לעשות הוא לספק פרומפט, כגון “כתוב לי מאמר בן 500 מילים על חשיבות היצירתיות”. כל עוד הפרומפט ברור וספציפי, GPT-3 יכול לכתוב כמעט הכל שתבקשו.

מאז שחרורו לציבור, GPT-3 מצא הרבה יישומים עסקיים. חברות משתמשות בו לסיכום טקסט, תרגום שפה, יצירת קוד, ואוטומציה בקנה מידה גדול של כמעט כל משימת כתיבה.

אמרו, בעוד GPT-3 בהחלט מרשים ביכולתו ליצור טקסט הדומה לזה שנכתב על ידי אדם, הוא רחוק מלהיות מושלם. בעיות נוטות לצוץ כאשר מתבקש לכתוב יצירות ארוכות, במיוחד כאשר מדובר בנושאים מורכבים שדורשים תובנה. לדוגמה, פרומפט ליצור קוד מחשב לאתר אינטרנט עלול להחזיר קוד נכון אך לא אופטימלי, כך שמתכנת אנושי עדיין צריך להיכנס ולשפר. זו בעיה דומה עם מסמכי טקסט גדולים: ככל שכמות הטקסט גדולה יותר, כך גדלה הסבירות ששגיאות – לפעמים משעשעות – יופיעו וידרשו תיקון על ידי כותב אנושי.

פשוטו כמשמעו, GPT-3 אינו מחליף מושלם לכותבים או מתכנתים אנושיים, ואין לראות בו כזה. במקום זאת, GPT-3 צריך להיראות כעוזר כתיבה, שיכול לחסוך לאנשים הרבה זמן כאשר הם צריכים ליצור רעיונות לפוסטים בבלוג או טיוטות לפרסומות או הודעות לעיתונות.

האם יותר פרמטרים = טוב יותר?

דבר אחד להבין על מודלים של AI הוא כיצד הם משתמשים בפרמטרים כדי לבצע ניבוי. הפרמטרים של מודל AI מגדירים את תהליך הלמידה ומספקים מבנה לפלט. מספר הפרמטרים במודל AI שימש בדרך כלל כאינדיקטור לביצועים. ככל שיש יותר פרמטרים, המודל הוא יותר חזק, חלק וצפוי, לפחות על פי השערת הקנה.

לדוגמה, כאשר GPT-1 שוחרר ב-2018, הוא היה בעל 117 מיליון פרמטרים. GPT-2, ששוחרר שנה לאחר מכן, היה בעל 1.2 מיליארד פרמטרים, בעוד GPT-3 העלה את המספר עוד יותר ל-175 מיליארד פרמטרים. על פי ריאיון עם Wired מאוגוסט 2021, אנדרו פלדמן, מייסד ומנכ”ל Cerebras, חברה ששותפה עם OpenAI, הזכיר כי GPT-4 יהיה בעל כ-100 טריליון פרמטרים. זה היה עשוי להפוך את GPT-4 ל-100 פעמים יותר חזק מ-GPT-3, קפיצה עצומה בגודל הפרמטר, שהיא, בהחלט, עשתה הרבה אנשים מאוד מתרגשים.

אולם, על אף הטענה המרשימה של פלדמן, יש סיבות טובות לחשוב ש-GPT-4 לא יהיה בעל 100 טריליון פרמטרים. ככל שמספר הפרמטרים גדל, המודל הופך ליותר יקר לאימון ולכוונון בגלל כמויות העצומות של כוח חישוב הנדרש.

פלוס, יש יותר גורמים מאשר רק מספר הפרמטרים שקובעים את יעילות המודל. לדוגמה, Megatron-Turing NLG, מודל יצירת טקסט שנבנה על ידי Nvidia ו-Microsoft, הוא בעל יותר מ-500 מיליארד פרמטרים. על אף גודלו, MT-NLG לא מגיע ל-GPT-3 במונחים של ביצועים. בקיצור, גדול לא בהכרח משמעות טוב יותר.

סביר להניח, GPT-4 יהיה בעל יותר פרמטרים מ-GPT-3, אך עדיין לא ברור אם מספר זה יהיה גדול פי עשרה. במקום זאת, יש אפשרויות מרתקות אחרות ש-OpenAI כנראה רודפת, כגון מודל חסכוני יותר שמתמקד בשיפורים איכותיים בעיצוב אלגוריתמי והתאמה. ההשפעה המדויקת של שיפורים כאלה קשה לחזות, אך מה שידוע הוא כי מודל דליל יכול להפחית עלויות חישוב דרך מה שנקרא חישוב מותנה, כלומר לא כל הפרמטרים במודל AI יפעלו כל הזמן, מה שדומה לאופן שבו נוירונים במוח האנושי פועלים.

אז, מה GPT-4 יוכל לעשות?

עד ש-OpenAI תוציא הצהרה חדשה או אפילו תשחרר GPT-4, אנו מותירים לשער כיצד הוא יתהווה מ-GPT-3. בכל אופן, אנו יכולים לעשות כמה תחזיות

אף על פי שעתיד הפיתוח של AI הוא רב-מודאלי, GPT-4 כנראה יישאר רק טקסט. כבני אדם, אנו חיים בעולם רב-חושי שמלא בגירויים שונים של שמיעה, ראייה וטקסט. לכן, זה בלתי נמנע שפיתוח AI יוביל בסופו של דבר למודל רב-מודאלי שיכול לשלב סוגים שונים של גירויים.

אולם, מודל רב-מודאלי טוב הרבה יותר קשה לע