Google’s Multimodal AI Gemini – A Technical Deep Dive

סונדאר פיצ’אי, מנכ”ל גוגל, לצד דמיס חאסאביס מגוגל דיפמיינד, הציגו את ג’מיני בדצמבר 2023. מודל השפה הגדול החדש הזה משולב ברחבי מגוון רחב של מוצרים של גוגל, ומציע שיפורים שמשפיעים על שירותים וכלים המשמשים מיליונים.

ג’מיני, AI הרב-מודאלי המתקדם של גוגל, נולד ממאמצים משותפים של מעבדות DeepMind ו-Brain AI המאוחדות. ג’מיני עומד על כתפיו של קודמיו, ומבטיח לספק חבילת יישומים יותר מחוברת ואינטליגנטית.

ההכרזה על Google Gemini, הממוקמת בקרבת מקרה של Bard, Duet AI, ו-PaLM 2 LLM, מסמנת כוונה ברורה מצד גוגל להוביל ולא רק להתחרות במהפכת ה-AI.

בניגוד לכל רעיון של “חורף AI”, השקת ג’מיני מרמזת על “אביב AI” פורח, הבועד בפוטנציאל וצמיחה. כאשר אנו משקפים על שנה מאז צאת ChatGPT, שהיה בעצמו רגע מכונן עבור AI, המהלך של גוגל מראה כי התפשטות התעשייה היא רחוקה מלהסתיים; למעשה, היא עשויה להתגבר רק עכשיו.

מהו ג’מיני?

מודל ג’מיני של גוגל מסוגל לעבד סוגים שונים של נתונים כגון טקסט, תמונות, אודיו ווידאו. הוא בא בשלוש גרסאות—Ultra, Pro, ו-Nano—כל אחת מותאמת ליישומים ספציפיים, ממשימות סיבות מורכבות ועד לשימוש במכשיר. Ultra מצטיין במשימות רב-פנים ויהיה זמין ב-Bard Advanced, בעוד Pro מציע שיווי משקל בין ביצועים ויעילות משאבים, וכבר משולב ב-Bard עבור פרומפטים טקסטואליים. Nano, המותאם להטמעה במכשיר, בא בשני גדלים וכולל אופטימיזציות חומרה כגון קוונטיזציה 4-ביט לשימוש לא מקוון במכשירים כמו Pixel 8 Pro.

ארכיטקטורת ג’מיני ייחודית ביכולת הפלט הרב-מודאלית, באמצעות טוקנים דיסקרטיים ליצירת תמונות ושילוב מאפיינים אודיו מהמודל האוניברסלי לשפה מדוברת להבנה אודיו מורכבת. יכולתו לטפל בנתוני וידאו כתמונות רציפות, משולבות עם קלטי טקסט או אודיו, ממחישה את כוחו הרב-מודאלי.

Gemini supports sequences of text, image, audio, and video as inputs

גישה לג’מיני

ג’מיני 1.0 יוצא לאור ברחבי האקוסיסטם של גוגל, כולל Bard, אשר כעת נהנה מיכולות הג’מיני Pro. גוגל גם שילבה את ג’מיני לתוך חיפוש, פרסומות ושירותי Duet, משפרת את חוויית המשתמש עם תגובות מהירות ומדויקות יותר.

עבור אלו המעוניינים לנצל את יכולותיו של ג’מיני, Google AI Studio ו-Google Cloud Vertex מציעים גישה ל-Gemini Pro, כאשר האחרון מספק התאמה אישית ומאפייני אבטחה.

כדי לחוות את היכולות המשופרות של Bard המונע על ידי Gemini Pro, משתמשים יכולים לבצע את הצעדים הפשוטים הבאים:

1. נווט ל-Bard: פתחו את הדפדפן המועדף שלכם ולכו לאתר Bard.
2. כניסה בטוחה: גישה לשירות על ידי כניסה לחשבון גוגל שלכם, מבטיחה חוויה חלקה ובטוחה.
3. צ’אט אינטראקטיבי: עכשיו אתם יכולים להשתמש ב-Bard, שם ניתן לבחור בתכונות המתקדמות של Gemini Pro.

כוח הרב-מודאליות:

בליבו, ג’מיני מנצל ארכיטקטורה המבוססת על טרנספורמר, דומה לזו המופעלת במודלים מוצלחים של NLP כמו GPT-3. עם זאת, ייחודיותו של ג’מיני טמונה ביכולתו לעבד ולשלב מידע ממודלים מרובים, כולל טקסט, תמונות וקוד. זאת מושגת דרך טכניקה חדשנית הנקראת תשומת לב רב-מודאלית, המאפשרת למודל ללמוד מערכות יחס ותלות בין סוגים שונים של נתונים.

כאן תיאור של מרכיבי ג’מיני:

• מקודד רב-מודאלי: מודול זה עובד את נתוני הקלט מכל מודל (למשל, טקסט, תמונה) באופן עצמאי, מוציא מאפיינים רלוונטיים ויוצר ייצוגים אינדיבידואליים.
• רשת תשומת לב רב-מודאלית: רשת זו היא ליבה של ג’מיני. היא מאפשרת למודל ללמוד יחסים ותלויות בין הייצוגים, מאפשרת להם “לדבר” זה עם זה ולעשר את הבנתם.
• מפענח רב-מודאלי: מודול זה מנצל את הייצוגים העשירים שנוצרו על ידי רשת תשומת הלב הרב-מודאלית, כדי לבצע משימות שונות, כגון כתיבת כותרות לתמונות, יצירת תמונות מטקסט ויצירת קוד.

מודל ג’מיני אינו רק עוסק בהבנת טקסט או תמונות—הוא עוסק בשילוב סוגים שונים של מידע בדרך שהיא הרבה יותר קרובה לאופן שבו אנו, בני אדם, תופסים את העולם. למשל, ג’מיני יכול להסתכל על רצף של תמונות ולקבוע את הסדר הלוגי או המרחבי של אובייקטים בתוכן. הוא גם יכ