האינסטינקט החדש של AI: למה חשיבה חכמה יותר משמעותית מאשר חשיבה ארוכה יותר

התקדמויות בבינה מלאכותית (AI) הונעו במשך השנים על ידי האמונה שהגדלת נתונים וכוח חישוב יכולה לשפר ביצועים. גישה זו של “כוח ברוטאלי” הובילה למערכות AI מרשימות, כגון GPT-3, שביצעו בצורה מרשימה לאורך השנים. אולם, פרדיגמה זו מגיעה לגבולותיה. ככל שבעיות AI הופכות למורכבות יותר, היא הופכת לברורה שפשוט הוספת יכולת עיבוד לא תהיה פתרון בר קיימא או יעיל לקידום ארוך טווח. הבנה זו גרמה לחוקרים לשקול מחדש את גישתם לפיתוח AI. בהקשר זה, מודל Cogito v2 של Deep Cogito מציג גישה חדשה שעלולה לשנות את עתיד פיתוח AI. במקום להסתמך על יכולת עיבוד רבה יותר או תהליכי היגיון ממושכים, Cogito v2 מפתח “אינסטינקטים פנימיים” שמובילים את המודל לזהות את הנתיבים הנכונים לפני שהוא אפילו מתחיל את החיפוש. זוהי מהפכה בדרך שבה AI מפותח על ידי התמקדות בחשיבה טובה יותר, לא ארוכה יותר.

מהפך בפיתוח AI

במשך הרבה שנים, הכוח המניע מאחורי התקדמויות AI היה הרעיון ש”יותר זה טוב יותר”. גישה זו הובילה למודלים AI שיוצרים שרשראות היגיון נרחבות כדי לפתור בעיות מורכבות. מודלים של OpenAI, כגון GPT-3, הם דוגמה לגישה זו, שבה שרשראות היגיון ארוכות יותר הובילו לתוצאות מרשימות במשימות קשות. אף על פי ששיטה זו הניבה תוצאות מרשימות, היא באה עם חסרונות משמעותיים. שרשראות היגיון ארוכות יותר דורשות משאבים חישוביים רבים יותר, מה שתוצאתו זמני היקשרות איטיים יותר ועלויות הפעלה גבוהות יותר. עוד יותר, מחקרים הראו כי תהליכים ממושכים אלה לעיתים קרובות מובילים לתשואה פוחתת, שבה היגיון ארוך יותר מוביל להטיה רבה יותר ופחות יעילות. הבעיה העיקרית היא שתלות בשרשראות היגיון ארוכות והגדלת כוח חישוב אינה עוד פתרון יעיל לטיפול בבעיות AI מורכבות. גישות אלה מוגבלות על ידי זמני עיבוד ודרישות זיכרון עצומות.

למה “אינסטינקט” חשוב ל-AI

בניגוד למערכות AI נוכחיות התלויות בהיגיון ממושך, בני אדם נוטים לסמוך על מה שנקרא “אינסטינקט” (צורה של שיפוט מהיר ואינטואיטיבי) כדי לפתור בעיות. בעוד שאינסטינקט עלול להיראות כמושג מופשט, הוא לעיתים קרובות תוצאה של שנים של ניסיון, למידה ועיבוד הקשר שמאפשרים לבני אדם לקבל החלטות מהירות ללא ביצוע ניתוח מלא של כל הפרטים. זו סוג זה של אינטואיציה שמבדיל בין חישוב גולמי לתהליך היגיון אנושי. בני אדם בונים את ה”אינסטינקט” הזה דרך זיהוי תבניות וניסיון מצטבר, והוא מאפשר לנו לקבל החלטות ללא חיפוש ממצה של כל אפשרות אפשרית. ה”אינסטינקט” החדש של AI מטרתו לשחזר תהליך זה.

איך Cogito v2 שילב “אינסטינקט”

Cogito שילב את הרעיון של “אינסטינקט” (באופן טכני יותר, “אינטליגנציה קודמת”) לתוך מודלו Cogito v2. הם שילבו רעיון זה באמצעות מנגנון הנקרא Iterated Distillation and Amplification (IDA). מנגנון זה מאפשר למודל ללמוד מתהליך ההיגיון שלו ולשפר את כישורי פתרון הבעיות שלו במשך הזמן. במקום להסתמך על פרומפטים סטטיים או מורים קבועים, IDA מאפשר ל-AI להפיק מחדש נתיבי היגיון מוצלחים בחזרה לפרמטרים הליבה של המודל. תהליך השיפור העצמי הזה משפר את יכולת ההיגיון של המודל במשך הזמן, מותאם לא רק לתשובות מדויקות, אלא גם לשיטות חשיבה היעילות ביותר.

• Iterated Distillation and Amplification (IDA)

כדי להבין כיצד IDA עובד, ניתן להביט על דואל-פרוסס תיאוריה, המחלקת את החשיבה האנושית לשני מערכות: מערכת 1 ומערכת 2. מערכת 1 מתייחסת לקבלת החלטות מהירה ואינטואיטיבית, בעוד מערכת 2 היא איטית יותר, עם היגיון מכוון יותר. התיאוריה מציעה כי בני אדם סומכים על מערכת 1 לרוב המשימות, אך עוברים למערכת 2 כאשר הם מוצגים בפני החלטות מורכבות יותר.
IDA הוא מחזור של שני שלבים: הגברה והפיכה. בשלב ההגברה, המודל משתמש בשיטות חישוב אינטנסיביות כדי ליצור פתרונות או עקבות היגיון של הighest איכות. זה דומה לחשיבה של מערכת 2, שבה ה-AI לוקח זמן להעריך בקפידה פתרונות פוטנציאליים. בשלב ההפיכה, המודל משתלט על התובנות משלב ההגברה, משנה את תהליך ההיגיון ממערכת 2 למערכת 1. כמו שנהג אנושי הופך ליותר אינטואיטיבי לאחר רכישת ניסיון, מודל AI עם IDA יכול לקבל החלטות מהירות ויעילות יותר במשך הזמן.
הרעיון המרכזי מאחורי IDA הוא להשתמש בהיגיון חישובי אינטנסיבי בשלב ההגברה, ואז להפיק מחדש את ההיגיון המשופר בחזרה לפרמטרים של המודל. תהליך זה מאפשר למודל לשלב אסטרטגיות היגיון יעילות שבונות את היכולת שלו לחשוב באופן אינטואיטיבי בעת פתרון בעיות. על ידי חזרה על מחזור זה, מערכת ה-AI משפרת באופן תמידי את יכולתה לקבל החלטות עם פחות משאבים חישוביים.

יתרונות השילוב של “אינסטינקט” ל-AI

אחד היתרונות העיקריים של “אינסטינקט” של AI הוא היעילות. מודלים כמו Cogito v2 מדגימים שרשראות היגיון שהן עד 60% קצרות יותר מאלו של מודלים מתחרים. זאת אומרת שהם יכולים להגיע לתשובות עם פחות צעדים פנימיים, מה שמקטין את הזמן והמשאבים הדרושים להיקשרות. לדוגמה, בעיה שעלולה לקחת ל-DeepSeek R1 יותר מ-200 טוקנים לפתור, יכולה Cogito v2 לפתור בפחות מ-100 טוקנים.
בנוסף, עלות האימון של Cogito v2 היא משמעותית נמוכה יותר מזו של מודלים AI מסורתיים. תהליך האימון השלם של Cogito v2, הכולל מגוון רחב של פרמטרים, עלה פחות מ-3.5 מיליון דולר, שהוא הרבה פחות מההוצאות הקשורות בדרך כלל למודלים בקנה מידה גדול כמו GPT-4.
Cogito v2 הפגין גם יכולות מתעוררות בתחומים שלא הוכשרו במפורש. לדוגמה, על אף שהוא הוכשר בעיקר על טקסט, Cogito v2 יכול להיגיון על תמונות, משוך מסקנות על הרכב ובתי גידול. יכולת חשיבה חוצה-מודאלית זו היא צעד משמעותי לעבר אינטליגנציה כללית, ציון דרך חשוב בדרך לאינטליגנציה כללית מלאכותית (AGI).

אתחול מחדש של פיתוח AI

הצלחת “אינטליגנציה קודמת” מרמזת כי אסטרטגיות פיתוח AI זקוקות לשינוי מהותי. במקום להסתמך על הגדלת גודל המודל או הגדלת משאבים חישוביים, פיתוח AI צריך להתמקד בבניית מערכות שיכולות לפתח ולשפר את האסטרטגיות הקוגניטיביות שלהן. שינוי זה משקף את התפתחות הקוגניטיבית האנושית, שבה אינטליגנציה אינה תוצאה של מוח גדול יותר או זמן חשיבה ארוך יותר, אלא דגמים מנטליים ואסטרטגיות היגיון טובות יותר. שינוי זה עלול להיות בעל השלכות ארוכות טווח. על ידי התמקדות בחשיבה חכמה יותר מאשר בכוח חישוב גולמי, AI יכול להיות יותר גמיש, ניתן להתאמה ומסוגל להתמודד עם אתגרים חדשים. שינוי זה עלול לאצלר את יישומה של AI בתחומים כמו בריאות, אבטחת סייבר ותחבורה אוטונומית, מה שהופך את מערכות AI ליעילות, יעילות והשפעה רבה יותר.

המסקנה

הצלחת Cogito v2 מדגימה כי עתיד ה-AI טמון לא בהגדלת מודלים או הגדלת כוח חישוב, אלא בשיפור ארכיטקטורות היגיון ואופטימיזציה לפתרון בעיות חכם יותר. שינוי זה מבטיח עתיד יותר בר קיימא ונגיש יותר ל-AI, שבו מערכות יכולות לשפר ולהסתגל בפחות תלות במשאבים חישוביים עצומים. על ידי התמקדות בהיגיון אינטליגנטי במקום חישוב “ברוטאלי”, AI יכול להיות יותר מסוגל לטפל בבעיות מורכבות ואמיתיות.