כאשר סוכני בינה מלאכותית מתחילים לבנות בינה מלאכותית: פיצוץ המודיעין הרקורסיבי שאף אחד לא מוכן אליו

במשך עשרות שנים, בינה מלאכותית התקדמה בצעדים זהירים, ליניאריים ברובם. חוקרים בנו מודלים. מהנדסים שיפרו ביצועים. ארגונים פרסו מערכות כדי להפוך משימות ספציפיות לאוטומטיות. כל שיפור היה תלוי במידה רבה בתכנון ובפיקוח אנושיים. דפוס זה נשבר כעת. בשקט אך בהחלטיות, מערכות בינה מלאכותית חוצות סף שבו הן כבר לא רק כלים שנבנו על ידי בני אדם. הן הופכות לבונים בעצמן.

סוכני בינה מלאכותית מתחילים לתכנן, להעריך ולפרוס מערכות בינה מלאכותית אחרות. בעשותם כן, הם יוצרים לולאות משוב שבהן כל דור משפר את הבא אחריו. שינוי זה אינו מכריז על עצמו בכותרות דרמטיות. הוא מתפתח באמצעות מאמרי מחקר, כלי פיתוח ופלטפורמות ארגוניות. עם זאת, השלכותיו עמוקות. כאשר אינטליגנציה יכולה לשפר את עצמה באופן רקורסיבי, ההתקדמות כבר לא עוקבת אחר צירי זמן או אינטואיציות אנושיות. היא מאיצה.

מאמר זה בוחן כיצד הגענו לרגע זה, מדוע בינה רקורסיבית חשובה, ומדוע החברה הרבה פחות מוכנה לכך ממה שהיא צריכה להיות. פיצוץ המודיעין, שבעבר היה רעיון פילוסופי, הפך כעת לאתגר הנדסי קונקרטי.

האבולוציה של פיצוץ המודיעין

הרעיון שמכונה יכולה לשפר את האינטליגנציה שלה קדם למחשוב המודרני. בתחילת שנות ה-1960, המתמטיקאי הבריטי איי ג'יי גוד הציג הקונספט של "פיצוץ מודיעיני"הנימוק שלו היה שאם מכונה תהפוך לחכמה מספיק כדי לשפר את העיצוב שלה, אפילו במעט, הגרסה המשופרת תהיה טובה יותר בשיפור העיצוב הבא. מחזור זה יכול לחזור על עצמו במהירות, מה שמוביל לצמיחה הרבה מעבר להבנה או לשליטה אנושית. באותה תקופה, זה היה ניסוי מחשבתי פילוסופי, שנידון יותר בתיאוריה מאשר בפועל.

מספר עשורים לאחר מכן, הרעיון קיבל בסיס טכני בזכות עבודתו של מדען המחשב יורגן שמידהובר. הצעתו של מכונת גודל תיאר מערכת שיכולה לכתוב מחדש כל חלק מהקוד שלה, בתנאי שתוכל להוכיח רשמית שהשינוי ישפר את ביצועיה העתידיים. בניגוד למערכות למידה מסורתיות, אשר מתאימות פרמטרים בתוך ארכיטקטורות קבועות, מכונת גדל יכלה לשנות את כללי הלמידה שלה. למרות היותה עדיין תיאורטית, עבודה זו תיארה מחדש את פיצוץ המודיעין כמשהו שניתן ללמוד, למסד ולבסוף לבנות.

המעבר הסופי מתיאוריה למעשה הגיע עם עלייתם של סוכני בינה מלאכותית מודרניים. מערכות אלו אינן רק מייצרות פלטים בתגובה להנחיות. הן מתכננות, מסבירות, פועלות, צופות בתוצאות ומתאימות התנהגות לאורך זמן. עם הופעתן של ארכיטקטורות סוכניות, התפוצצות האינטליגנציה עברה מפילוסופיה להנדסה. ניסויים מוקדמים, כגון מכונת דרווין גודל מושגים, רומזים על מערכות שמתפתחות באמצעות שיפור עצמי איטרטיבי. מה שמייחד את הרגע הזה הוא רקורסיה. כאשר סוכן בינה מלאכותית יכול ליצור ולשפר סוכנים אחרים, למידה מכל איטרציה, מעלה את השיפור.

כאשר סוכני בינה מלאכותית מתחילים לבנות בינה מלאכותית

שתי מגמות עיקריות מניעות את המעבר הזה. הראשונה היא עלייתן של מערכות בינה מלאכותית סוכניות. מערכות אלו רודפות אחר מטרות לאורך תקופות ממושכות, מפרקות משימות לשלבים, מתאמות כלים ומתאימות את עצמן על סמך משוב. הן אינן מודלים סטטיים. הן תהליכים.

המגמה השנייה היא למידת מכונה אוטומטית. כיום קיימות מערכות שיכולות לתכנן ארכיטקטורות, לכוונן היפר-פרמטרים, ליצור צינורות אימון ואף להציע אלגוריתמים חדשים עם מינימום קלט אנושי. כאשר חשיבה סוכנית משתלבת עם יצירת מודל אוטומטית, בינה מלאכותית משיגה את היכולת לבנות בינה מלאכותית.

זה כבר לא תרחיש היפותטי. סוכנים אוטונומיים כמו AutoGPT להדגים כיצד מטרה אחת יכולה להפעיל מחזורים של תכנון, ביצוע, הערכה ותיקון. בסביבות מחקר, מערכות כמו המדען של Sakana AI-v2 ו AlphaEvolve של DeepMind מראים סוכנים המתכננים ניסויים, מציעים אלגוריתמים ומשפרים פתרונות באמצעות משוב איטרטיבי. חיפוש אדריכלות עצביתמערכות בינה מלאכותית כבר מגלות מבני מודל המתחרים או עולים על רשתות שתוכננו על ידי בני אדם. מערכות אלו לא רק פותרות בעיות. הן משפרות את המנגנונים המשמשים לפתרון בעיות. כל מחזור מייצר כלים טובים יותר, המאפשרים מחזורים טובים יותר.

כדי להגדיל את התהליך הזה, חוקרים וחברות מסתמכים יותר ויותר על תזמורת ארכיטקטורות. מטא-סוכן מרכזי מקבל מטרה ברמה גבוהה. הוא מפרק את המשימה לתת-בעיות, מייצר סוכנים ייעודיים לטיפול בהן, מעריך תוצאות באמצעות נתונים מהעולם האמיתי ומשלב את התוצאות הטובות ביותר. עיצובים גרועים נזרקים ועיצובים מוצלחים מתחזקים. עם הזמן, המתזמר משתפר בתכנון סוכנים בעצמם.

בעוד שציר הזמן המדויק למועד שבו סוכני בינה מלאכותית יבנו וישפרו באופן מלא מערכות בינה מלאכותית אחרות נותר לא ודאי, מסלולי מחקר והערכות עדכניים של מובילים חוקרי AI ו מתרגלים מצביע על כך שהמעבר מתקרב מהר יותר ממה שרבים מצפים. גרסאות מוקדמות ומוגבלות של יכולת זו כבר מופיעות במעבדות מחקר ובפריסות ארגוניות, שם סוכנים מתחילים לתכנן, להעריך ולשפר מערכות אחרות עם מעורבות אנושית מוגבלת.

הופעתה של חוסר הוודאות

בינה רקורסיבית מציגה אתגרים שאוטומציה מסורתית מעולם לא התמודדה איתם. אחד האתגרים הללו הוא חוסר יכולת לחזות ברמת המערכת. כאשר סוכנים רבים מקיימים אינטראקציה, ההתנהגות הקולקטיבית שלהם יכולה לסטות מהכוונות שמאחורי העיצובים האינדיבידואליים שלהם. תופעה זו ידועה בשם התנהגות מתפרצת.

התהוות נובעת לא מרכיב פגום יחיד, אלא מאינטראקציות בין רכיבים רבים בעלי יכולת גבוהה. חשבו על מערכות מסחר אוטומטיות. כל סוכן מסחר עשוי לפעול לפי כללים רציונליים שנועדו למקסם את הרווח במסגרת מגבלות. עם זאת, כאשר אלפי סוכנים כאלה מקיימים אינטראקציה במהירות גבוהה, יכולות להיווצר לולאות משוב. תגובת סוכן אחד יכולה לעורר תגובה של סוכן אחר, אשר יכולה לעורר תגובה נוספת, עד שהמערכת מתערערת. קריסות שוק יכולות להתרחש מבלי שאף סוכן יחיד יפעל בצורה תקלה. כשל זה אינו מונע מכוונה זדונית. הוא נובע מחוסר יישור בין אופטימיזציה מקומית למטרות כלל-מערכתיות. אותה דינמיקה יכולה לחול גם על תחומים אחרים.

משבר היישור הרב-סוכני

מחקר מסורתי של התאמת בינה מלאכותית התמקד בהתאמת מודל יחיד לערכים אנושיים. השאלה הייתה פשוטה: כיצד אנו מבטיחים שהמערכת הזו תתנהג כפי שאנו מתכוונים? שאלה זו הופכת... קשה יותר באופן משמעותי כאשר המערכת מכילה עשרות, מאות או אלפי סוכנים הפועלים באינטראקציה. יישור סוכנים בודדים אינו מבטיח התנהגות מערכת מיושרת. גם כאשר כל רכיב פועל לפי הכללים שלו, התוצאה הקולקטיבית עלולה להיות מזיקה. שיטות הבטיחות הקיימות אינן מתאימות היטב לגילוי או מניעה של כשלים אלה.

סיכוני אבטחה גם הם מתרבים. סוכן פרוץ ברשת מרובת סוכנים יכול להרעיל את המידע עליו מסתמכים סוכנים אחרים. מאגר נתונים פגום יחיד יכול להפיץ התנהגות לא מתואמת על פני המערכת כולה. פגיעויות התשתית המאיימות על סוכן אחד יכולות להתפשט כלפי מעלה ולאיים על מודלים בסיסיים. משטח ההתקפה מתרחב עם כל סוכן חדש שנוסף.

בינתיים, פער הממשל ממשיך להתרחב. מחקר מ מיקרוסופט וארגונים אחרים מצאו שרק לאחת מכל עשר חברות יש אסטרטגיה ברורה לניהול זהויות סוכן בינה מלאכותית והרשאות. למעלה מארבעים מיליארד זהויות אוטונומיות צפויות להתקיים עד סוף השנה. רובן פועלות עם גישה רחבה לנתונים ולמערכות אך ללא פרוטוקולי האבטחה החלים על משתמשים אנושיים. המערכות מתקדמות במהירות. מנגנוני פיקוח אינם כאלה.

בשורה התחתונה

בינה מלאכותית נכנסה לשלב בו היא יכולה לשפר את עצמה על ידי בניית גרסאות טובות יותר של עצמה. בינה רקורסיבית, מונעת על ידי סוכנים, מבטיחה הישגים יוצאי דופן, אך היא גם מציגה סיכונים שמתרחב מהר יותר מפיקוח, משילות ואינטואיציה אנושיים. האתגר העומד בפנינו אינו האם ניתן לעצור את השינוי הזה, אלא האם בטיחות, יישור אחריות ואחריותיות יכולים להתקדם באותו קצב כמו יכולת. אם לא יעשו זאת, התפוצצות המודיעין תחרוג מיכולתנו להוביל אותה.