בינה מלאכותית
הטכניקה מאפשרת לבינה מלאכותית לחשוב רחוק אל העתיד
צוות חוקרים מ-MIT, מעבדת MIT-IBM Watson AI ומוסדות אחרים פיתח גישה חדשה המאפשרת לסוכני בינה מלאכותית (AI) להשיג פרספקטיבה מרוחקת ראייה. במילים אחרות, הבינה המלאכותית יכולה לחשוב הרבה אל העתיד כאשר שוקלים כיצד ההתנהגויות שלהם יכולות לכלול התנהגויות של סוכני בינה מלאכותית אחרים בעת השלמת משימה.
השמיים מחקר אמור להיות מוצג ב כנס למערכות עיבוד מידע עצבי.
AI בהתחשב בפעולות העתידיות של סוכנים אחרים
מסגרת למידת המכונה שנוצרה על ידי הצוות מאפשרת לסוכני AI שיתופיים או תחרותיים לשקול מה יעשו סוכנים אחרים. זה לא רק במהלך השלבים הבאים אלא כשהזמן מתקרב לאינסוף. הסוכנים מתאימים את התנהגויותיהם בהתאם כדי להשפיע על התנהגויות עתידיות של סוכנים אחרים, ולסייע להם להגיע לפתרונות מיטביים לטווח ארוך.
לדברי הצוות, המסגרת יכולה לשמש, למשל, קבוצה של מל"טים אוטונומיים שעובדים יחד כדי למצוא מטייל אבוד. זה יכול לשמש גם כלי רכב בנהיגה עצמית כדי לצפות את המהלכים העתידיים של כלי רכב אחרים כדי לשפר את בטיחות הנוסעים.
דונג-קי קים הוא סטודנט לתואר שני במעבדת MIT למערכות מידע והחלטות (LIDS) והמחבר הראשי של עבודת המחקר.
"כאשר סוכני בינה מלאכותית משתפים פעולה או מתחרים, הדבר החשוב ביותר הוא כאשר ההתנהגויות שלהם מתכנסות בשלב מסוים בעתיד", אומר קים. "יש הרבה התנהגויות חולפות לאורך הדרך שלא חשובות במיוחד בטווח הארוך. להגיע להתנהגות המתכנסת הזו זה מה שבאמת אכפת לנו ממנו, וכעת יש לנו דרך מתמטית לאפשר זאת".
הבעיה בה התמודדו החוקרים נקראת למידת חיזוק רב-סוכנים, כאשר למידת חיזוק היא סוג של למידת מכונה שבה סוכני AI לומדים על ידי ניסוי וטעייה.
בכל פעם שיש מספר סוכנים שיתופיים או מתחרים לומדים בו זמנית, התהליך יכול להיות הרבה יותר מורכב. ככל שסוכנים שוקלים עוד צעדים עתידיים של הסוכנים האחרים, כמו גם את ההתנהגות שלהם ואת האופן שבו היא משפיעה על אחרים, הבעיה דורשת יותר מדי כוח חישוב.
AI חושב על אינסוף
"ה-AI באמת רוצה לחשוב על סוף המשחק, אבל הם לא יודעים מתי המשחק יסתיים", אומר קים. "הם צריכים לחשוב איך להמשיך להתאים את ההתנהגות שלהם לאינסוף כדי שיוכלו לנצח בזמן רחוק בעתיד. המאמר שלנו מציע בעצם מטרה חדשה המאפשרת לבינה מלאכותית לחשוב על אינסוף."
אי אפשר לשלב אינסוף באלגוריתם, אז הצוות עיצב את המערכת בצורה שסוכנים יתמקדו בנקודה עתידית שבה ההתנהגות שלהם תתכנס עם סוכנים אחרים. זה מכונה שיווי משקל, ונקודת שיווי משקל קובעת את הביצועים לטווח ארוך של סוכנים.
ייתכן ששיווי משקל מרובים יתקיימו בתרחיש מרובה סוכנים, וכאשר סוכן יעיל משפיע באופן פעיל על התנהגויות עתידיות של סוכנים אחרים, הם יכולים להגיע לשיווי משקל רצוי מנקודת המבט של הסוכן. כאשר כל הסוכנים משפיעים זה על זה, הם מתכנסים למושג כללי המכונה "שיווי משקל פעיל".
מסגרת נוספת
מסגרת למידת המכונה של הצוות נקראת FURTHER, והיא מאפשרת לסוכנים ללמוד כיצד להתאים את ההתנהגויות שלהם על סמך האינטראקציות שלהם עם סוכנים אחרים כדי להשיג שיווי משקל פעיל.
המסגרת מסתמכת על שני מודולים של למידת מכונה. הראשון הוא מודול הסקה המאפשר לסוכן לנחש את ההתנהגויות העתידיות של סוכנים אחרים ואת האלגוריתמים הלימודיים שבהם הם משתמשים בהתבסס על פעולות קודמות. לאחר מכן, המידע מוזן למודול למידת החיזוק, עליו מסתמך הסוכן כדי להתאים את התנהגותו ולהשפיע על סוכנים אחרים.
"האתגר היה לחשוב על אינסוף. היינו צריכים להשתמש בהרבה כלים מתמטיים שונים כדי לאפשר זאת, ולהניח כמה הנחות כדי לגרום לזה לעבוד בפועל", אומר קים.
הצוות בדק את השיטה שלהם מול מסגרות למידה אחרות לחיזוק ריבוי-סוכן בתרחישים שונים שבהם סוכני הבינה המלאכותית שמשתמשים ב-FURTHER יצאו קדימה.
הגישה היא מבוזרת, כך שהסוכנים לומדים לנצח באופן עצמאי. נוסף על כך, הוא מתוכנן טוב יותר לקנה מידה בהשוואה לשיטות אחרות הדורשות מחשב מרכזי כדי לשלוט בסוכנים.
לדברי הצוות, FURTHER יכול לשמש במגוון רחב של בעיות ריבוי סוכנים. קים מקווה במיוחד ליישומיה בכלכלה, שם ניתן ליישם אותה לפיתוח מדיניות נכונה במצבים הכוללים ישויות רבות באינטראקציה עם התנהגויות ותחומי עניין המשתנים עם הזמן.
