נח שוורץ, מייסד שותף ומנכ"ל Quorum AI – סדרת ראיונות

נוח הוא ארכיטקט מערכות בינה מלאכותית. לפני ההקמה קוורום AI, נח בילה 12 שנים במחקר אקדמי, תחילה באוניברסיטת דרום קליפורניה ולאחרונה ב-Northwestern בתור עוזר יו"ר הנוירוביולוגיה. עבודתו התמקדה בעיבוד מידע במוח והוא תרגם את מחקריו למוצרים במציאות רבודה, ממשקי מוח-מחשב, ראייה ממוחשבת ומערכות בקרה רובוטיות משובצות.

העניין שלך בבינה מלאכותית ורובוטיקה התחיל כילד קטן. איך הוצגת לראשונה לטכנולוגיות האלה?

הניצוץ הראשוני הגיע מסרטי מדע בדיוני ואהבה לאלקטרוניקה. אני זוכר שצפיתי בסרט, טרון, כילד בן 8, ואחריו חלומות חשמליים, קצר חשמלי, DARYL, משחקי מלחמה ואחרים במהלך השנים הבאות. למרות שזה הוצג באמצעות סיפורת, עצם הרעיון של בינה מלאכותית העיף אותי. ולמרות שהייתי רק בן 8, הרגשתי את החיבור המיידי הזה ואת המשיכה האינטנסיבית ל-AI שמעולם לא פחתה בזמן שחלפו מאז.

איך התפתחו התשוקות שלך לשניהם?

העניין שלי בבינה מלאכותית ורובוטיקה התפתח במקביל לתשוקה למוח. אבא שלי היה מורה לביולוגיה ולימד אותי על הגוף, איך הכל עובד ואיך הכל קשור. להסתכל על AI ולהסתכל על המוח הרגיש לי כמו אותה בעיה - או לפחות, הייתה להם אותה שאלה אולטימטיבית, שהיא, איך זה עובד? התעניינתי בשניהם, אבל לא זכיתי לחשיפה רבה לבינה מלאכותית או לרובוטיקה בבית הספר. מסיבה זו, בהתחלה למדתי בינה מלאכותית בזמני ולמדתי ביולוגיה ופסיכולוגיה בבית הספר.

כשהגעתי לקולג', גיליתי את ספרי עיבוד מבוזר במקביל (PDP)., מה שהיה ענק עבורי. הם היו ההיכרות הראשונה שלי עם בינה מלאכותית, שהובילה אותי בחזרה לקלאסיקה כמו Hebb, רוזנבלט, ואפילו מקולוך ופיטס. התחלתי לבנות רשתות עצביות המבוססות על נוירואנטומיה ומה שלמדתי משיעורי ביולוגיה ופסיכולוגיה בבית הספר. לאחר סיום הלימודים, עבדתי כמהנדס רשתות מחשבים, בניתי רשתות מורכבות, רחבות שטח וכתיבת תוכנות לאוטומציה וניהול זרימת התעבורה ברשתות האלה - בערך כמו בניית מוחות גדולים. העבודה הציתה מחדש את התשוקה שלי לבינה מלאכותית והניעה אותי ללכת לבית ספר לתואר שני כדי ללמוד בינה מלאכותית ומדעי המוח, והשאר היסטוריה.

לפני הקמת Quorum AI, בילית 12 שנים במחקר אקדמי, תחילה באוניברסיטת דרום קליפורניה ולאחרונה ב-Northwestern בתור עוזר יו"ר הנוירוביולוגיה. בזמנו העבודה שלך התמקדה בעיבוד מידע במוח. האם תוכל להדריך אותנו בחלק מהמחקר הזה?

במובן הרחב, המחקר שלי ניסה להבין את השאלה: איך המוח עושה את מה שהוא עושה משתמש רק במה שיש לו? בתור התחלה, אני לא מנוי על הרעיון שהמוח הוא סוג של מחשב (במובן של פון נוימן). אני רואה בה רשת מאסיבית שמבצעת בעיקר פעולות גירוי-תגובה וקידוד אותות. בתוך אותה רשת מסיבית יש דפוסים ברורים של קישוריות בין אזורים מיוחדים פונקציונלית. כאשר אנו מתקרבים, אנו רואים שלא אכפת לנוירונים איזה אות הם נושאים או באיזה חלק במוח הם נמצאים - הם פועלים על סמך כללים מאוד צפויים. אז אם ברצוננו להבין את הפונקציה של תחומים מיוחדים אלה, עלינו לשאול מספר שאלות: (1) כאשר קלט עובר ברשת, כיצד קלט זה מתכנס עם תשומות אחרות כדי לייצר החלטה? (2) כיצד נוצר המבנה של אותם תחומים מתמחים כתוצאה מניסיון? ו(3) כיצד הם ממשיכים להשתנות כאשר אנו משתמשים במוח שלנו ולומדים לאורך זמן? המחקר שלי ניסה להתייחס לשאלות הללו באמצעות תערובת של מחקר ניסיוני בשילוב עם תיאוריית מידע ומידול וסימולציה - דבר שיכול לאפשר לנו לבנות מערכות החלטות מלאכותיות ובינה מלאכותית. במונחים של נוירוביולוגיה, למדתי נוירופלסטיות ומיקרואנטומיה של אזורים מיוחדים כמו קליפת הראייה.

לאחר מכן תרגמת את עבודתך למציאות רבודה, ולממשקי מוח-מחשב. מה היו חלק מהמוצרים עליהם עבדת?

בסביבות 2008, עבדתי על פרויקט שכיום היינו קוראים לו מציאות רבודה, אבל אז, זו הייתה רק מערכת למעקב וחיזוי תנועות עיניים, ולאחר מכן להשתמש בתחזיות האלה כדי לעדכן משהו על המסך. כדי לגרום למערכת לעבוד בזמן אמת, בניתי מודל בהשראה ביולוגית שחזה היכן הצופה יגיע על סמך המיקרוסקודים שלהם - תנועות עיניים זעירות שמתרחשות רגע לפני שאתה מזיז את העין שלך. באמצעות המודל הזה, יכולתי לחזות היכן יסתכל הצופה, ואז לעדכן את מאגר המסגרת בכרטיס הגרפי בזמן שעיניו עדיין בתנועה. כשהעיניים שלהם הגיעו לאותו מיקום חדש על המסך, התמונה כבר עודכנה. זה רץ על מחשב שולחני רגיל בשנת 2008, ללא כל פיגור. הטכנולוגיה הייתה די מדהימה, אבל הפרויקט לא הגיע לסבב המימון הבא, אז הוא מת.

בשנת 2011, עשיתי מאמץ ממוקד יותר בפיתוח מוצר ובניתי רשת עצבית שיכולה לבצע גילוי תכונות על הזרמת נתוני EEG שמדדנו מהקרקפת. זוהי תפקוד הליבה של רוב מערכות ממשק המוח-מחשב. הפרויקט היה גם ניסוי ב איזו טביעת רגל קטנה נוכל להפעיל את זה? הייתה לנו אוזניות שקראו כמה ערוצים של נתוני EEG ב-400Hz שנשלחו באמצעות בלוטות' לטלפון אנדרואיד לצורך גילוי וסיווג תכונות, ואז נשלחו לבקר המופעל על ידי ארדואינו שהכנסנו למכונית RC מנותקת מהמדף. בעת שימוש, אדם שענד את אוזניות ה-EEG יכול היה לנהוג ולנווט את המכונית על ידי שינוי מחשבותיו מביצוע מתמטיקה מנטלית לשירת שיר. האלגוריתם רץ בטלפון ויצר "טביעת אצבע" מוחית מותאמת לכל משתמש, המאפשרת לו לעבור בין מגוון מכשירים רובוטיים ללא צורך באימון מחדש בכל מכשיר. קו התיוג שהמצאנו היה "בקרת מוח פוגשת הכנס-הפעל".

בשנת 2012, הרחבנו את המערכת כך שהיא פעלה בצורה הרבה יותר מבוזרת על חומרה קטנה יותר. השתמשנו בו כדי לשלוט בזרוע רובוטית מרובת מקטעים, מרובת מפרקים, שבה כל מקטע נשלט על ידי מעבד עצמאי שהריץ גרסה משובצת של ה-AI. במקום להשתמש בבקר מרכזי כדי לתפעל את הזרוע, אפשרנו למקטעים להתארגן בעצמם ולהגיע ליעד שלהם בצורה מבוזרת כמו נחיל. במילים אחרות, כמו נמלים יוצרות גשר נמלים, מקטעי הזרוע ישתפו פעולה כדי להגיע למטרה כלשהי בחלל.

המשכנו לנוע באותו כיוון כשהשקנו לראשונה את Quorum AI - הידוע במקור בשם Quorum Robotics - בשנת 2013. מהר מאוד הבנו שהמערכת מדהימה בגלל האלגוריתם והארכיטקטורה, לא החומרה, אז בסוף 2014, עשינו ציר. לגמרי לתוך תוכנה. כעת, 8 שנים מאוחר יותר, Quorum AI מגיע למעגל מלא, בחזרה לשורשי הרובוטיקה על ידי יישום המסגרת שלנו על אתגר רובוטיקה בחלל של נאס"א.

לעזוב את עבודתך כפרופסור כדי להשיק סטארט-אפ הייתה צריכה להיות החלטה קשה. מה נתן לך השראה לעשות את זה?

זו הייתה קפיצת מדרגה עבורי בהרבה מובנים, אבל ברגע שההזדמנות עלתה והדרך התבהרה, זו הייתה החלטה קלה. כשאתה פרופסור, אתה חושב בטווחי זמן רב-שנים ועובד על יעדי מחקר ארוכי טווח. השקת סטארט-אפ היא בדיוק ההפך מזה. עם זאת, דבר אחד המשותף לחיים האקדמיים ולחיי הסטארט-אפ הוא ששניהם דורשים ממך ללמוד ולפתור בעיות ללא הרף. בסטארט-אפ, זה יכול להיות ניסיון להנדס מחדש פתרון להפחתת הסיכון לפיתוח מוצר או אולי ללמוד תעשייה חדשה שיכולה להפיק תועלת מהטכנולוגיה שלנו. עבודה בבינה מלאכותית היא הדבר הכי קרוב ל"קריאה" כפי שהרגשתי אי פעם, אז למרות כל האתגרים והעליות והמורדות, אני מרגיש בר מזל עצום שאני עושה את העבודה שאני עושה.

מאז פיתחתם את Quorum AI, שמפתחת בינה מלאכותית מבוזרת בזמן אמת לכל המכשירים והפלטפורמות. האם תוכל לפרט מה בדיוק עושה פלטפורמת AI זו?

הפלטפורמה נקראת Environment for Virtual Agents (EVA), והיא מאפשרת למשתמשים לבנות, לאמן ולפרוס מודלים באמצעות מנוע ה-Engram AI שלנו. Engram היא מעטפת גמישה וניידת שבנו סביב אלגוריתמי הלמידה הבלתי מפוקחים שלנו. האלגוריתמים כל כך יעילים שהם יכולים ללמוד בזמן אמת, שכן המודל מייצר תחזיות. מכיוון שהאלגוריתמים הם אגנוסטיים של משימות, אין קלט או פלט מפורשים למודל, כך שניתן לבצע חיזויים בצורה בייסיאנית לכל מימד ללא אימון מחדש ומבלי לסבול משכחה קטסטרופלית. המודלים גם שקופים וניתנים לפירוק, כלומר ניתן לבחון אותם ולפרק אותם למימדים בודדים מבלי לאבד את מה שנלמד.

לאחר הבנייה, ניתן לפרוס את הדגמים באמצעות EVA לכל סוג של פלטפורמה, החל מחומרה מוטבעת מותאמת אישית ועד לענן. EVA (ותוכנת המארח הניתנת להטמעה) מכילים גם כמה כלים להרחבת הפונקציונליות של כל דגם. כמה דוגמאות מהירות: ניתן לשתף מודלים בין מערכות באמצעות מערכת פרסום/מנוי, המאפשרת למערכות מבוזרות להשיג למידה מאוחדת על פני זמן ומרחב כאחד. ניתן לפרוס מודלים גם כסוכנים אוטונומיים לביצוע משימות שרירותיות, ומכיוון שהמודל הוא אגנוסטטי למשימה, ניתן לשנות את המשימה במהלך זמן הריצה ללא אימון מחדש. ניתן להרחיב כל סוכן בודד עם EVA "וירטואלי" פרטי, המאפשר לסוכן לדמות מודלים של סוכנים אחרים בצורה נטולת קנה מידה. לבסוף, יצרנו כמה עטיפות למערכות למידה עמוקה ולמידת חיזוק (מבוססות Keras) כדי לאפשר למודלים הללו לפעול על הפלטפורמה, בשילוב עם מערכות גמישות יותר מבוססות Engram.

תיארת בעבר את האלגוריתמים של Quorum AI כ"שירה מתמטית". למה התכוונת בזה?

כשאתה בונה מודל, בין אם אתה מעצב את המוח ובין אם אתה מעצב נתוני מכירות עבור הארגון שלך, אתה מתחיל בלקיחת מלאי של הנתונים שלך, ואז אתה מנסה מחלקות ידועות של מודלים כדי לנסות ולהעריך את המערכת . בעצם, אתה יוצר סקיצות גסות של המערכת כדי לראות מה נראה הכי טוב. אתה לא מצפה שדברים יתאימו לנתונים היטב, ויש כמה ניסוי וטעייה כשאתה בודק השערות שונות לגבי אופן הפעולה של המערכת, אבל עם קצת עדינות, אתה יכול ללכוד את הנתונים די טוב.

בזמן שדגמתי נוירופלסטיות במוח, התחלתי בגישה הרגילה של מיפוי כל המסלולים המולקולריים, מצבי המעבר והדינמיקה שחשבתי שיהיו חשובים. אבל מצאתי את זה כשאני מופחת המערכת לרכיבים הבסיסיים ביותר שלה וסידרה את הרכיבים האלה בצורה מסוימת, המודל נעשה מדויק יותר ויותר עד שהתאים כמעט בצורה מושלמת לנתונים. זה היה כאילו כל אופרטור ומשתנה במשוואות היו בדיוק מה שהם צריכים להיות, לא היה שום דבר נוסף, והכל היה חיוני להתאמת הנתונים.

כשחיברתי את המודל לסימולציות גדולות יותר ויותר, כמו פיתוח מערכת חזותית או זיהוי פנים, למשל, הוא הצליח ליצור דפוסי קישוריות מסובכים ביותר שתואמים למה שאנו רואים במוח. מכיוון שהמודל היה מתמטי, ניתן היה להבין את דפוסי המוח הללו באמצעות ניתוח מתמטי, מה שנותן תובנה חדשה לגבי מה שהמוח לומד. מאז, פתרנו ופישטנו את משוואות הדיפרנציאליות המרכיבות את המודל, תוך שיפור היעילות החישובית במספר סדרי גודל. זה אולי לא שירה אמיתית, אבל זה בטוח הרגיש ככה!

ערכת הכלים של הפלטפורמה של Quorum AI מאפשרת למכשירים להתחבר זה לזה כדי ללמוד ולשתף נתונים ללא צורך בתקשורת דרך שרתים מבוססי ענן. מה היתרונות של לעשות זאת בדרך זו לעומת שימוש בענן?

אנו נותנים למשתמשים את האפשרות למקם את ה-AI שלהם בכל מקום שהם רוצים, מבלי לפגוע בפונקציונליות של ה-AI. הסטטוס קוו בפיתוח AI הוא שחברות נאלצות בדרך כלל להתפשר על אבטחה, פרטיות או פונקציונליות מכיוון שהאפשרות היחידה שלהן היא להשתמש בשירותי AI מבוססי ענן. אם חברות אכן מנסות לבנות בינה מלאכותית משלהן, לעתים קרובות זה דורש הרבה כסף וזמן, וההחזר על ההשקעה רק לעתים נדירות שווה את הסיכון. אם חברות רוצות לפרוס AI למכשירים בודדים שאינם מחוברים לענן, הפרויקט הופך במהירות לבלתי אפשרי. כתוצאה מכך, אימוץ בינה מלאכותית הופך לפנטזיה.

הפלטפורמה שלנו הופכת בינה מלאכותית לנגישה ובמחיר סביר, ומעניקה לחברות דרך לחקור פיתוח ואימוץ בינה מלאכותית ללא תקורה טכנית או כספית. יתרה מכך, הפלטפורמה שלנו מאפשרת למשתמשים לעבור מפיתוח לפריסה בשלב אחד חלק.

הפלטפורמה שלנו גם משתלבת ומרחיבה את חיי המדף של מודלים "מורשת" אחרים כמו למידה עמוקה או למידה חיזוקית, ועוזרת לחברות ליישם מחדש ולשלב מערכות קיימות ביישומים חדשים יותר. באופן דומה, מכיוון שהאלגוריתמים והארכיטקטורות שלנו ייחודיים, המודלים שלנו אינם קופסאות שחורות, כך שכל מה שהמערכת לומדת יכול להיחקר ולפרש על ידי בני אדם, ולאחר מכן להרחיב לתחומי עסקים אחרים.

חלק מאמינים כי בינה מלאכותית מבוזרת (DAI), יכולה להוביל את הדרך לבינה כללית מלאכותית (AGI). האם אתה מנוי לתיאוריה הזו?

אני כן, ולא רק כי זו הדרך שקבענו לעצמנו! כשמסתכלים על המוח, זו לא מערכת מונוליטית. הוא מורכב ממערכות נפרדות, מבוזרות שכל אחת מתמחה בטווח צר של תפקודי מוח. אנחנו אולי לא יודעים מה מערכת מסוימת עושה, אבל אנחנו יודעים שההחלטות שלה תלויות באופן משמעותי בסוג המידע שהיא מקבלת ובאופן שבו המידע הזה משתנה לאורך זמן. (זו הסיבה שנושאים במדעי המוח כמו ה connectome כל כך פופולריים.)

לדעתי, אם אנחנו רוצים לבנות בינה מלאכותית גמישה שמתנהגת ומתפקדת כמו המוח, אז הגיוני לשקול ארכיטקטורות מבוזרות כמו אלו שאנחנו רואים במוח. אפשר לטעון שאפשר למצוא במוח ארכיטקטורות למידה עמוקה כמו רשתות רב-שכבתיות או CNN, וזה נכון, אבל הארכיטקטורות האלה מבוססות על מה שידענו על המוח לפני 50 שנים.

האלטרנטיבה ל-DAI היא להמשיך ולחזור על ארכיטקטורות מונוליטיות ובלתי גמישות המקושרות באופן הדוק למרחב החלטה יחיד, כמו אלו שאנו רואים בלמידה עמוקה או למידת חיזוק (או כל שיטת למידה מפוקחת, לצורך העניין). הייתי מציע שהמגבלות הללו אינן רק עניין של כוונון פרמטרים או הוספת שכבות או התניה של נתונים - נושאים אלו הם בסיסיים ללמידה עמוקה ולמידת חיזוק, לפחות כפי שאנו מגדירים אותם היום, ולכן נדרשות גישות חדשות אם אנחנו הולכים להמשיך לחדש ולבנות את הבינה המלאכותית של המחר.

האם אתה מאמין שהשגת AGI באמצעות DAI היא בסבירות גבוהה יותר מאשר למידת חיזוק ו/או שיטות למידה עמוקה שחברות כמו OpenAI ו-DeepMind נוקטות כיום?

כן, למרות שממה שהם כותבים עליו בבלוג, אני חושד ש-OpenAI ו-DeepMind משתמשות בארכיטקטורות מבוזרות יותר ממה שהן מאפשרות. אנחנו מתחילים לשמוע יותר על אתגרים רב-מערכתיים כמו למידה בהעברה או למידה מאוחדת/מבוזרת, ובמקרה, על האופן שבו גישות למידה עמוקה וחיזוקים לא יעבדו עבור אתגרים אלו. אנחנו גם מתחילים לשמוע מחלוצים כמו יושע בנג'יו על איך ארכיטקטורות בהשראה ביולוגית יכולות לגשר על הפער! אני עובד על AI בהשראה ביולוגית כבר כמעט 20 שנה, אז אני מרגיש טוב מאוד לגבי מה שלמדנו ב-Quorum AI וכיצד אנו משתמשים בו כדי לבנות את מה שאנו מאמינים שהוא הדור הבא של AI שיתגבר מגבלות אלו.

האם יש משהו נוסף שתרצה לחלוק על Quorum AI?

אנו נציג בתצוגה מקדימה של הפלטפורמה החדשה שלנו עבור AI מבוזר ומבוסס סוכנים ב- ועידת למידת מכונה מאוחדת ומפוזרת ביוני 2020. במהלך ההרצאה, אני מתכנן להציג כמה נתונים עדכניים על מספר נושאים, כולל ניתוח סנטימנטים כגשר להשגת AI אמפתי.

אני רוצה להודות לך במיוחד לנח על התשובות המדהימות האלה, ואני ממליץ לך לבקר באתר מִניָן ללמוד 'יותר.