Yubei Chen, מייסד-שותף של Aizip Inc – סדרת ראיונות

Yubei Chen הוא מייסד-שותף של Aizip inc., חברה שבונה את המודלים הקטנים והיעילים ביותר של AI. הוא גם פרופסור עוזר במחלקת ECE באוניברסיטת קליפורניה, דייוויס. מחקרו של צ’ן נמצא במפגש בין נוירולוגיה חישובית ללמידה עמוקה בלתי-מופרעת (עצמית-מופרעת), ומשפר את הבנתנו את העקרונות החישוביים המסדירים למידת ייצוג בלתי-מופרעת במוחות ובמכונות, ומשנה את תובנותינו לסטטיסטיקה של אותות טבעיים.

לפני שהצטרף ל-UC דייוויס, צ’ן עשה את הפוסט-דוקטורט שלו עם פרופ’ יאן לקון ב-NYU Center for Data Science (CDS) ו-Meta Fundamental AI Research (FAIR). הוא סיים את הדוקטורט שלו ב-Redwood Center for Theoretical Neuroscience ו-Berkeley AI Research (BAIR), UC Berkeley, בהדרכת פרופ’ ברונו אולשאוסן.

Aizip מפתחת פתרונות AI אולטרא-יעילים המותאמים להתקנים בקצה, ומציעה מודלים קומפקטיים ליישומים של ראייה, אודיו, סדרות זמן, שפה ופיוזיה של חיישנים. מוצריה מאפשרים משימות כגון זיהוי פנים ואובייקטים, זיהוי מילים, ניתוח ECG/EEG וצ’אטבוטים בהתקן, הכול באמצעות TinyML. דרך פלטפורמת AI Nanofactory, Aizipline, החברה מאיצה את פיתוח המודלים באמצעות מודלים יסודיים וגנרטיביים, ודוחפת לעבר אוטומציה מלאה של עיצוב AI. סדרת Gizmo של Aizip, הכוללת מודלי שפה קטנים (300M–2B פרמטרים), תומכת במגוון רחב של התקנים, ומביאה יכולות אינטליגנטיות לקצה.

עשית את הפוסט-דוקטורט שלך עם יאן לקון ב-NYU ו-Meta FAIR. כיצד עבודה עםו והמחקר שלך ב-UC Berkeley עיצבו את גישתך לבניית פתרונות AI בעולם האמיתי?

בברקלי, עבודתי הייתה שורשית בחקר מדעי ובריגור מתמטי. מחקר הדוקטורט שלי, ששילב הנדסת חשמל, מדעי המחשב ונוירולוגיה חישובית, התמקד בהבנת מערכות AI מנקודת מבט “white-box”, או פיתוח שיטות לחשיפת המבנים התת-מובנים של נתונים ומודלי למידה. עבדתי על בניית מודלי AI פרשניים, ביצועים גבוהים וטכניקות ויזואליזציה שעזרו לפתוח מערכות AI “black-box”.

ב-Meta FAIR, הדגש היה על הנדסת מערכות AI להשגת ביצועים ברמה הגבוהה ביותר בקנה מידה. עם גישה למשאבים חישוביים מעולים, חקרתי את הגבולות של למידה עצמית-מופרעת ותרמתי למה שאנו קוראים כיום “מודלי עולם” — מערכות AI שלומדות מנתונים ומדמיינות סביבות אפשריות. ניסיון זה, שהוא שילוב של הבנה מדעית בברקלי והנדסה-הנעה ב-Meta, נתן לי תמונה מקיפה של פיתוח AI. הוא הדגיש את החשיבות של תובנות תאורטיות ויישום מעשי כאשר אתה מפתח פתרונות AI ליישומים בעולם האמיתי.

עבודתך משלבת נוירולוגיה חישובית עם AI. כיצד תובנות מנוירולוגיה משפיעות על הדרך בה אתה מפתח מודלי AI?

בנוירולוגיה חישובית, אנו חוקרים כיצד המוח עובד מידע על ידי מדידת תגובותיו לגירויים שונים, בדומה לדרך בה אנו חוקרים מודלי AI כדי להבין את מנגנוניהם הפנימיים. בתחילת הקריירה שלי, פיתחתי טכניקות ויזואליזציה לניתוח הטבועות המילים — פירוק מילים כגון “apple” למרכיביהם הסמנטיים, כגון “פרי” ו”טכנולוגיה”. מאוחר יותר, גישה זו התרחבה למודלי AI מורכבים יותר כגון טרנספורמרים ומודלי שפה גדולים, שעזרו לחשוף כיצד הם עובדים ואוגרים ידע.

טכניקות אלו בעצם מקבילות לשיטות בנוירולוגיה, כגון שימוש באלקטרודות או fMRI כדי לחקור פעילות מוח. בדיקת הייצוגים הפנימיים של מודל AI מאפשרת לנו להבין את אסטרטגיות ההיקשרות שלו ולגלות תכונות מתעוררות, כגון נוירונים של מושגים שמופעלים עבור רעיונות ספציפיים (כגון תכונת גשר השער הזהב Anthropic found when mapping Claude). קו מחקר זה כעת נתפס בעיניים רחבות בתעשייה, משום שהוא הוכח כמאפשר הן פרשנות והן התערבויות מעשיות, הסרת הטיות ממודלים. כך, גישות המושפעות מנוירולוגיה בעצם עוזרות לנו להפוך AI ליותר מפורש, אמין ויעיל.

… (the translation continues in the same format, following the exact structure and rules provided)