חוקרי CMU יוצרים רובוט AI שמצייר

חוקרים במכון הרובוטיקה של אוניברסיטת קרנגי מלון פיתחו כלי בשם FRIDA, שהוא זרוע רובוטית שאליו מחוברת מברשת. הכלי ממנף בינה מלאכותית (AI) לעבודה משותפת עם בני אדם בפרויקטים של אמנות.

הצוות אמור להציג את המחקר שכותרתו "FRIDA: צייר רובוט שיתופי עם סביבת תכנון ניתנת להבדלה, Real2Sim2Real" בכנס IEEE הבינלאומי לשנת 2023 על רובוטיקה ואוטומציה במאי.

פיטר שלדנברנד הוא Ph.D. סטודנטית במכון הרובוטיקה בבית הספר למדעי המחשב. הוא עובד עם FRIDA וחוקר בינה מלאכותית ויצירתיות.

"ישנו ציור אחד של בלרינה של צפרדע שלדעתי יצא ממש יפה", אמר. "זה ממש טיפשי ומהנה, ואני חושב שההפתעה של מה ש-FRIDA יצרה על סמך הקלט שלי היה ממש כיף לראות."

FRIDA הוא ראשי תיבות של Framework and Robotics Initiative for Developing Arts. הוא נקרא על שם פרידה קאלו.

את המחקר הוביל Schalderbrand, יחד עם חברי הסגל של RI Jean Oh וג'ים McCaam, והוא פיתה סטודנטים וחוקרים מכל רחבי CMU.

כלי שיתופי לא אמן

משתמשים יכולים להדריך את FRIDA על ידי הזנת תיאור טקסט, הגשת יצירות אמנות אחרות כדי לעורר השראה בסגנון שלה, או העלאת תמונה ובקשת ממנה לצייר ייצוג שלה. הצוות בודק גם כניסות אחרות, כגון אודיו.

"FRIDA היא מערכת ציור רובוטית, אבל FRIDA היא לא אמן", המשיך שולדברנד. "FRIDA לא מייצרת את הרעיונות לתקשורת. FRIDA היא מערכת שאמן יכול לשתף איתה פעולה. האמן יכול לציין יעדים ברמה גבוהה עבור FRIDA ואז FRIDA יכולה לבצע אותם."

כדי לצייר תמונה, הרובוט משתמש במודלים של בינה מלאכותית הדומים לאלה המפעילים את ChatGPT ו-DALL-E 2 של OpenAI, אשר מייצרים טקסט או תמונה בתגובה להנחיה. FRIDA מדמה איך היא תצייר תמונה במשיכות מכחול ומשתמשת בלמידת מכונה כדי להעריך את ההתקדמות שלה תוך כדי פעולתה.

התוצרים הסופיים של FRIDA הם גחמניים ואימפרסיוניסטיים. משיכות המכחול נועזות וחסרות את הדיוק שמחפשים תדיר במאמץ הרובוטי.

"FRIDA הוא פרויקט החוקר את ההצטלבות בין יצירתיות אנושית ורובוטית", הוסיף מקאן. "פרידה משתמשת במודלים של AI שפותחו כדי לעשות דברים כמו תמונות כיתוב ולהבין את תוכן הסצנה ולהחיל אותו על הבעיה האמנותית הזו".

FRIDA משתמשת בבינה מלאכותית ולמידת מכונה מספר פעמים במהלך תהליך יצירת האמנות שלה. ראשית, הוא מבלה שעה או יותר בלימוד כיצד להשתמש במברשת הצבע שלו. לאחר מכן, היא משתמשת במודלים של שפת חזון שהוכשרו על מערכי נתונים ענקיים המשלבים טקסט ותמונות שנגרדו מהאינטרנט, כגון ה-Contrastive Language-Image Pre-Training (CLIP) של OpenAI, כדי להבין את הקלט.

אחד האתגרים הטכניים המשמעותיים ביותר בהפקת תמונה פיזית הוא צמצום פער הסימולציה למציאות, שהוא הפער בין מה ש-FRIDA יוצרת בסימולציה לבין מה שהיא מציירת על הבד. FRIDA משתמשת ברעיון המכונה real2sim2real, שבו משיכות המכחול בפועל של הרובוט משמשות לאימון הסימולטור לשקף ולחקות את היכולות הפיזיות של הרובוט וחומרי הציור.

הצוות של FRIDA שואף כעת לטפל בחלק מהמגבלות בדגמי שפת הראייה הגדולים הנוכחיים על ידי שיפור מתמיד של אלה שהם משתמשים בהם. הם הזינו את הדוגמניות בכותרות ממאמרי חדשות כדי לספק להן תחושה של מה שקורה בעולם ואימן אותן עוד יותר על תמונות וטקסט שמייצגים יותר תרבויות מגוונות כדי להימנע מהטיה אמריקאית או מערבית.