ืจืืืืืืงื
ืืืงืจืื ื-CMU ืืืฆืจืื ืจืืืื AI ืฉืฆืืืข
חוקרים במכון הרובוטיקה של אוניברסיטת קרנגי מלון פיתחו כלי בשם FRIDA, המהווה זרוע רובוטית עם מכחול צבע שמורכב עליה. הכלי מנצל מודלים של בינה מלאכותית (AI) כדי לעבוד בשיתוף פעולה עם בני אדם על פרויקטים אמנותיים.
הצוות עומד להציג את המחקר בשם “FRIDA: A Collaborative Robot Painter With a Differentiable, Real2Sim2Real Planning Environment” בוועידה הבינלאומית של IEEE על רובוטיקה ואוטומציה במאי.
פיטר שאלדנברנד הוא סטודנט לדוקטורט במכון הרובוטיקה בבית הספר למדעי המחשב. הוא עובד עם FRIDA וחוקר את ה-AI והיצירתיות.
“יש ציור אחד של בלרינה צפרדע שחשבתי שיצא מאוד טוב,” הוא אמר. “זה מאוד מגוחך ומשעשע, וחשבתי שההפתעה של מה ש-FRIDA יצרה על בסיס הקלט שלי היתה מאוד משעשעת לראות.”
FRIDA היא ראשי תיבות של Framework and Robotics Initiative for Developing Arts. היא קרויה על שם פרידה קאלו.
המחקר הונהג על ידי שאלדנברנד, לצד חברי סגל RI ג’ין אוה וג’ים מקאם, והוא משך סטודנטים וחוקרים מכל רחבי CMU.
כלי שיתופי ולא אמן
משתמשים יכולים להדריך את FRIDA על ידי הקלטת תיאור טקסט, הגשת יצירות אמנות אחרות כדי להשפיע על סגנונה, או העלאת צילום ובקשה ממנה לצייר ייצוג שלו. הצוות גם בודק קלטים אחרים, כגון אודיו.
“FRIDA היא מערכת ציור רובוטית, אבל FRIDA אינה אמן,” המשיך שאלדנברנד. “FRIDA אינה יוצרת את הרעיונות לתקשורת. FRIDA היא מערכת שאמן יכול לשתף איתה פעולה. האמן יכול לציין מטרות ברמה גבוהה עבור FRIDA ואז FRIDA יכולה לבצע אותן.”
כדי לצייר תמונה, הרובוט משתמש במודלים AI הדומים לאלו המניעים את OpenAI’s ChatGPT ו-DALL-E 2, המייצרים טקסט או תמונה בתגובה לפרומפט. FRIDA מדמה כיצד היא תצייר תמונה עם מכחול ומשתמשת בלמידת מכונה כדי להעריך את התקדמותה בעבודתה.
תוצרי FRIDA הם פנטסטיים ואימפרסיוניסטיים. המכחולות הם בולטים וחסרים את הדיוק שנדרש לעיתים קרובות במאמצים רובוטיים.
“FRIDA היא פרויקט החוקר את החיתוך של יצירתיות אנושית ורובוטית,” הוסיף מקאן. “Frida משתמשת בסוגים של מודלי AI שפותחו כדי לבצע דברים כמו כיתוב תמונות והבנת תוכן סצנה ויושמים בבעיה היצירתית האמנותית.”
FRIDA משתמשת ב-AI ולמידת מכונה מספר פעמים במהלך תהליך יצירת האמנות. תחילה, היא מבלה שעה או יותר בלימוד איך להשתמש במכחול הצבע. אז, היא מעסיקה מודלים חזותיים-לשוניים שאומנו על מאגרי נתונים עצומים הזוגים טקסט ותמונות שנלקחו מהאינטרנט, כגון OpenAI’s Contrastive Language-Image Pre-Training (CLIP), כדי להבין את הקלט.
אחד האתגרים הטכניים המשמעותיים ביותר ביצירת תמונה פיזית הוא הפחתת הפער ב间-סימולציה-מציאות, שהוא הפער בין מה ש-FRIDA יוצרת בסימולציה לבין מה שהיא צובעת על הבד. FRIDA משתמשת ברעיון הנקרא real2sim2real, שבו מכחולות הרובוט האמיתיים משמשים לאימון המדמה להשקף ולחקות את היכולות הפיזיות של הרובוט והחומרים.
