باحثو جامعة كارنيجي ميلون يخترعون روبوتًا يرسم باستخدام الذكاء الاصطناعي

قام باحثون في معهد الروبوتات بجامعة كارنيجي ميلون بتطوير أداة تسمى FRIDA، وهي ذراع روبوتية مع فرشاة رسم متصلة بها. تستخدم الأداة الذكاء الاصطناعي للعمل مع البشر على مشاريع الفن.

سيقدم الفريق بحثًا بعنوان “FRIDA: روبوت رسام تعاوني مع بيئة تخطيط قابلة للتفاضل، حقيقية إلى افتراضية إلى حقيقية” في مؤتمر IEEE الدولي لعام 2023 حول الروبوتات والآلية في مايو.

بيتر شالدنبراند هو طالب دكتوراه في معهد الروبوتات في مدرسة علوم الكمبيوتر. يعمل مع FRIDA ويكشف عن الذكاء الاصطناعي والإبداع.

قال: “هناك لوحة واحدة لفراشة قفزت التي أعتقد أنها كانت جيدة حقًا”. “إنها ممتعة ومسلية، وأعتقد أن مفاجأة ما تم إنشاؤه بواسطة FRIDA بناءً على مدخلي كانت ممتعة جدًا لمشاهدتها”.

FRIDA هو اختصار لمنصة الروبوتات والمبادرة من أجل تطوير الفنون. سميت على اسم فرída kahlo.

قاد البحث شالدربراند، إلى جانب أعضاء هيئة التدريس في RI جان أوح وجيم مكام، وجذب الطلاب والباحثين من جميع أنحاء CMU.

أداة تعاونية وليست فنانًا

يمكن للمستخدمين توجيه FRIDA عن طريق إدخال وصف نصي، أو تقديم أعمال فنية أخرى لتحفيز أسلوبها، أو تحميل صورة وطلب منها رسم تمثيل لها. كما يختبر الفريق مدخلات أخرى، مثل الصوت.

قال شالدربراند: “FRIDA هو نظام رسم روبوتي، ولكن FRIDA ليس فنانًا”. “FRIDA لا يولد الأفكار للتواصل. FRIDA هو نظام يمكن للفنان التعاون معه. يمكن للفنان تحديد أهداف عالية المستوى ل FRIDA ثم يمكن لـ FRIDA تنفيذها”.

لرسم صورة، يستخدم الروبوت نماذج ذكاء اصطناعي قابلة للمقارنة مع تلك التي تعمل بالطاقة مفتوحة AI و DALL-E 2، والتي تنتج نصًا أو صورة استجابةً لتحفيز. ي模ّل FRIDA كيفية رسم صورة bằng ضربات الفرشاة ويتعلم باستخدام التعلم الآلي لتقييم تقدمه أثناء العمل.

المنتجات النهائية ل FRIDA خيالية وتنميعية. ضربات الفرشاة جريئة وتنقصها الدقة التي يتم طلبها بشكل متكرر في الجهود الروبوتية.

قال مكآن: “FRIDA هو مشروع يبحث عن تقاطع الإبداع البشري والروبوتي”. “FRIDA تستخدم نفس النماذج الذكاء الاصطناعي التي تم تطويرها للقيام بأشياء مثل كتابة تعليقات على الصور وفهم محتوى المشهد وتطبيقها على هذه المشكلة التوليدية الفنية”.

تستخدم FRIDA الذكاء الاصطناعي والتعلم الآلي عدة مرات خلال عملية إنشاء الفن. أولاً، تقضي ساعة أو أكثر في تعلم كيفية استخدام فرشاة الرسم. ثم، تستخدم نماذج لغة-صورة تم تدريبها على مجموعات بيانات ضخمة تجمع بين النص والصور الممسوحة من الإنترنت، مثل تدريب لغة-صورة التبايني المفتوح من OpenAI، لفهم المدخلات.

أحد أكبر التحديات التقنية في إنتاج صورة فيزيائية هو تقليل فجوة محاكاة-حقيقية، وهي الفجوة بين ما يخلقه FRIDA في المحاكاة وما يرسمه على القماش. تستخدم FRIDA فكرة تسمى حقيقية-افتراضية-حقيقية، حيث يتم استخدام ضربات الفرشاة الفعلية للروبوت لتدريب المحاكي على反映 وتقليد القدرات الفعلية للروبوت ومواد الرسم.

الآن، يهدف فريق FRIDA إلى معالجة بعض القيود في نماذج اللغة والرؤية الكبيرة الحالية من خلال تحسين تلك التي يستخدمونها باستمرار. لقد قدموا للنماذج عناوين الأخبار من المقالات الإخبارية لتقديمهم إحساسًا بما يحدث في العالم وتم تدريبهم بشكل أكبر على الصور والنصوص التي تمثل ثقافات متنوعة لتجنب الانحياز الأمريكي أو الغربي.