الروبوتات والذكاء الاصطناعي الفيزيائي

باحثو جامعة كارنيجي ميلون يخترعون روبوتًا يرسم باستخدام الذكاء الاصطناعي

Alex McFarland
أضف Unite.AI إلى مصادرك المفضلة على Google
النقاط الرئيسيةفريدا هي أداة تعاونية، وليست فنانة، مصممة للإبداع المشترك بين الإنسان والذكاء الاصطناعي.
عرض المزيد
  • فريدا هي أداة تعاونية، وليست فنانة، مصممة للإبداع المشترك بين الإنسان والذكاء الاصطناعي.
  • يستخدم الروبوت نماذج ذكاء اصطناعي مثل CLIP لتفسير النصوص أو الصور أو الصوت كمحفزات للرسم.
  • تعمل فريدا على تقليل الفجوة بين المحاكاة والواقع من خلال تدريب محاكيها على ضربات الفرشاة الفعلية.

قام باحثون في معهد الروبوتات بجامعة كارنيجي ميلون بتطوير أداة تسمى FRIDA، وهي ذراع روبوتية مع فرشاة رسم متصلة بها. تستخدم الأداة الذكاء الاصطناعي للعمل مع البشر على مشاريع الفن.

سيقدم الفريق بحثًا بعنوان “FRIDA: روبوت رسام تعاوني مع بيئة تخطيط قابلة للتفاضل، حقيقية إلى افتراضية إلى حقيقية” في مؤتمر IEEE الدولي لعام 2023 حول الروبوتات والأتمتة في مايو.

بيتر شالدنبراند هو طالب دكتوراه في معهد الروبوتات في مدرسة علوم الكمبيوتر. يعمل مع FRIDA ويستكشف الذكاء الاصطناعي والإبداع.

قال: “هناك لوحة واحدة لضفدعة ترقص الباليه التي أعتقد أنها كانت جيدة حقًا”. “إنها ممتعة ومسلية، وأعتقد أن مفاجأة ما تم إنشاؤه بواسطة FRIDA بناءً على مدخلي كانت ممتعة جدًا لمشاهدتها”.

FRIDA هو اختصار لإطار العمل ومبادرة الروبوتات لتطوير الفنون. سميت على اسم فريدا كاهلو.

قاد البحث شالدربراند، إلى جانب أعضاء هيئة التدريس في RI جان أوح وجيم مكام، وجذب الطلاب والباحثين من جميع أنحاء CMU.

أداة تعاونية وليست فنانًا

يمكن للمستخدمين توجيه FRIDA عن طريق إدخال وصف نصي، أو تقديم أعمال فنية أخرى لاستلهام أسلوبها، أو تحميل صورة وطلب منها رسم تمثيل لها. كما يختبر الفريق مدخلات أخرى، مثل الصوت.

قال شالدربراند: “FRIDA هو نظام رسم روبوتي، ولكن FRIDA ليس فنانًا”. “FRIDA لا يولد الأفكار للتواصل. FRIDA هو نظام يمكن للفنان التعاون معه. يمكن للفنان تحديد أهداف عالية المستوى ل FRIDA ثم يمكن لـ FRIDA تنفيذها”.

لرسم صورة، يستخدم الروبوت نماذج ذكاء اصطناعي قابلة للمقارنة مع تلك التي تشغّل ChatGPT وDALL-E 2 من OpenAI، والتي تنتج نصًا أو صورة استجابةً لموجّه نصي. يحاكي FRIDA كيفية رسم صورة بضربات الفرشاة ويستخدم التعلم الآلي لتقييم تقدمه أثناء العمل.

المنتجات النهائية ل FRIDA خيالية وانطباعية. ضربات الفرشاة جريئة وتنقصها الدقة التي يتم طلبها بشكل متكرر في الجهود الروبوتية.

قال مكآن: “FRIDA هو مشروع يبحث عن تقاطع الإبداع البشري والروبوتي”. “FRIDA تستخدم نماذج الذكاء الاصطناعي نفسها التي تم تطويرها للقيام بأشياء مثل توليد أوصاف للصور وفهم محتوى المشهد وتطبيقها على هذه المشكلة التوليدية الفنية”.

تستخدم FRIDA الذكاء الاصطناعي والتعلم الآلي عدة مرات خلال عملية إنشاء الفن. أولاً، تقضي ساعة أو أكثر في تعلم كيفية استخدام فرشاة الرسم. ثم، تستخدم نماذج الرؤية واللغة تم تدريبها على مجموعات بيانات ضخمة تجمع بين النص والصور الممسوحة من الإنترنت، مثل نموذج التدريب المسبق التبايني للغة والصورة (CLIP) من OpenAI، لفهم المدخلات.

أحد أكبر التحديات التقنية في إنتاج لوحة مادية هو تقليل الفجوة بين المحاكاة والواقع، وهي الفجوة بين ما ينشئه FRIDA في المحاكاة وما يرسمه على القماش. تستخدم FRIDA فكرة تسمى الواقع إلى المحاكاة ثم إلى الواقع (real2sim2real)، حيث يتم استخدام ضربات الفرشاة الفعلية للروبوت لتدريب المحاكي على عكس وتقليد القدرات الفعلية للروبوت ومواد الرسم.

الآن، يهدف فريق FRIDA إلى معالجة بعض القيود في نماذج اللغة والرؤية الكبيرة الحالية من خلال تحسين تلك التي يستخدمونها باستمرار. لقد قدموا للنماذج عناوين الأخبار من المقالات الإخبارية لتقديمهم إحساسًا بما يحدث في العالم وتم تدريبهم بشكل أكبر على الصور والنصوص التي تمثل ثقافات متنوعة لتجنب الانحياز الأمريكي أو الغربي.

يقود أليكس عمليات الأخبار المدعومة بالذكاء الاصطناعي في Unite.AI، حيث يجمع بين الصحافة والبحث والأتمتة لدعم تغطية سريعة وقابلة للتوسع للذكاء الاصطناعي. يساعد عمله في ضمان ظهور التطورات الناشئة في مجال الذكاء الاصطناعي بشكل فعال مع الحفاظ على معايير التحرير في النشرة.