นักวิจัย CMU สร้าง AI Robot ที่วาดภาพ

นักวิจัยที่สถาบัน Robotics ของมหาวิทยาลัย Carnegie Mellon ได้พัฒนาเครื่องมือที่เรียกว่า FRIDA ซึ่งเป็นแขนกลที่มีแปรงวาดภาพติดอยู่ เครื่องมือนี้ใช้ปัญญาประดิษฐ์ (AI) เพื่อทำงานร่วมกับมนุษย์ในโครงการศิลปะ

ทีมนี้จะนำเสนอผลการวิจัยที่มีชื่อเรื่องว่า “FRIDA: A Collaborative Robot Painter With a Differentiable, Real2Sim2Real Planning Environment” ในการประชุมสัมมนาระหว่างประเทศ IEEE เกี่ยวกับหุ่นยนต์และอัตโนมัติในปี 2023

Peter Schaldenbrand เป็นนักศึกษาระดับ博士ที่สถาบัน Robotics ใน School of Computer Science เขาทำงานกับ FRIDA และสำรวจ AI และความสร้างสรรค์

“มีภาพวาดหนึ่งที่เป็นภาพนักบัลเล่ต์กระบือที่ฉันคิดว่าออกมาได้ดีจริงๆ” เขากล่าว “มันสนุกและน่าสนใจ และฉันคิดว่าความประหลาดใจของสิ่งที่ FRIDA สร้างขึ้นจากข้อมูลที่ฉันให้มาเป็นเรื่องที่สนุกที่จะเห็น”

FRIDA เป็นตัวย่อของ Framework and Robotics Initiative for Developing Arts และตั้งชื่อตาม Frida Kahlo

การวิจัยนี้ได้รับการนำโดย Schalderbrand ร่วมกับสมาชิกคณะของ RI Jean Oh และ Jim McCaam และได้ดึงดูดให้นักศึกษาและนักวิจัยจากทั่ว CMU

เครื่องมือร่วมมือ ไม่ใช่ศิลปิน

ผู้ใช้สามารถชี้แนะ FRIDA โดยการป้อนคำอธิบายข้อความ การส่งผลงานศิลปะอื่นๆ เพื่อสร้างแรงบันดาลใจให้กับรูปแบบของมัน หรือการอัปโหลดภาพถ่ายและขอให้มันวาดภาพแทน ผู้วิจัยยังทดสอบการป้อนข้อมูลอื่นๆ เช่น เสียง

“FRIDA เป็นระบบวาดภาพหุ่นยนต์ แต่ FRIDA ไม่ใช่ศิลปิน” Schalderbrand กล่าวต่อ “FRIDA ไม่ได้สร้างความคิดเพื่อการสื่อสาร FRIDA เป็นระบบที่ศิลปินสามารถร่วมมือกับมันได้ ศิลปินสามารถกำหนดเป้าหมายระดับสูงให้กับ FRIDA แล้ว FRIDA จะดำเนินการตามนั้น”

ในการวาดภาพ หุ่นยนต์ใช้โมเดล AI ที่คล้ายกับโมเดลที่ใช้ในการทำงานของ OpenAI’s ChatGPT และ DALL-E 2 ซึ่งสร้างข้อความหรือภาพตามคำสั่ง FRIDA จำลองวิธีการวาดภาพด้วยแปรงและใช้การเรียนรู้ของเครื่องเพื่อประเมินความก้าวหน้าขณะทำงาน

ผลงานสุดท้ายของ FRIDA เป็นภาพที่มีลักษณะเป็นฝันและเชิงอิมเพรสชั่น สีแปรงที่ใช้วาดมีความเข้มและขาดความแม่นยำที่มักพบในงานหุ่นยนต์

“FRIDA เป็นโครงการที่สำรวจจุดตัดกันระหว่างความคิดสร้างสรรค์ของมนุษย์และหุ่นยนต์” McCann กล่าว “Frida ใช้โมเดล AI ที่พัฒนาเพื่อทำงาน เช่น การเขียนคำบรรยายภาพและเข้าใจเนื้อหาสาระ และนำไปใช้กับปัญหาการสร้างสรรค์ทางศิลปะ”

FRIDA ใช้ AI และการเรียนรู้ของเครื่องหลายครั้งในช่วงการสร้างศิลปะของมัน ครั้งแรก มันใช้เวลาประมาณหนึ่งชั่วโมงหรือมากกว่านั้นในการเรียนรู้วิธีการใช้แปรงวาดภาพ จากนั้น มันใช้โมเดลภาษา-ภาพที่ได้รับการฝึกอบรมจากชุดข้อมูลขนาดใหญ่ที่จับคู่ข้อความและภาพจากอินเทอร์เน็ต เช่น OpenAI’s Contrastive Language-Image Pre-Training (CLIP) เพื่อทำความเข้าใจข้อมูลที่ป้อนเข้ามา

หนึ่งในความท้าทายทางเทคนิคที่สำคัญที่สุดในการสร้างภาพจริงคือการลดช่องว่างระหว่างการจำลองและการทำงานจริง ซึ่งเป็นความแตกต่างระหว่างสิ่งที่ FRIDA สร้างขึ้นในสถานการณ์จำลองและที่มันวาดบนผืนผ้า FRIDA ใช้แนวคิดที่เรียกว่า real2sim2real โดยที่การเคลื่อนไหวของแปรงวาดภาพจริงของหุ่นยนต์ถูกใช้ในการฝึกอบรมสถานการณ์จำลองให้สะท้อนและเลียนแบบความสามารถทางกายภาพของหุ่นยนต์และวัสดุการวาดภาพ

ทีม FRIDA ตอนนี้มีเป้าหมายที่จะแก้ไขข้อจำกัดบางอย่างของโมเดลภาษา-ภาพขนาดใหญ่ในปัจจุบันโดยการปรับปรุงโมเดลที่พวกเขาใช้อย่างต่อเนื่อง พวกเขาให้อาหารโมเดลด้วยหัวข้อข่าวจากบทความข่าวเพื่อให้พวกมันมีความเข้าใจเกี่ยวกับสิ่งที่เกิดขึ้นในโลก และฝึกอบรมเพิ่มเติมบนภาพและข้อความที่เป็นตัวแทนของวัฒนธรรมที่หลากหลายเพื่อหลีกเลี่ยงความลำเอียงอเมริกันหรือตะวันตก