Các nhà nghiên cứu CMU tạo ra robot AI vẽ tranh

Các nhà nghiên cứu tại Viện Robotics của Đại học Carnegie Mellon đã phát triển một công cụ gọi là FRIDA, một cánh tay robot với một bàn chải vẽ gắn vào nó. Công cụ này sử dụng trí tuệ nhân tạo (AI) để làm việc cùng với con người trên các dự án nghệ thuật.

Đội ngũ này sẽ trình bày nghiên cứu với tiêu đề “FRIDA: Một Robot Vẽ Tương tác với Môi trường Lập kế hoạch Khác biệt, Thực tế 2 Sim 2 Thực tế” tại Hội nghị Quốc tế về Robotics và Tự động hóa IEEE năm 2023 vào tháng 5.

Peter Schaldenbrand là một sinh viên tiến sĩ tại Viện Robotics của Trường Khoa học Máy tính. Anh làm việc với FRIDA và khám phá AI và sáng tạo.

“Có một bức tranh về một cô gái bóng múa ếch mà tôi nghĩ đã được thực hiện rất tốt,” anh nói. “Nó thực sự ngớ ngẩn và thú vị, và tôi nghĩ sự ngạc nhiên về những gì FRIDA tạo ra dựa trên đầu vào của tôi thực sự thú vị để xem.”

FRIDA là viết tắt của Framework và Robotics Initiative for Developing Arts. Nó được đặt tên theo Frida Kahlo.

Nghiên cứu này được dẫn dắt bởi Schalderbrand, cùng với các thành viên giảng viên RI Jean Oh và Jim McCaam, và nó đã thu hút sinh viên và nhà nghiên cứu từ khắp CMU.

Công cụ Tương tác Không phải Nghệ sĩ

Người dùng có thể hướng dẫn FRIDA bằng cách nhập mô tả văn bản, gửi các tác phẩm nghệ thuật khác để truyền cảm hứng cho phong cách của nó, hoặc tải lên một bức ảnh và yêu cầu nó vẽ một biểu diễn của nó. Đội ngũ này cũng đang thử nghiệm các đầu vào khác, chẳng hạn như âm thanh.

“FRIDA là một hệ thống vẽ robot, nhưng FRIDA không phải là một nghệ sĩ,” Schalderbrand tiếp tục. “FRIDA không tạo ra ý tưởng để truyền đạt. FRIDA là một hệ thống mà một nghệ sĩ có thể cộng tác với. Nghệ sĩ có thể chỉ định mục tiêu cấp cao cho FRIDA và sau đó FRIDA có thể thực hiện chúng.”

Để vẽ một hình ảnh, robot sử dụng các mô hình AI tương tự như những mô hình cung cấp năng lượng cho OpenAI’s ChatGPT và DALL-E 2, tạo ra văn bản hoặc hình ảnh để đáp ứng một lời nhắc. FRIDA mô phỏng cách nó sẽ vẽ một hình ảnh với các nét vẽ và sử dụng học máy để đánh giá tiến độ của nó khi nó làm việc.

Các sản phẩm cuối cùng của FRIDA là kỳ lạ và ấn tượng. Các nét vẽ là táo bạo và thiếu sự chính xác thường được tìm kiếm trong các nỗ lực robot.

“FRIDA là một dự án khám phá sự giao nhau giữa sáng tạo của con người và robot,” McCann thêm. “Frida sử dụng loại mô hình AI đã được phát triển để thực hiện các việc như chú thích hình ảnh và hiểu nội dung cảnh và áp dụng nó vào vấn đề tạo ra nghệ thuật này.”

FRIDA sử dụng AI và học máy nhiều lần trong quá trình tạo nghệ thuật của nó. Đầu tiên, nó dành một giờ hoặc hơn để học cách sử dụng bàn chải vẽ. Sau đó, nó sử dụng các mô hình ngôn ngữ hình ảnh đã được đào tạo trên các tập dữ liệu lớn ghép nối văn bản và hình ảnh từ internet, chẳng hạn như OpenAI’s Contrastive Language-Image Pre-Training (CLIP), để hiểu đầu vào.

Một trong những thách thức kỹ thuật quan trọng nhất trong việc tạo ra một hình ảnh vật lý là giảm khoảng cách mô phỏng-thực tế, đó là sự khác biệt giữa những gì FRIDA tạo ra trong mô phỏng và những gì nó vẽ trên canvas. FRIDA sử dụng một ý tưởng gọi là thực2sim2thực, nơi các nét vẽ thực tế của robot được sử dụng để đào tạo mô phỏng để phản ánh và bắt chước khả năng vật lý của robot và vật liệu vẽ.

Đội ngũ FRIDA hiện đang nhắm đến việc giải quyết một số hạn chế trong các mô hình ngôn ngữ tầm nhìn lớn hiện tại bằng cách liên tục tinh chỉnh những mô hình họ sử dụng. Họ đã cho mô hình các tiêu đề từ các bài báo tin tức để cung cấp cho chúng một ý niệm về những gì đang xảy ra trên thế giới và đào tạo thêm chúng trên các hình ảnh và văn bản đại diện cho các nền văn hóa đa dạng để tránh sự thiên vị của Mỹ hoặc phương Tây.