CMU 研究者が AI ロボットを作成 – 画家ロボット

カーネギーメロン大学のロボティクス研究所の研究者は、FRIDA というツールを開発しました。これは、ペイントブラシが付いたロボットアームです。このツールは、人間と共同でアートプロジェクトに取り組むために、人工知能 (AI) を利用しています。

研究チームは、2023 年 5 月に開催される 2023 IEEE 国際ロボティクスおよび自動化会議で、「FRIDA: A Collaborative Robot Painter With a Differentiable, Real2Sim2Real Planning Environment」というタイトルの研究を発表する予定です。

ピーター・シャルデンブラントは、ロボティクス研究所の博士課程の学生です。彼は、FRIDA とともに働き、AI と創造性について探究しています。

「カエルバレリーナの絵がとても素敵にできたと思います」と彼は言いました。「それはとても愉快で、面白いです。FRIDA が私の入力に基づいて生成したものを見て、驚くことができたのはとても楽しかったです。」

FRIDA は、Framework and Robotics Initiative for Developing Arts の頭字語です。フリーダ・カーロにちなんで命名されています。

この研究は、シャルデンブラントを含む RI の教員であるジーン・オーとジム・マッカムによって率いられています。学生や研究者から大きな関心を集めています。

コラボレーションツール、芸術家ではない

ユーザーは、テキストの説明を入力したり、他の作品をアップロードしてスタイルをインスパイアしたり、写真をアップロードして表現を求めたりすることで、FRIDA を導くことができます。チームは、オーディオなどの他の入力もテストしています。

「FRIDA はロボットペイントシステムですが、FRIDA は芸術家ではありません」とシャルデンブラントは続けました。「FRIDA はアイデアを生成してコミュニケーションをとるものではありません。FRIDA は、芸術家がコラボレーションできるシステムです。芸術家は FRIDA に対して高レベルの目標を指定し、FRIDA はそれを実行します。」

画像を描くために、ロボットは OpenAI の ChatGPT や DALL-E 2 に相当する AI モデルを使用します。これらは、テキストまたは画像をプロンプトに応じて生成します。FRIDA は、ブラシストロークで画像をシミュレートし、作業中に進捗を評価するためにマシンラーニングを利用します。

FRIDA の最終製品は、幻想的で印象的なものです。ブラシストロークは大胆で、ロボットの取り組みでよく求められる精度はありません。

「FRIDA は、人間とロボットの創造性の交差点を探求するプロジェクトです」とマッカムは付け加えました。「フリーダは、画像のキャプションやシーンの内容を理解するために開発された AI モデルを使用して、芸術的な生成問題に取り組んでいます。」

FRIDA は、アート作成プロセス中に複数回 AI とマシンラーニングを使用します。まず、1 時間以上かけてペイントブラシの使用方法を学習します。次に、インターネットからスクレイピングされたテキストと画像のペアの大規模なデータセットでトレーニングされたビジョン言語モデル、たとえば OpenAI の Contrastive Language-Image Pre-Training (CLIP) を使用して、入力を理解します。

物理的な画像を生成する上で最も重要な技術的な課題の 1 つは、シミュレーションと実際のギャップを減らすことです。FRIDA は、ロボットの実際のブラシストロークを使用してシミュレーターをトレーニングし、ロボットとペイント材料の物理的な能力を反映させるという、real2sim2real という概念を使用します。

FRIDA のチームは現在、大規模なビジョン言語モデルの制限を解決するために、使用しているモデルの改良に取り組んでいます。ニュース記事の見出しをモデルに提供して、世界で何が起こっているかを理解させ、さらに多様な文化を表現した画像やテキストでトレーニングして、アメリカや西洋の偏見を避けています。