カーネギーメロン大学の研究者がAIロボットを開発、絵を描く

カーネギーメロン大学のロボティクス研究所の研究者は、FRIDAというツールを開発しました。FRIDAは、ペイントブラシが付いたロボットアームで、人間と共同でアートプロジェクトを作成するために、人工知能（AI）を利用しています。

研究チームは、2023年5月に開催されるIEEE国際ロボティクスとオートメーション会議で、「FRIDA：コラボレーションロボットペインターシリーズ、リアル2シム2リアル計画環境」という研究を発表する予定です。

ピーター・シャルデンブラントは、ロボティクス研究所の博士課程の学生で、FRIDAと共にAIと創造性を研究しています。

「カエルバレリーナの絵がとても良くできたと思います」と彼は言いました。「それはとても愉快で、FRIDAが私の入力に基づいて生成したものを見て驚いたのはとても楽しかったです。」

FRIDAは、Framework and Robotics Initiative for Developing Artsの頭文字をとったもので、フリーダ・カーロにちなんで名付けられました。

この研究は、シャルデンブラントを含むRIの教員であるジーン・オーとジム・マッカムが率いて行われ、CMUの学生や研究者から大きな関心を集めています。

コラボレーションツール、芸術家ではない

ユーザーは、テキストの説明を入力したり、他の芸術作品をアップロードしてFRIDAのスタイルをインスパイアしたり、写真をアップロードしてその表現を描いてもらったりすることで、FRIDAを操作できます。研究チームは、オーディオなどの他の入力方法もテストしています。

「FRIDAはロボットペインティングシステムですが、FRIDAは芸術家ではありません」とシャルデンブラントは続けました。「FRIDAはアイデアを生成するものではありません。FRIDAは芸術家とコラボレーションするシステムです。芸術家はFRIDAに高レベルの目標を指定し、FRIDAはそれを実行します。」

FRIDAは、OpenAIのChatGPTやDALL-E 2と同等のAIモデルを使用して、画像を描きます。FRIDAは、ブラシストロークで画像をシミュレートし、作業中に進捗を評価するためにマシンラーニングを利用しています。

FRIDAの生成した画像は、ユーモラスで印象的なものです。ブラシストロークは大胆で、ロボティクスでの精密さは求められません。

「FRIDAは、人間とロボットの創造性の交差点を探求するプロジェクトです」とマッカムは付け加えました。「FRIDAは、画像のキャプションやシーンの内容を理解するために開発されたAIモデルを使用していますが、芸術的な生成問題に適用しています。」

FRIDAは、創造プロセス中に複数回AIとマシンラーニングを使用しています。まず、1時間以上かけてペイントブラシの使用方法を学習します。次に、インターネットからスクラップした画像とテキストのペアでトレーニングされたビジョン言語モデル、たとえばOpenAIのContrastive Language-Image Pre-Training（CLIP）を使用して、入力を理解します。

物理的な画像を生成する上で最も重要な技術的な課題の1つは、シミュレーションと現実のギャップ、つまりFRIDAがシミュレーションで生成したものと実際に描いたものの違いを減らすことです。FRIDAは、ロボットの実際のブラシストロークを使用してシミュレーターをトレーニングし、ロボットとペイント材料の物理的な能力を反映させるために、real2sim2realというアイデアを使用しています。

FRIDAのチームは、現在の大きなビジョン言語モデルに存在する限界を解決するために、使用しているモデルを継続的に改良しています。ニュース記事の見出しをモデルに提供して、世界の状況を理解させ、さらに多様な文化を表現した画像やテキストでトレーニングして、アメリカや西洋の偏見を避けました。