로보틱스 및 피지컬 AI

카네기 멜런 대학 연구진, 그림 그리는 AI 로봇 개발

Alex McFarland
Unite.AI를 Google의 선호 소스에 추가
핵심 포인트FRIDA는 협업 도구이지 예술가가 아니며, 인간-AI 공동 창작을 위해 설계되었습니다.
더 보기
  • FRIDA는 협업 도구이지 예술가가 아니며, 인간-AI 공동 창작을 위해 설계되었습니다.
  • 이 로봇은 CLIP과 같은 AI 모델을 사용하여 텍스트, 이미지 또는 오디오를 그림 프롬프트로 해석합니다.
  • FRIDA는 실제 붓놀림을 기반으로 시뮬레이터를 훈련시켜 시뮬레이션-실제 간 차이를 줄입니다.

카네기 멜런 대학의 로봇공학 연구소에서 개발한 도구인 FRIDA는 로봇 암에 부착된 붓을 사용하여 인간과 협력하여 예술 프로젝트를 수행하는 시스템입니다.

연구팀은 2023년 5월 IEEE 국제 로봇 및 자동화 학술대회에서 FRIDA: A Collaborative Robot Painter With a Differentiable, Real2Sim2Real Planning Environment라는 연구를 발표할 예정입니다.

피터 샬덴브란트는 컴퓨터과학대학 로봇공학 연구소의 박사 과정 학생으로, FRIDA와 함께 일하며 AI와 창의성에 대해 연구합니다.

“한 마리의 개구리 발레리나를 그린 그림이 정말 잘 나왔습니다.”라고 그는 말했다. “이 그림은 정말 유쾌하고 재미있으며, FRIDA가 내 입력에 기반하여 생성한 결과를 보는 것이 정말 즐거웠습니다.”

FRIDA는 Framework and Robotics Initiative for Developing Arts의 약자로, 프리다 칼로의 이름을 따서 명명되었습니다.

이 연구는 샬덴브란트와 함께 RI 교수진인 장 오, 짐 맥캄과 함께 주도했으며, CMU 곳곳의 학생과 연구자들의 관심을 끌었습니다.

협력 도구, 아티스트가 아님

사용자는 텍스트 설명을 입력하거나 다른 예술 작품을 업로드하여 FRIDA의 스타일을 영감받을 수 있습니다. 또한 사진을 업로드하여 그 사진을 표현하도록 요청할 수 있습니다. 팀은 오디오와 같은 다른 입력도 테스트 중입니다.

“FRIDA는 로봇 페인팅 시스템이지만, FRIDA는 아티스트가 아닙니다.”라고 샬덴브란트는 계속했습니다. “FRIDA는 아이디어를 생성하지 않습니다. FRIDA는 아티스트와 협력할 수 있는 시스템입니다. 아티스트는 FRIDA에게 높은 수준의 목표를 지정할 수 있으며, 그 후 FRIDA는 그것을 수행할 수 있습니다.”

이미지를 페인팅하기 위해, 로봇은 프롬프트에 반응해 글이나 이미지를 만드는 OpenAI의 ChatGPT와 DALL-E 2를 구동하는 모델과 유사한 AI 모델을 사용합니다. FRIDA는 붓으로 이미지를 페인팅하는 것을 시뮬레이션하고, 머신 러닝을 사용하여 진행 상황을 평가합니다.

FRIDA의 최종 결과물은 상상력과 인상주의적인 스타일입니다. 붓질은 대담하며, 로봇의 정밀성을 추구하는 것과는 달리, 정밀하지 않습니다.

“FRIDA는 인간과 로봇의 창의성을 결합하는 프로젝트입니다.”라고 맥캄은 추가했습니다. “프리다는 이미지를 캡션하고, 장면 내용을 이해하는 것과 같은 작업을 수행하는 AI 모델을 사용하여, 이 예술적인 생성 문제를 해결하고 있습니다.”

FRIDA는 예술 생성 과정에서 여러 번 AI와 머신 러닝을 사용합니다. 먼저, FRIDA는 1시간 이상 붓을 사용하는 방법을 배웁니다. 그 후, 인터넷에서 수집한 텍스트와 이미지 쌍의 대규모 데이터셋으로 학습된 비전-언어 모델을 이용해 입력을 이해합니다. OpenAI의 대조적 언어-이미지 사전 학습(CLIP)이 그 예입니다.

물리적인 이미지를 생성하는 가장 큰 기술적인 도전은 시뮬레이션에서 만든 결과와 실제 캔버스에 그린 결과 사이의 차이, 즉 시뮬레이션과 현실 간의 간극을 줄이는 것입니다. FRIDA는 real2sim2real이라는 방식을 사용해 로봇의 실제 붓질로 시뮬레이터를 학습시킵니다. 이를 통해 로봇과 페인팅 재료의 물리적인 능력을 반영하고 모방할 수 있습니다.

FRIDA 팀은 현재 대규모 비전-언어 모델의 한계를 해결하기 위해 지속적으로 모델을 개선하고 있습니다. 그들은 모델에 뉴스 기사 제목을 제공하여 세계의 상황을 이해하도록 훈련시키고, 다양한 문화를 대표하는 이미지와 텍스트로 모델을 훈련시켜 미국이나 서양의 편향을 피합니다.

Alex는 Unite.AI의 AI 기반 뉴스 운영을 이끌고 있습니다. 저널리즘, 조사, 자동화를 결합해 인공지능에 관한 소식을 시의적절하게, 확장 가능한 방식으로 보도할 수 있도록 지원합니다. 그의 업무는 매체의 편집 기준을 유지하면서 새로운 AI 동향을 효율적으로 찾아 보도하는 데 기여합니다.