카네기 멜런 대학 연구진, 인간과 협력하는 AI 로봇 개발

카네기 멜런 대학의 로봇공학 연구소에서 개발한 도구인 FRIDA는 로봇 암에 부착된 붓을 사용하여 인간과 협력하여 예술 프로젝트를 수행하는 시스템입니다.

이 연구는 2023년 5월에 열리는 2023 IEEE 국제 로봇 및 자동화 회의에서 발표될 예정입니다.

피터 샬덴브란트는 로봇공학 연구소의 박사 과정 학생으로, FRIDA와 함께 일하며 AI와 창의성에 대해 연구합니다.

“한 마리의 개구리 발레리나를 그린 그림이 정말 잘 나왔습니다.”라고 그는 말했다. “이 그림은 정말 유쾌하고 재미있으며, FRIDA가 내 입력에 기반하여 생성한 결과를 보는 것이 정말 즐거웠습니다.”

FRIDA는 Framework and Robotics Initiative for Developing Arts의 약자로, 프리다 칼로의 이름을 따서 명명되었습니다.

이 연구는 샬덴브란트와 함께 RI 교직원인 장 오와 짐 맥캄이 주도하여 수행되었습니다.

협력 도구, 아티스트가 아님

사용자는 텍스트 설명을 입력하거나 다른 예술 작품을 업로드하여 FRIDA의 스타일을 영감받을 수 있습니다. 또한 사진을 업로드하여 그 사진을 표현하도록 요청할 수 있습니다. 팀은 오디오와 같은 다른 입력도 테스트 중입니다.

“FRIDA는 로봇 페인팅 시스템이지만, FRIDA는 아티스트가 아닙니다.”라고 샬덴브란트는 계속했습니다. “FRIDA는 아이디어를 생성하지 않습니다. FRIDA는 아티스트와 협력할 수 있는 시스템입니다. 아티스트는 FRIDA에게 높은 수준의 목표를 지정할 수 있으며, 그 후 FRIDA는 그것을 수행할 수 있습니다.”

이미지를 페인팅하기 위해, 로봇은 OpenAI의 ChatGPT와 DALL-E 2와 같은 모델을 사용합니다. FRIDA는刷子로 이미지를 페인팅하는 것을 시뮬레이션하고, 머신 러닝을 사용하여 진행 상황을 평가합니다.

FRIDA의 최종 결과물은 상상력과 인상주의적인 스타일입니다. 붓질은 대담하며, 로봇의 정밀성을 추구하는 것과는 달리, 정밀하지 않습니다.

“FRIDA는 인간과 로봇의 창의성을 결합하는 프로젝트입니다.”라고 맥캄은 추가했습니다. “프리다는 이미지를 캡션하고, 장면 내용을 이해하는 것과 같은 작업을 수행하는 AI 모델을 사용하여, 이 예술적인 생성 문제를 해결하고 있습니다.”

FRIDA는 예술 생성 과정에서 여러 번 AI와 머신 러닝을 사용합니다. 먼저, FRIDA는 1시간 이상 붓을 사용하는 방법을 배웁니다. 그 후, 대규모 데이터셋에서 텍스트와 이미지 쌍을 학습한 비전-언어 모델을 사용하여 입력을 이해합니다.

물리적인 이미지를 생성하는 가장 큰 기술적인 도전은 시뮬레이션-실제 간격을 줄이는 것입니다. FRIDA는 로봇의 실제 붓질을 사용하여 시뮬레이터를 훈련시킵니다. 이를 통해 로봇과 페인팅 재료의 물리적인 능력을 반영하고 모방할 수 있습니다.

FRIDA 팀은 현재 대규모 비전-언어 모델의 한계를 해결하기 위해 지속적으로 모델을 개선하고 있습니다. 그들은 모델에 뉴스 기사 제목을 제공하여 세계의 상황을 이해하도록 훈련시키고, 다양한 문화를 대표하는 이미지와 텍스트로 모델을 훈련시켜 미국이나 서양의 편향을 피합니다.