Исследователи CMU создали робот-пainter, который использует ИИ

Исследователи в Институте робототехники Университета Карнеги-Меллона разработали инструмент под названием FRIDA, который представляет собой роботизированную руку с прикрепленной кистью. Этот инструмент использует искусственный интеллект (ИИ), чтобы работать вместе с людьми над художественными проектами.

Команда собирается представить свою исследовательскую работу под названием «FRIDA: Коллаборативный робот-пainter с дифференцируемой средой планирования Real2Sim2Real» на Международной конференции IEEE по робототехнике и автоматизации в мае 2023 года.

Питер Шальденбранд – аспирант в Институте робототехники Школы компьютерных наук. Он работает с FRIDA и исследует ИИ и творчество.

«Есть одна картина лягушки-балерины, которая, на мой взгляд, получилась очень хорошо», – сказал он. «Это действительно глупо и весело, и я думаю, что сюрприз от того, что сгенерировала FRIDA на основе моего ввода, был действительно интересно посмотреть».

FRIDA – это аббревиатура от Framework and Robotics Initiative for Developing Arts. Она названа в честь Фриды Кало.

Исследование было проведено под руководством Шальденбранда, вместе с членами факультета RI Жан О и Джимом Маккамом, и оно привлекло студентов и исследователей со всего CMU.

Коллаборативный инструмент, а не художник

Пользователи могут направлять FRIDA, вводя текстовое описание, отправляя другие произведения искусства, чтобы вдохновить ее стиль, или загружая фотографию и прося ее нарисовать представление. Команда также тестирует другие входные данные, такие как аудио.

«FRIDA – это роботизированная система живописи, но FRIDA не является художником», – продолжил Шальденбранд. «FRIDA не генерирует идеи для общения. FRIDA – это система, с которой художник может сотрудничать. Художник может указать FRIDA высокоуровневые цели, а затем FRIDA может их выполнить».

Чтобы нарисовать изображение, робот использует модели ИИ, аналогичные тем, которые используются в OpenAI’s ChatGPT и DALL-E 2, которые производят текст или изображение в ответ на запрос. FRIDA симулирует, как она будет рисовать изображение с помощью мазков кисти, и использует машинное обучение, чтобы оценить свой прогресс, пока работает.

Конечные продукты FRIDA – это причудливые и импрессионистические. Мазки кисти смелые и лишены точности, которая часто требуется в роботизированных начинаниях.

«FRIDA – это проект, исследующий пересечение человеческого и роботизированного творчества», – добавил Макканн. «FRIDA использует такие модели ИИ, которые были разработаны для выполнения задач, таких как подпись изображений и понимание содержания сцены, и применяет их к этой художественной генеративной задаче».

FRIDA использует ИИ и машинное обучение несколько раз во время своего художественного процесса. Сначала она тратит час или больше на обучение, чтобы использовать свою кисть. Затем она использует модели видения-языка, которые были обучены на огромных наборах данных, сочетающих текст и изображения, полученные из интернета, такие как OpenAI’s Contrastive Language-Image Pre-Training (CLIP), чтобы понять входные данные.

Одной из наиболее значительных технических проблем при создании физического изображения является снижение разрыва между симуляцией и реальностью, который представляет собой расхождение между тем, что создает FRIDA в симуляции, и тем, что она рисует на холсте. FRIDA использует идею, известную как real2sim2real, где фактические мазки кисти робота используются для обучения симулятора, чтобы он отражал и имитировал физические возможности робота и материалов для живописи.

Теперь команда FRIDA стремится решить некоторые из ограничений текущих крупных моделей видения-языка,不断 совершенствуя те, которые они используют. Они подали модели заголовки новостей, чтобы дать им представление о том, что происходит в мире, и дальше обучили их на изображениях и тексте, которые более представительны для разнообразных культур, чтобы избежать американского или западного предубеждения.