Исследователи CMU создали робота с искусственным интеллектом, который рисует

Исследователи из Института робототехники Университета Карнеги-Меллона разработали инструмент под названием FRIDA, который представляет собой роботизированную руку с прикрепленной к ней кистью. Инструмент использует искусственный интеллект (ИИ) для совместной работы с людьми над художественными проектами.

Команда собирается представить исследование под названием «FRIDA: совместный робот-художник с дифференцируемой средой планирования Real2Sim2Realна Международной конференции IEEE по робототехнике и автоматизации 2023 года в мае.

Питер Шалденбранд - доктор философии. студент Института робототехники Школы компьютерных наук. Он работает с FRIDA и исследует искусственный интеллект и творчество.

«Есть одна картина с балериной-лягушкой, которая, на мой взгляд, получилась очень красивой», — сказал он. «Это действительно глупо и весело, и я думаю, что удивление от того, что FRIDA произвела на основе моего вклада, было действительно забавным».

FRIDA — это аббревиатура от Framework and Robotics Initiative for Developing Arts. Он назван в честь Фриды Кало.

Исследованием руководил Шалдербранд вместе с преподавателями РИ Джин О и Джимом МакКаамом, и оно привлекло внимание студентов и исследователей со всего КМУ.

Инструмент для совместной работы, а не исполнитель

Пользователи могут направлять FRIDA, вводя текстовое описание, отправляя другие произведения искусства, чтобы вдохновить ее стиль, или загружая фотографию и попросив ее нарисовать ее изображение. Команда также тестирует другие входы, такие как аудио.

«FRIDA — это роботизированная система рисования, но FRIDA — не художник», — продолжил Шальдербранд. «FRIDA не генерирует идеи для общения. FRIDA — это система, с которой художник может сотрудничать. Художник может указать цели высокого уровня для FRIDA, а затем FRIDA сможет их выполнить».

Чтобы нарисовать изображение, робот использует модели искусственного интеллекта, сравнимые с моделями OpenAI ChatGPT и DALL-E 2, которые создают текст или изображение в ответ на запрос. FRIDA имитирует процесс рисования изображения мазками кисти и использует машинное обучение для оценки прогресса в работе.

Конечные продукты FRIDA причудливы и импрессионистичны. Мазки кисти смелые и им не хватает точности, которая часто требуется в роботизированных усилиях.

«FRIDA — это проект, исследующий пересечение человеческого и роботизированного творчества», — добавил Макканн. «Фрида использует модели искусственного интеллекта, которые были разработаны, чтобы делать такие вещи, как изображения подписей и понимать содержание сцены, и применять их к этой художественной генеративной проблеме».

FRIDA несколько раз использует искусственный интеллект и машинное обучение в процессе создания произведений искусства. Во-первых, он тратит час или больше на то, чтобы научиться пользоваться кистью. Затем он использует модели языка видения, которые были обучены на огромных наборах данных, сочетающих текст и изображения, взятые из Интернета, такие как предварительное обучение контрастного языка и изображения OpenAI (CLIP), чтобы понять ввод.

Одной из самых серьезных технических проблем при создании физического изображения является уменьшение разрыва между симуляцией и реальностью, то есть несоответствия между тем, что FRIDA создает в симуляции, и тем, что она рисует на холсте. FRIDA использует идею, известную как real2sim2real, где фактические мазки робота используются для обучения симулятора отражению и имитации физических возможностей робота и материалов для рисования.

Теперь команда FRIDA стремится устранить некоторые ограничения в существующих больших моделях языка видения, постоянно совершенствуя те, которые они используют. Они кормили моделей заголовками из новостных статей, чтобы дать им представление о том, что происходит в мире, и дополнительно обучали их изображениям и тексту, которые более репрезентативны для различных культур, чтобы избежать американского или западного предубеждения.