Робототехника и физический ИИ
Исследователи CMU создали робота-художника, использующего ИИ

Ключевые моментыFRIDA — это инструмент для совместной работы, а не художник, созданный для…
Показать больше
- FRIDA — это инструмент для совместной работы, а не художник, созданный для человеко-машинного сотворчества.
- Робот использует модели ИИ, такие как CLIP, для интерпретации текста, изображений или аудио в качестве подсказок для рисования.
- FRIDA сокращает разрыв между симуляцией и реальностью, обучая свой симулятор на реальных мазках кисти.
Исследователи в Институте робототехники Университета Карнеги-Меллона разработали инструмент под названием FRIDA, который представляет собой роботизированную руку с прикрепленной кистью. Этот инструмент использует искусственный интеллект (ИИ), чтобы работать вместе с людьми над художественными проектами.
Команда собирается представить свою исследовательскую работу под названием «FRIDA: Робот для совместной живописи с дифференцируемой средой планирования Real2Sim2Real» на Международной конференции IEEE по робототехнике и автоматизации в мае 2023 года.
Питер Шальденбранд – аспирант в Институте робототехники Школы компьютерных наук. Он работает с FRIDA и исследует ИИ и творчество.
«Есть одна картина лягушки-балерины, которая, на мой взгляд, получилась очень хорошо», – сказал он. «Это действительно глупо и весело, и я думаю, что было очень интересно увидеть неожиданный результат, который FRIDA создала на основе моих указаний».
FRIDA – это аббревиатура от Framework and Robotics Initiative for Developing Arts. Она названа в честь Фриды Кало.
Исследование было проведено под руководством Шальденбранда, вместе с преподавателями Института робототехники Жан О и Джимом Маккамом, и оно привлекло студентов и исследователей со всего CMU.
Коллаборативный инструмент, а не художник
Пользователи могут направлять FRIDA, вводя текстовое описание, отправляя другие произведения искусства, чтобы вдохновить ее стиль, или загружая фотографию и прося нарисовать ее живописную версию. Команда также тестирует другие входные данные, такие как аудио.
«FRIDA – это роботизированная система живописи, но FRIDA не является художником», – продолжил Шальденбранд. «FRIDA не генерирует идеи для общения. FRIDA – это система, с которой художник может сотрудничать. Художник может указать FRIDA высокоуровневые цели, а затем FRIDA может их выполнить».
Чтобы нарисовать изображение, робот использует модели ИИ, сопоставимые с теми, на которых основаны ChatGPT и DALL-E 2 от OpenAI, которые производят текст или изображение в ответ на запрос. FRIDA симулирует, как она будет рисовать изображение с помощью мазков кисти, и использует машинное обучение, чтобы оценить свой прогресс, пока работает.
Готовые картины FRIDA причудливы и выполнены в импрессионистической манере. Мазки кисти смелые и лишены точности, которая часто требуется в роботизированных начинаниях.
«FRIDA – это проект, исследующий пересечение человеческого и роботизированного творчества», – добавил Макканн. «FRIDA использует такие модели ИИ, которые были разработаны для выполнения задач, таких как создание подписей к изображениям и понимание содержания сцены, и применяет их к этой художественной генеративной задаче».
FRIDA использует ИИ и машинное обучение несколько раз во время своего художественного процесса. Сначала она тратит час или больше на обучение, чтобы использовать свою кисть. Затем она использует визуально-языковые модели, которые были обучены на огромных наборах данных, сочетающих текст и изображения, полученные из интернета, такие как Contrastive Language-Image Pre-Training (CLIP) от OpenAI, чтобы понять входные данные.
Одной из наиболее значительных технических проблем при создании физического изображения является снижение разрыва между симуляцией и реальностью, который представляет собой расхождение между тем, что создает FRIDA в симуляции, и тем, что она рисует на холсте. FRIDA использует идею, известную как real2sim2real, где фактические мазки кисти робота используются для обучения симулятора, чтобы он отражал и имитировал физические возможности робота и материалов для живописи.
Теперь команда FRIDA стремится решить некоторые из ограничений текущих крупных визуально-языковых моделей, непрерывно совершенствуя те, которые они используют. Они передали моделям заголовки новостных статей, чтобы дать им представление о том, что происходит в мире, и дальше обучили их на изображениях и тексте, которые более представительны для разнообразных культур, чтобы избежать американского или западного предубеждения.












