Ρομποτική και φυσική AI

Ερευνητές του CMU Δημιουργούν Ρομποτικό Βραχίονα που Ζωγραφίζει με τη Βοήθεια του AI

Alex McFarland
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
Βασικά σημείαΤο FRIDA είναι ένα συνεργατικό εργαλείο, όχι ένας καλλιτέχνης, σχεδιασμένο για…
Δείτε περισσότερα
  • Το FRIDA είναι ένα συνεργατικό εργαλείο, όχι ένας καλλιτέχνης, σχεδιασμένο για συν-δημιουργία ανθρώπου-τεχνητής νοημοσύνης.
  • Το ρομπότ χρησιμοποιεί μοντέλα τεχνητής νοημοσύνης όπως το CLIP για να ερμηνεύει κείμενο, εικόνες ή ήχο ως προτροπές ζωγραφικής.
  • Το FRIDA μειώνει το χάσμα προσομοίωσης-πραγματικότητας εκπαιδεύοντας τον προσομοιωτή του σε πραγματικές πινελιές.

Ερευνητές στο Ινστιτούτο Ρομποτικής του Πανεπιστημίου Carnegie Mellon έχουν αναπτύξει ένα εργαλείο που ονομάζεται FRIDA, το οποίο είναι ένας ρομποτικός βραχίονας με προσαρτημένο πινέλο ζωγραφικής. Το εργαλείο αξιοποιεί την τεχνητή νοημοσύνη (AI) για να συνεργαστεί με τους ανθρώπους σε έργα τέχνης.

Σύμφωνα με το άρθρο του 2023, η ομάδα επρόκειτο να παρουσιάσει την έρευνά της με τον τίτλο «FRIDA: Ένας Συνεργατικός Ρομποτικός Ζωγράφος με ένα Διαφορίσιμο, Περιβάλλον Σχεδιασμού Πραγματικότητας–Προσομοίωσης–Πραγματικότητας» στο Διεθνές Συνέδριο Ρομποτικής και Αυτοματισμού του IEEE τον Μάιο του 2023.

Ο Peter Schaldenbrand είναι φοιτητής διδακτορικού στο Ινστιτούτο Ρομποτικής της Σχολής Επιστημών Υπολογιστών. Εργάζεται με τη FRIDA και εξερευνά τη σχέση μεταξύ AI και δημιουργικότητας.

«Υπάρχει ένας πίνακας με έναν βάτραχο μπαλαρίνα που νομίζω ότι βγήκε πολύ καλά», είπε. «Είναι πραγματικά αστείο και διασκεδαστικό, και νομίζω ότι η έκπληξη από το τι παράγει η FRIDA με βάση την είσοδό μου ήταν πραγματικά διασκεδαστικό να δω».

Το FRIDA είναι ακρωνύμιο του Framework and Robotics Initiative for Developing Arts, δηλαδή Πλαίσιο και Ρομποτική Πρωτοβουλία για την Ανάπτυξη των Τεχνών. Πήρε το όνομά της από τη Frida Kahlo.

Η έρευνα διεξήχθη από τον Schaldenbrand, μαζί με μέλη του διδακτικού προσωπικού του RI, Jean Oh και Jim McCann, και έχει προσελκύσει φοιτητές και ερευνητές από όλο το CMU.

Συνεργατικό Εργαλείο, Όχι Καλλιτέχνης

Οι χρήστες μπορούν να οδηγούν τη FRIDA εισάγοντας μια περιγραφή κειμένου, υποβάλλοντας άλλα έργα τέχνης για να εμπνεύσουν το στυλ της, ή ανεβάζοντας μια φωτογραφία και ζητώντας της να ζωγραφίσει μια αναπαράσταση. Η ομάδα δοκιμάζει επίσης άλλες εισόδους, όπως ήχο.

«Η FRIDA είναι ένα ρομποτικό σύστημα ζωγραφικής, αλλά η FRIDA δεν είναι καλλιτέχνης», συνέχισε ο Schaldenbrand. «Η FRIDA δεν παράγει τις ιδέες για να επικοινωνήσει. Η FRIDA είναι ένα σύστημα που μπορεί να συνεργαστεί με έναν καλλιτέχνη. Ο καλλιτέχνης μπορεί να ορίσει υψηλού επιπέδου στόχους για τη FRIDA και στη συνέχεια η FRIDA μπορεί να τους εκτελέσει».

Για να ζωγραφίσει μια εικόνα, ο ρομποτικός βραχίονας χρησιμοποιεί μοντέλα AI που είναι συγκρίσιμα με αυτά που τροφοδοτούν το ChatGPT και το DALL-E 2 της OpenAI, τα οποία παράγουν κείμενο ή μια εικόνα ως απάντηση σε μια οδηγία εισόδου. Η FRIDA προσομοιώνει πώς θα ζωγράφιζε μια εικόνα με πινέλα και χρησιμοποιεί μηχανική μάθηση για να αξιολογήσει την πρόοδό της καθώς εργάζεται.

Τα τελικά έργα της FRIDA είναι ευφάνταστα και ιμπρεσιονιστικά. Οι πινελιές είναι τολμηρές και δεν έχουν την ακρίβεια που αναζητείται συχνά στις ρομποτικές προσπάθειες.

«Η FRIDA είναι ένα έργο που εξερευνά τη διασταύρωση μεταξύ ανθρώπινης και ρομποτικής δημιουργικότητας», πρόσθεσε ο McCann. «Η FRIDA χρησιμοποιεί τα είδη μοντέλων AI που έχουν αναπτυχθεί για να κάνουν πράγματα όπως να προσθέτουν λεζάντες σε εικόνες και να κατανοούν το περιεχόμενο της σκηνής και τα εφαρμόζει σε αυτό το πρόβλημα καλλιτεχνικής δημιουργίας».

Η FRIDA χρησιμοποιεί AI και μηχανική μάθηση πολλές φορές κατά τη διαδικασία δημιουργίας τέχνης. Πρώτα, περνάει μια ώρα ή περισσότερο μαθαίνοντας πώς να χρησιμοποιήσει το πινέλο της. Στη συνέχεια, χρησιμοποιεί μοντέλα οπτικής-γλώσσας που έχουν εκπαιδευτεί σε τεράστιες βάσεις δεδομένων που ζευγνύουν κείμενο και εικόνες από το διαδίκτυο, όπως το Contrastive Language-Image Pre-Training (CLIP) της OpenAI, για να κατανοήσει την είσοδο.

Μια από τις πιο σημαντικές τεχνικές προκλήσεις στην παραγωγή μιας φυσικής εικόνας είναι η μείωση του χάσματος προσομοίωσης-πραγματικότητας, το οποίο είναι η διαφορά μεταξύ αυτού που δημιουργεί η FRIDA στην προσομοίωση και σε αυτό που ζωγραφίζει στον καμβά. Η FRIDA χρησιμοποιεί μια ιδέα που ονομάζεται πραγματικότητα–προσομοίωση–πραγματικότητα (real2sim2real), όπου οι πραγματικές πινελιές του ρομποτικού βραχίονα χρησιμοποιούνται για να εκπαιδεύσουν τον προσομοιωτή να αποτυπώνει και να μιμείται τις φυσικές δυνατότητες του ρομπότ και των υλικών ζωγραφικής.

Η ομάδα της FRIDA τώρα στοχεύει να αντιμετωπίσει ορισμένους από τους περιορισμούς των σημερινών μεγάλων μοντέλων οπτικής-γλώσσας, συνεχίζοντας να βελτιώνει αυτά που χρησιμοποιούν. Τάισαν τα μοντέλα με τίτλους από άρθρα ειδήσεων για να τους δώσουν μια αίσθηση του τι συμβαίνει στον κόσμο και εκπαίδευσαν περαιτέρω τα μοντέλα σε εικόνες και κείμενο που είναι πιο αντιπροσωπευτικά διαφορετικών πολιτισμών για να αποφευχθεί μια αμερικανική ή δυτική προκατάληψη.

Alex McFarland

Ο Alex ηγείται των ειδησεογραφικών λειτουργιών που τροφοδοτούνται από AI της Unite.AI, συνδυάζοντας δημοσιογραφία, έρευνα και αυτοματοποίηση για την υποστήριξη έγκαιρης και κλιμακώσιμης κάλυψης της τεχνητής νοημοσύνης. Η δουλειά του βοηθά να διασφαλιστεί ότι οι αναδυόμενες εξελίξεις του AI εμφανίζονται αποτελεσματικά, διατηρώντας τα δημοσιογραφικά πρότυπα της έκδοσης.