Η Stability AI κυκλοφορεί το μοντέλο παραγωγής εικόνας από κείμενο DeepFloyd IF

Stability AI και το πολυτροπικό εργαστήριό της για την έρευνα της ΤΝ, DeepFloyd, ανακοίνωσαν την ερευνητική κυκλοφορία του DeepFloyd IF, ενός μοντέλου παραγωγής εικόνας από κείμενο με διάχυση σε διαδοχικά στάδια στον χώρο των εικονοστοιχείων. Το μοντέλο κυκλοφορεί αρχικά υπό μια μη εμπορική, άδεια που επιτρέπει ερευνητική χρήση, αλλά μια κυκλοφορία ανοικτού κώδικα προγραμματίζεται για το μέλλον.

Το DeepFloyd IF διαθέτει πολλές αξιοσημείωτες λειτουργίες, συμπεριλαμβανομένων:

1. Βαθιά κατανόηση των γραπτών προτροπών: Το μοντέλο χρησιμοποιεί το T5-XXL-1.1 ως κωδικοποιητή κειμένου, με πολλαπλά στρώματα δια-προσοχής κειμένου-εικόνας, εξασφαλίζοντας καλύτερη ευθυγράμμιση μεταξύ προτροπών και εικόνων.
2. Συνεκτικό και σαφές κείμενο μαζί με τις παραγόμενες εικόνες: Το DeepFloyd IF μπορεί να γεννήσει εικόνες που περιέχουν αντικείμενα με ποικίλες ιδιότητες και χωρικές σχέσεις.
3. Υψηλός βαθμός φωτορεαλισμού: Το μοντέλο έχει επιτύχει ένα εντυπωσιακό σκορ FID σε αξιολόγηση zero-shot 6.66 στο σύνολο δεδομένων COCO.
4. Μετατόπιση αναλογίας: Το μοντέλο μπορεί να γεννήσει εικόνες με μη τυποποιημένες αναλογίες, συμπεριλαμβανομένων των κατακόρυφων, οριζόντιων και των τυποποιημένων τετραγωνικών αναλογιών.
5. Μετατροπή εικόνας σε εικόνα με zero-shot: Το μοντέλο μπορεί να τροποποιήσει το στυλ, τα σχέδια και τις λεπτομέρειες μιας εικόνας ενώ διατηρεί τη βασική της μορφή.

Παρακάτω είναι ορισμένες από τις εννοιολογικές εικόνες που δημιουργήθηκαν από το DeepFloyd IF:

Η αρθρωτή αρχιτεκτονική διάχυσης σε διαδοχικά στάδια στον χώρο των εικονοστοιχείων του DeepFloyd IF αποτελείται από πολλές νευρωνικές μονάδες που λειτουργούν συνεργατικά. Το μοντέλο λειτουργεί στο χώρο pixel, επεξεργαζόμενο υψηλής ανάλυσης δεδομένα σε διαδοχικά στάδια χρησιμοποιώντας μοντέλα που έχουν εκπαιδευτεί ξεχωριστά σε διαφορετικές αναλύσεις. Αυτό περιλαμβάνει ένα βασικό μοντέλο που γεννά δείγματα χαμηλής ανάλυσης και διαδοχικά μοντέλα υπερανάλυσης που παράγουν εικόνες υψηλής ανάλυσης.

Το μοντέλο εκπαιδεύτηκε σε ένα προσαρμοσμένο υψηλής ποιότητας σύνολο δεδομένων LAION-A που περιέχει 1 δισεκατομμύριο (εικόνα, κείμενο) ζευγάρια, ένα υποσύνολο του αγγλικού μέρους του συνόλου δεδομένων LAION-5B. Τα προσαρμοσμένα φίλτρα του DeepFloyd χρησιμοποιήθηκαν για την αφαίρεση περιεχομένου με υδατογραφήματα, περιεχομένου ακατάλληλου για προβολή στον χώρο εργασίας (NSFW) και άλλου ακατάλληλου περιεχομένου.

Η διαδικασία του DeepFloyd IF

Αρχικά, το DeepFloyd IF κυκλοφορεί υπό μια ερευνητική άδεια. Οι ερευνητές στοχεύουν να ενθαρρύνουν την ανάπτυξη καινοτόμων εφαρμογών σε τομείς όπως η τέχνη, ο σχεδιασμός, η αφήγηση, η εικονική πραγματικότητα και η προσβασιμότητα. Για να εμπνεύσουν πιθανή έρευνα, έχουν προτείνει ορισμένα τεχνικά, ακαδημαϊκά και ηθικά ερευνητικά ερωτήματα.

Τεχνικές ερευνητικές ερωτήσεις περιλαμβάνουν:

• Βελτιστοποίηση του μοντέλου IF για τη βελτίωση την απόδοση, την κλιμακωσιμότητα και την αποτελεσματικότητα.
• Βελτίωση της ποιότητας των αποτελεσμάτων με τη βελτίωση της δειγματοληψίας, της καθοδήγησης ή της λεπτομερούς προσαρμογής του μοντέλου.
• Εφαρμογή τεχνικών που χρησιμοποιούνται για να τροποποιήσουν την έξοδο του Stable Diffusion στο DeepFloyd IF.

Ακαδημαϊκές ερευνητικές ερωτήσεις περιλαμβάνουν:

• Εξέταση του ρόλου της προ-εκπαίδευσης για τη μεταφορά γνώσης.
• Βελτίωση του ελέγχου του μοντέλου στην παραγωγή εικόνων.
• Διεύρυνση των ικανοτήτων του μοντέλου πέρα από τη σύνθεση κειμένου-εικόνας με την ενσωμάτωση πολλαπλών τροπικοτήτων.
• Αξιολόγηση της ερμηνευσιμότητας του μοντέλου για να βελτιώσει την κατανόηση των οπτικών χαρακτηριστικών των παραγόμενων εικόνων.

Ηθικές ερευνητικές ερωτήσεις περιλαμβάνουν:

• Εντοπισμός και μείωση των προκαταλήψεων στο DeepFloyd IF.
• Αξιολόγηση του αντικτύπου του μοντέλου στα κοινωνικά μέσα και την παραγωγή περιεχομένου.
• Ανάπτυξη ενός αποτελεσματικού ανιχνευτή ψευδούς εικόνας που χρησιμοποιεί το μοντέλο.

Για να αποκτήσετε πρόσβαση στα βάρη του μοντέλου, οι χρήστες πρέπει να αποδεχτούν την άδεια στον χώρο Hugging Face του DeepFloyd. Για περισσότερες πληροφορίες, μπορείτε να επισκεφτείτε την ιστοσελίδα του μοντέλου, το αποθετήριο GitHub, την επίδειξη Gradio ή να συμμετάσχετε σε δημόσιες συζητήσεις μέσω του Linktree του DeepFloyd.