Η γωνία του Anderson

Εισαγωγή των Οπτικών Αναλογιών στο AI

mm
Προσθέστε το Unite.AI στις προτιμώμενες πηγές σας στο Google
AI-generated image: comparative cross-sections of a peach and the planet Earth. GPT-image-1, Firefly 3.

Τα τρέχοντα μοντέλα AI αποτυγχάνουν να αναγνωρίσουν τις ‘σχετικές’ οπτικές ομοιότητες, όπως η ομοιότητα μεταξύ των στρωμάτων της Γης και ενός ροδάκινου, λείπουν ενός βασικού аспέκτου του πώς οι άνθρωποι αντιλαμβάνονται τις εικόνες.

 

Υπάρχουν πολλά μοντέλα υπολογιστικής όρασης που μπορούν να συγκρίνουν εικόνες και να βρουν ομοιότητες μεταξύ τους, αλλά η τρέχουσα γενιά των συστημάτων σύγκρισης έχει μικρή ή καθόλου φανταστική ικανότητα. Σκεφτείτε κάποια από τους στίχους του κλασικού τραγουδιού της δεκαετίας του 1960, Windmills of Your Mind:

Σαν ένα καρουσέλ που γυρίζει, τρέχοντας κύκλους γύρω από τη σελήνη
Σαν ένα ρολόι που οι δείκτες του περνούν μπροστά από τα λεπτά του προσώπου
Και ο κόσμος είναι σαν ένα μήλο που γυρίζει σιωπηλά στο διάστημα

Συγκρίσεις αυτού του είδους αντιπροσωπεύουν ένα domaine ποιητικής αναφοράς που είναι σημαντικό για τους ανθρώπους με έναν τρόπο που υπερβαίνει την καλλιτεχνική έκφραση· αντ’ αυτού, είναι συνδεδεμένο με τον τρόπο που αναπτύσσουμε τους αισθητηριακούς μας μηχανισμούς· καθώς δημιουργούμε το ‘αντικειμενικό’ domaine μας, αναπτύσσουμε μια ικανότητα για οπτική ομοιότητα, έτσι ώστε – για παράδειγμα – τομές που απεικονίζουν ένα ροδάκινο και τη Γη, ή fractal επαναλήψεις όπως οι σπείρες του καφέ και οι κλάδοι των γαλαξιών, καταγράφονται ως αναλογικά με εμάς.

Με αυτόν τον τρόπο μπορούμε να συναγάγουμε συνδέσεις μεταξύ φαινομενικά μη συνδεδεμένων αντικειμένων και τύπων αντικειμένων, και να υποθέσουμε συστήματα (όπως η βαρύτητα, η ορμή και η επιφανειακή συνάφεια) που μπορούν να εφαρμοστούν σε eine ποικιλία domaine σε διάφορες κλίμακες.

Βλέποντας Πράγματα

Ακόμη και τα τελευταία μοντέλα σύγκρισης εικόνων AI, όπως το Learned Perceptual Image Patch Similarity (LPIPS) και DINO, που ενημερώνονται από ανθρώπινη ανατροφοδότηση, πραγματοποιούν μόνο κυριολεκτικές επιφανειακές συγκρίσεις.

Η ικανότητά τους να βρουν πρόσωπα όπου δεν υπάρχουν – δηλαδή, pareidolia – δεν αντιπροσωπεύει τον τύπο οπτικών ομοιότητας που οι άνθρωποι αναπτύσσουν, αλλά συμβαίνει επειδή οι αλγόριθμοι αναζήτησης προσώπων χρησιμοποιούν χαρακτηριστικά χαμηλού επιπέδου δομής που μερικές φορές συμφωνούν με τυχαία αντικείμενα:

Παραδείγματα ψευδών θετικών για αναγνώριση προσώπων στο σύνολο δεδομένων 'Faces with Things'. Πηγή - https://arxiv.org/pdf/2409.16143

Παραδείγματα ψευδών θετικών για αναγνώριση προσώπων στο σύνολο δεδομένων ‘Faces with Things’. Πηγή

Για να καθορίσουν εάν τα μηχανήματα μπορούν πραγματικά να αναπτύξουν την φανταστική μας ικανότητα να αναγνωρίζουν οπτική ομοιότητα, ερευνητές στις ΗΠΑ έχουν διεξαγάγει μια μελέτη γύρω από τη Σχετική Οπτική Ομοιότητα, δημιουργώντας και εκπαιδεύοντας ένα νέο σύνολο δεδομένων που σχεδιάστηκε για να αναγκάσει αφηρημένες σχέσεις να σχηματιστούν μεταξύ διαφορετικών αντικειμένων που είναι ωστόσο συνδεδεμένα με μια αφηρημένη σχέση:

Τα περισσότερα μοντέλα AI αναγνωρίζουν ομοιότητα μόνο όταν οι εικόνες μοιράζονται επιφανειακά χαρακτηριστικά όπως σχήμα ή χρώμα, γι' αυτό και συνδέουν μόνο την Ομάδα Β (πάνω) με την αναφορά. Οι άνθρωποι, από την άλλη πλευρά, βλέπουν επίσης την Ομάδα Α ως ομοιόμορφη - όχι επειδή οι εικόνες μοιάζουν, αλλά επειδή ακολουθούν την ίδια υποκείμενη λογική, όπως η δείχνει μια μεταμόρφωση με την πάροδο του χρόνου. Η νέα εργασία προσπαθεί να αναπαράγει αυτό το είδος δομικής ή σχετικής ομοιότητας, με στόχο να φέρει την αντίληψη της μηχανής πιο κοντά στη σκέψη των ανθρώπων.

Τα περισσότερα μοντέλα AI αναγνωρίζουν ομοιότητα μόνο όταν οι εικόνες μοιράζονται επιφανειακά χαρακτηριστικά όπως σχήμα ή χρώμα, γι’ αυτό και συνδέουν μόνο την Ομάδα Β (πάνω) με την αναφορά. Οι άνθρωποι, από την άλλη πλευρά, βλέπουν επίσης την Ομάδα Α ως ομοιόμορφη – όχι επειδή οι εικόνες μοιάζουν, αλλά επειδή ακολουθούν την ίδια υποκείμενη λογική, όπως η δείχνει μια μεταμόρφωση με την πάροδο του χρόνου. Η νέα εργασία προσπαθεί να αναπαράγει αυτό το είδος δομικής ή σχετικής ομοιότητας, με στόχο να φέρει την αντίληψη της μηχανής πιο κοντά στη σκέψη των ανθρώπων. Πηγή: https://arxiv.org/pdf/2512.07833

Το σύστημα καπτίων που αναπτύχθηκε για το σύνολο δεδομένων διευκολύνει ασυνήθιστα αφηρημένες αναγραφές, που σχεδιάστηκαν για να αναγκάσουν τα συστήματα AI να επικεντρωθούν στα βασικά χαρακτηριστικά παρά στα συγκεκριμένα τοπικά λεπτομέρειες:

Οι προβλεπόμενες 'ανώνυμες' καπτίων που συνεισφέρουν στο μετρικό 'relsim' των συγγραφέων.

Οι προβλεπόμενες ‘ανώνυμες’ καπτίων που συνεισφέρουν στο μετρικό ‘relsim’ των συγγραφέων.

Το κατηγοριοποιημένο σύνολο δεδομένων και ο ασυνήθιστος τρόπος καπτίων τροφοδοτούν το νέο μετρικό που προτείνουν οι συγγραφείς relsim, το οποίο οι συγγραφείς έχουν βελτιστοποιήσει σε ένα μοντέλο όρασης-γλώσσας (VLM).

Σύγκριση του στυλ καπτίων των τυπικών συνόλων δεδομένων, που επικεντρώνεται στην ομοιότητα ιδιοτήτων, ενώ η προσέγγιση relsim (κάτω σειρά) τονίζει τη σχετική ομοιότητα.

Σύγκριση του στυλ καπτίων των τυπικών συνόλων δεδομένων, που επικεντρώνεται στην ομοιότητα ιδιοτήτων, ενώ η προσέγγιση relsim (κάτω σειρά) τονίζει τη σχετική ομοιότητα.

Η νέα προσέγγιση βασίζεται σε μεθοδολογίες από την khoa học της γνώσης, ιδιαίτερα τη θεωρία Structure-Mapping της Dedre Gentner (μια μελέτη της αναλογίας) και τον ορισμό του Amos Tversky για τη σχετική ομοιότητα και την ομοιότητα ιδιοτήτων.

Από τον ιστότοπο του σχετικού έργου, ένα παράδειγμα σχετικής ομοιότητας. Πηγή - https://thaoshibe.github.io/relsim/

Από τον ιστότοπο του σχετικού έργου, ένα παράδειγμα σχετικής ομοιότητας. Πηγή

Οι συγγραφείς αναφέρουν:

‘[Οι άνθρωποι] επεξεργάζονται την ομοιότητα ιδιοτήτων αισθητικά, αλλά η σχετική ομοιότητα απαιτεί концептуτική αφαίρεση, συχνά υποστηριζόμενη από γλώσσα ή προηγούμενη γνώση. Αυτό υποδηλώνει ότι η αναγνώριση της σχετικής ομοιότητας απαιτεί πρώτα την κατανόηση της εικόνας, την κλήση της γνώσης και την αφαίρεση της υποκείμενης δομής.’

Το νέο έγγραφο έχει τον τίτλο Σχετική Οπτική Ομοιότητα και συνοδεύεται από einen ιστότοπο του έργου (βλέπε βίντεο ενσωματωμένο στο τέλος του άρθρου).

Μέθοδος

Οι ερευνητές χρησιμοποίησαν ένα από τα πιο γνωστά υπερκλίμακα σύνολα δεδομένων ως σημείο εκκίνησης για τη δική τους συλλογή – LAION-2B:

Μεταδεδομένα για μια εγγραφή στη συλλογή LAION-2B. Πηγή - https://huggingface.co/datasets/laion/laion2B-en-aesthetic/viewer/default/train

Μεταδεδομένα για μια εγγραφή στη συλλογή LAION-2B. Πηγή

114.000 εικόνες που πιθανότατα περιέχουν ελαστικές σχετικές δομές εξήχθησαν από το LAION-2B, που αφορούσε τον καθαρισμό των πολλών χαμηλής ποιότητας εικόνων που υπάρχουν στο ελάχιστα επιμελημένο σύνολο δεδομένων.

Για να δημιουργήσουν μια διαδικασία για αυτή τη διαδικασία επιλογής, οι συγγραφείς χρησιμοποίησαν το Qwen2.5-VL-7B, αξιοποιώντας 1.300 θετικά και 11.000 αρνητικά ανθρώπινα ετικεταρισμένα παραδείγματα:

Το σύστημα relsim εκπαιδεύεται σε τρεις φάσεις: φιλτράρισμα εικόνων από το LAION-2B για σχετική περιεχόμενο: ανάθεση μιας κοινής ανώνυμης καπτίων σε κάθε ομάδα που καταγράφει την υποκείμενη λογική: και μάθηση για να ταιριάξουν εικόνες με αυτές τις καπτίων χρησιμοποιώντας μια αντίθετη απώλεια.

Το σύστημα relsim εκπαιδεύεται σε τρεις φάσεις: φιλτράρισμα εικόνων από το LAION-2B για σχετική περιεχόμενο: ανάθεση μιας κοινής ανώνυμης καπτίων σε κάθε ομάδα που καταγράφει την υποκείμενη λογική: και μάθηση για να ταιριάξουν εικόνες με αυτές τις καπτίων χρησιμοποιώντας μια αντίθετη απώλεια.

Το έγγραφο αναφέρει:

‘Οι αναγραφείς οδηγήθηκαν: “Μπορείτε να δείτε κάποιο σχετικό μοτίβο, λογική ή δομή σε αυτή την εικόνα που θα μπορούσε να είναι χρήσιμο για τη δημιουργία ή τη σύνδεση με μια άλλη εικόνα;”. Το βελτιστοποιημένο μοντέλο επιτυγχάνει 93% συμφωνία με τις ανθρώπινες κρίσεις, και όταν εφαρμόζεται στο LAION-2B, αποδίδει N = 114k εικόνες που αναγνωρίζονται ως σχετικά ενδιαφέρουσες.’

Για να παράγουν σχετικές ετικέτες, οι ερευνητές προέτρεψαν το μοντέλο Qwen να περιγράψει τη κοινή λογική πίσω από σύνολα εικόνων χωρίς να ονομάζουν συγκεκριμένα αντικείμενα. Αυτή η αφαίρεση ήταν δύσκολο να επιτευχθεί όταν το μοντέλο έβλεπε μόνο μια εικόνα, αλλά έγινε εφικτή όταν πολλά παραδείγματα επέδειξαν την υποκείμενη δομή.

Οι αντίστοιχες καπτίων ομαδικής επιπέδου αντικατέστησαν συγκεκριμένους όρους με αναφορές όπως ‘{Υποκείμενο}’ ή ‘{Τύπος Κίνησης}’, καθιστώντας τις ευρέως εφαρμόσιμες.

Μετά την ανθρώπινη επαλήθευση, κάθε καπτίων συνδυάστηκε με όλες τις εικόνες της ομάδας του. Περισσότερες από 500 τέτοιες ομάδες χρησιμοποιήθηκαν για την εκπαίδευση του μοντέλου, το οποίο στη συνέχεια εφαρμόστηκε στις 114.000 φιλτραρισμένες εικόνες για να παράγει einen μεγάλο σύνολο αφηρημένων, σχετικά αναγραφημένων δειγμάτων.

Δεδομένα και Τεστ

Μετά την εξαγωγή των σχετικών χαρακτηριστικών με το Qwen2.5-VL-7B, ένα μοντέλο βελτιστοποιήθηκε στα δεδομένα χρησιμοποιώντας LoRA, για 15.000 βήματα, μέσω οκτώ A100 GPUs*. Για την πλευρά του κειμένου, οι σχετικές καπτίων ενσωματώθηκαν χρησιμοποιώντας all-MiniLM-L6-v2 από τη βιβλιοθήκη Sentence-Transformers.

Το σύνολο δεδομένων των 114.000 ετικεταρισμένων εικόνων χωρίστηκε σε 100.000 για εκπαίδευση και 14.000 για αξιολόγηση. Για να δοκιμάσουν το σύστημα, χρησιμοποιήθηκε μια ρύθμιση ανάκτησης: δεδομένης μιας εικόνας ερωτήματος, το μοντέλο έπρεπε να βρει μια διαφορετική εικόνα από ένα πул 28.000 αντικειμένων που εκφράζει την ίδια σχετική ιδέα. Ο πул ανάκτησης περιελάμβανε 14.000 εικόνες αξιολόγησης και 14.000 επιπλέον δείγματα από το LAION-2B, με 1.000 ερωτήματα που επιλέχθηκαν τυχαία από το σύνολο αξιολόγησης για αναφορά.

Για να αξιολογήσουν την ποιότητα ανάκτησης, χρησιμοποιήθηκε το GPT-4o για να βαθμολογήσει την σχετική ομοιότητα μεταξύ κάθε ερωτήματος και ανακτημένης εικόνας σε μια κλίμακα από 0 έως 10. Μια ξεχωριστή ανθρώπινη μελέτη διεξήχθη επίσης για να μετρήσει την προτίμηση του χρήστη (βλέπε παρακάτω).

Κάθε συμμετέχων έδειξε μια ανώνυμη εικόνα ερωτήματος με δύο υποψήφιες, одну που ανακτήθηκε από την προτεινόμενη μέθοδο και μια άλλη από μια βάση. Οι συμμετέχοντες ζητήθηκαν να πουν ποια εικόνα ήταν πιο σχετικά παρόμοια με το ερώτημα, ή αν και οι δύο ήταν εξίσου κοντά. Για κάθε βάση, δημιουργήθηκαν 300 τριπλέτες και βαθμολογήθηκαν από τουλάχιστον τρεις άτομα, αποδίδοντας περίπου 900 απαντήσεις.

Η προσέγγιση relsim συγκρίθηκε με διάφορες καθιερωμένες μεθόδους ομοιότητας εικόνας-εικόνας, συμπεριλαμβανομένων των LPIPS και DINO, καθώς και dreamsim και CLIP-I. Εκτός από τις μεθόδους βάσης που υπολογίζουν απευθείας βαθμολογίες ομοιότητας μεταξύ ζευγών εικόνων, όπως LPIPS, DINO, dreamsim και CLIP-I, οι συγγραφείς δοκιμάζουν επίσης μεθόδους καπτίων, στις οποίες το Qwen χρησιμοποιήθηκε για να παράγει μια ανώνυμη ή αφηρημένη καπτίων για κάθε εικόνα· αυτό στη συνέχεια χρησίμευσε ως ερώτημα ανάκτησης. 

Δυο παραλλαγές ανάκτησης αξιολογήθηκαν, με CLIP-βασισμένη ανάκτηση κειμένου-εικόνας (CLIP-T) που χρησιμοποιήθηκε για ανάκτησης κειμένου-εικόνας και Qwen-T που χρησιμοποιήθηκε για ανάκτησης κειμένου-κειμένου. Και οι δύο μεθόδους βάσης καπτίων χρησιμοποιούσαν το αρχικό προ-εκπαιδευμένο μοντέλο Qwen αντί της έκδοσης που βελτιστοποιήθηκε σε σχετικές λογικές. Αυτό επέτρεψε στους συγγραφείς να απομονώσουν την επίδραση της ομαδικής εκπαίδευσης,既然 το βελτιστοποιημένο μοντέλο είχε εκτεθεί σε σύνολα εικόνων, 而 όχι σε μεμονωμένα παραδείγματα.

Υπάρχοντα Μέτρα και Σχετική Ομοιότητα

Οι συγγραφείς αρχικά ελέγξαν εάν τα υπάρχοντα μέτρα θα μπορούσαν να καταγράψουν τη σχετική ομοιότητα:

Σύγκριση της απόδοσης ανάκτησης όπως κρίθηκε από το GPT-4o, δείχνοντας τον μέσο βαθμό σχετικής ομοιότητας για κάθε μέθοδο. Τα συμβατικά μέτρα ομοιότητας όπως LPIPS, DINO και CLIP-I είχαν χαμηλότερα σκορ, ακόμη και όταν ρυθμίστηκαν. Οι μεθόδους βάσης καπτίων Qwen-T και CLIP-T επίσης underperformed. Το υψηλότερο σκορ επιτεύχθηκε από το relsim (6.77, δεξιά στήλη), υποδεικνύοντας ότι η βελτιστοποίηση σε ομαδικές σχετικές μοτίβα βελτίωσε την ευθυγράμμιση με τις αξιολογήσεις του GPT-4o.

Σύγκριση της απόδοσης ανάκτησης όπως κρίθηκε από το GPT-4o, δείχνοντας τον μέσο βαθμό σχετικής ομοιότητας για κάθε μέθοδο. Τα συμβατικά μέτρα ομοιότητας όπως LPIPS, DINO και CLIP-I είχαν χαμηλότερα σκορ. Οι μεθόδους βάσης καπτίων Qwen-T και CLIP-T επίσης underperformed. Το υψηλότερο σκορ επιτεύχθηκε από το relsim (6.77, δεξιά στήλη), υποδεικνύοντας ότι η βελτιστοποίηση σε ομαδικές σχετικές μοτίβα βελτίωσε την ευθυγράμμιση με τις αξιολογήσεις του GPT-4o.

Σχετικά με αυτά τα αποτελέσματα, οι συγγραφείς αναφέρουν**:

‘[LPIPS], που επικεντρώνεται αποκλειστικά στην αισθητική ομοιότητα, επιτυγχάνει το χαμηλότερο σκορ (4.56). [DINO] εκτελείται ελαφρώς καλύτερα (5.14), πιθανότατα επειδή εκπαιδεύεται αποκλειστικά με αυτο-επιτήρηση σε δεδομένα εικόνας. [CLIP-I] αποδίδει τα ισχυρότερα αποτελέσματα μεταξύ των μεθόδων βάσης (5.91), πιθανότατα επειδή κάποια αφαίρεση είναι μερικές φορές παρόντα στις ετικέτες εικόνας.

‘Ωστόσο, CLIP-I εξακολουθεί να underperforms σχετικά με τη μέθοδό μας, καθώς η επίτευξη ενός καλύτερου σκορ μπορεί να απαιτήσει την ικανότητα να φτάσει ακόμη υψηλότερες αφηρημένες, όπως αυτές στις ανώνυμες καπτίων.’

Στη μελέτη χρηστών, οι άνθρωποι προτίμησαν συνεχώς τη μέθοδο relsim σε όλες τις μεθόδους βάσης:

Βαθμοί σχετικής ομοιότητας που εκχωρούνται από το GPT-4o για κάθε μέθοδο. Τα τυπικά μέτρα ομοιότητας όπως LPIPS, DINO και CLIP-I είχαν χαμηλότερα σκορ, και οι μεθόδους βάσης καπτίων Qwen-T και CLIP-T εκτέλεσαν ελαφρώς καλύτερα. Ακόμη και οι ρυθμισμένες εκδόσεις του DINO και CLIP δεν έκλεισαν το χάσμα. Το υψηλότερο σκορ, 6.77, επιτεύχθηκε από το μοντέλο relsim, που εκπαιδεύτηκε με ομαδική επιτήρηση.

Βαθμοί σχετικής ομοιότητας που εκχωρούνται από το GPT-4o για κάθε μέθοδο. Τα τυπικά μέτρα ομοιότητας όπως LPIPS, DINO και CLIP-I είχαν χαμηλότερα σκορ, και οι μεθόδους βάσης καπτίων Qwen-T και CLIP-T εκτέλεσαν ελαφρώς καλύτερα. Ακόμη και οι ρυθμισμένες εκδόσεις του DINO και CLIP δεν έκλεισαν το χάσμα. Το υψηλότερο σκορ, 6.77, επιτεύχθηκε από το μοντέλο relsim, που εκπαιδεύτηκε με ομαδική επιτήρηση.

Οι συγγραφείς σημειώνουν:

‘Αυτό είναι εξαιρετικά ενθαρρυντικό, καθώς δείχνει όχι μόνο ότι το μοντέλο μας, relsim, μπορεί να ανακτήσει επιτυχώς relationally παρόμοιες εικόνες, αλλά επίσης, και πάλι, επιβεβαιώνει ότι οι άνθρωποι πραγματικά αντιλαμβάνονται τη σχετική ομοιότητα–όχι μόνο την ομοιότητα ιδιοτήτων!’

Για να εξερευνήσουν πώς η σχετική και η ομοιότητα ιδιοτήτων μπορεί να συμπληρώσουν η μια την άλλη, οι ερευνητές χρησιμοποίησαν μια συνδυασμένη οπτικοποίηση: Μια seule εικόνα ερωτήματος (‘Ένα σκυλί που κρατάει μια κάμερα’) συγκρίθηκε με 3.000 τυχαίες εικόνες, και η ομοιότητα υπολογίστηκε χρησιμοποιώντας τόσο relationally όσο και attribute-βασισμένα μοντέλα:

Συνδυασμένη οπτικοποίηση του χώρου οπτικής ομοιότητας χρησιμοποιώντας relationally και attribute-άξονες. Μια seule εικόνα ερωτήματος, που απεικονίζει ένα σκυλί που χρησιμοποιεί μια κάμερα, συγκρίθηκε με 3.000 άλλες. Τα αποτελέσματα οργανώθηκαν από relationally ομοιότητα (κατακόρυφα) και attribute ομοιότητα (οριζόντια). Η περιοχή στο πάνω δεξιά μέρος περιέχει εικόνες που μοιάζουν με το ερώτημα και σε λογική και εμφάνιση, όπως άλλα σκυλιά που χρησιμοποιούν εργαλεία. Η περιοχή στο πάνω αριστερά μέρος περιέχει σημαντικά συναφείς αλλά οπτικά διαφορετικές περιπτώσεις, όπως διαφορετικά ζώα που εκτελούν δράσεις που σχετίζονται με κάμερα. Οι περισσότερες υπόλοιπες περιπτώσεις συσσωρεύονται χαμηλότερα στο χώρο, αντανακλώντας ασθενέστερη ομοιότητα. Η διάταξη δείχνει πώς τα relationally και attribute μοντέλα突出 διαφορετικά аспέκτα των οπτικών δεδομένων. Παρακαλώ ανατρέξτε στο αρχικό έγγραφο για καλύτερη ανάλυση.

Συνδυασμένη οπτικοποίηση του χώρου οπτικής ομοιότητας χρησιμοποιώντας relationally και attribute-άξονες. Μια seule εικόνα ερωτήματος, που απεικονίζει ένα σκυλί που χρησιμοποιεί μια κάμερα, συγκρίθηκε με 3.000 άλλες. Τα αποτελέσματα οργανώθηκαν από relationally ομοιότητα (κατακόρυφα) και attribute ομοιότητα (οριζόντια). Η περιοχή στο πάνω δεξιά μέρος περιέχει εικόνες που μοιάζουν με το ερώτημα και σε λογική και εμφάνιση, όπως άλλα σκυλιά που χρησιμοποιούν εργαλεία. Η περιοχή στο πάνω αριστερά μέρος περιέχει σημαντικά συναφείς αλλά οπτικά διαφορετικές περιπτώσεις, όπως διαφορετικά ζώα που εκτελούν δράσεις που σχετίζονται με κάμερα. Οι περισσότερες υπόλοιπες περιπτώσεις συσσωρεύονται χαμηλότερα στο χώρο, αντανακλώντας ασθενέστερη ομοιότητα. Η διάταξη δείχνει πώς τα relationally και attribute μοντέλα突出 διαφορετικά аспέκτα των οπτικών δεδομένων. Παρακαλώ ανατρέξτε στο αρχικό έγγραφο για καλύτερη ανάλυση.

Τα αποτελέσματα αποκάλυψαν κλάστες που αντιστοιχούν σε διαφορετικούς τύπους ομοιότητας: ορισμένες εικόνες ήταν και relationally και οπτικά παρόμοιες, όπως άλλα σκυλιά σε ανθρώπινες στάσεις: άλλες μοιράζονταν relationally λογική αλλά όχι εμφάνιση, όπως διαφορετικά ζώα που μιμούνται ανθρώπινες δράσεις: το υπόλοιπο δεν έδειξε καμία από τις δύο.

Αυτή η ανάλυση υποδηλώνει ότι οι δύο τύποι ομοιότητας εξυπηρετούν διαφορετικούς ρόλους και προσφέρουν πλουσιότερη δομή όταν συνδυάζονται.

Χρήσεις

Το έγγραφο εξερευνά επίσης ορισμένες πιθανές τελικές χρήσεις για τη σχετική ομοιότητα, συμπεριλαμβανομένης της relationally εικόνας ανάκτησης, η οποία επιτρέπει την αναζήτηση εικόνας που είναι πιο συνδεδεμένη με τον δικό μας δημιουργικό τρόπο να βλέπουμε τον κόσμο:

Η relationally ανάκτησης επιστρέφει εικόνες που μοιράζονται μια βαθύτερη концептуαλική δομή με το ερώτημα, αντί να ταιριάζουν επιφανειακά χαρακτηριστικά. Για παράδειγμα, ένα είδος τροφίμων που έχει στυλιζαριστεί για να μοιάζει με πρόσωπο ανακτά άλλα ανθρωπόμορφα γεύματα: ένα κομμένο αντικείμενο αποδίδει άλλα κομμένα σχήματα: και σκηνές αλληλεπίδρασης ενηλίκων-απόγονων επιστρέφουν εικόνες με παρόμοιους relationally ρόλους, ακόμη και όταν οι είδη και η σύνθεση διαφέρουν.

Η relationally ανάκτησης επιστρέφει εικόνες που μοιράζονται μια βαθύτερη концепτουαλική δομή με το ερώτημα, αντί να ταιριάζουν επιφανειακά χαρακτηριστικά. Για παράδειγμα, ένα είδος τροφίμων που έχει στυλιζαριστεί για να μοιάζει με πρόσωπο ανακτά άλλα ανθρωπόμορφα γεύματα: ένα κομμένο αντικείμενο αποδίδει άλλα κομμένα σχήματα: και σκηνές αλληλεπίδρασης ενηλίκων-απόγονων επιστρέφουν εικόνες με παρόμοιους relationally ρόλους, ακόμη και όταν οι είδη και η σύνθεση διαφέρουν.

Μια άλλη πιθανότητα είναι η αναλογική εικόνας γεννήτρια, η οποία θα επέτρεπε τη σύνθεση ερωτημάτων που χρησιμοποιούν relationally δομές αντί για άμεσες περιγραφές. Σε μια σύγκριση των αποτελεσμάτων που λήφθηκαν από την τρέχουσα γενιά state-of-the-art μοντέλων κειμένου-εικόνας, μπορούμε να δούμε ότι τα αποτελέσματα μιας τέτοιας προσέγγισης είναι πιθανό να είναι πιο ποικίλα:

Δεδομένου ενός εισαγωγικού ερωτήματος και μιας relationally προώθησης, τα μοντέλα ζητήθηκαν να γεννήσουν μια νέα εικόνα που εκφράζει την ίδια υποκείμενη концепτούαλική δομή. Ιδιόκτητα μοντέλα παρήγαγαν πιο πιστές αναλογίες, διατηρώντας λογική δομή σε μεγάλες αλλαγές μορφής, και ανοιχτά μοντέλα τάση να υποχωρήσουν σε κυριολεκτικές ή στυλιστικές αντιστοιχίες, αποτυγχάνοντας να μεταφέρουν την βαθύτερη ιδέα. Τα αποτελέσματα συγκρίθηκαν με ανθρώπινες-επιμελημένες αναλογίες, οι οποίες εξειδίκευαν τη προτεινόμενη μεταμόρφωση.

Δεδομένου ενός εισαγωγικού ερωτήματος και μιας relationally προώθησης, τα μοντέλα ζητήθηκαν να γεννήσουν μια νέα εικόνα που εκφράζει την ίδια υποκείμενη концепτούαλική δομή. Ιδιόκτητα μοντέλα παρήγαγαν πιο πιστές αναλογίες, διατηρώντας λογική δομή σε μεγάλες αλλαγές μορφής, ενώ ανοιχτά μοντέλα τάση να υποχωρήσουν σε κυριολεκτικές ή στυλιστικές αντιστοιχίες, αποτυγχάνοντας να μεταφέρουν την βαθύτερη ιδέα. Τα αποτελέσματα συγκρίθηκαν με ανθρώπινες-επιμελημένες αναλογίες, οι οποίες εξειδίκευαν τη προτεινόμενη μεταμόρφωση.

Συμπέρασμα

Τα γεννητικά συστήματα AI θα ήταν, φαίνεται, αξιοσημείωτα ενισχυμένα με την ικανότητα να ενσωματώσουν αφηρημένες αναπαραστάσεις στις концепτουαλικές τους ιδέες. Όπως είναι τώρα, η ζήτηση για concept-βασισμένες εικόνες όπως ‘θυμό’ ή ‘ευτυχία’ τείνει να επιστρέψει εικόνες που έχουν στυλιζαριστεί από τις πιο δημοφιλείς ή πυκνοκατοικημένες εικόνες που είχαν αυτές τις συσχετίσεις στο σύνολο δεδομένων: η οποία είναι απομνημόνευση αντί αφαίρεση.

Πιθανότατα αυτό το principio θα μπορούσε να είναι ακόμη πιο ωφέλιμο εάν θα μπορούσε να εφαρμοστεί στη γεννητική γραφή – ιδιαίτερα στην αναλυτική, εικασιακή ή μυθιστορηματική έξοδο.

Πατήστε για αναπαραγωγή. Πηγή

 

 

* Ένα A100 μπορεί να έχει 40Gb ή 80GB της VRAM: αυτό δεν καθορίζεται στο έγγραφο.

** Οι αναφορές των συγγραφέων είναι περιττές και εξαιρούνται.

Πρώτη δημοσίευση Τρίτη, 16 Δεκεμβρίου 2025

Συγγραφέας για μηχανική μάθηση, ειδικός σε σύνθεση εικόνων ανθρώπων. Πρώην επικεφαλής ερευνητικού περιεχομένου στη Metaphysic.ai, μέχρι τη διάλυση της στην DNEG's Brahma.ai.
Portfolio site: martinanderson.ai
Contact: [email protected]