Χρησιμοποιώντας τις Hallucinations του AI για την Αξιολόγηση της Πραγματικότητας των Εικόνων

Νέα έρευνα από τη Ρωσία προτείνει một μη συμβατική μέθοδο για την ανίχνευση μη πραγματικών εικόνων που παράγονται από το AI – όχι βελτιώνοντας την ακρίβεια των μεγάλων μοντέλων όρασης-γλώσσας (LVLMs), αλλά χρησιμοποιώντας σκόπιμα την τάση τους να hallucinate.

Η καινοτόμος προσέγγιση εξάγει πολλαπλά ‘ατομικά γεγονότα’ σχετικά με μια εικόνα χρησιμοποιώντας LVLMs, και στη συνέχεια εφαρμόζει φυσική γλώσσα συλλογισμού (NLI) για να μετρήσει συστηματικά τις αντίθεσεις μεταξύ αυτών των δηλώσεων – αποτελεσματικά μετατρέποντας τα λάθη του μοντέλου σε ένα διαγνωστικό εργαλείο για την ανίχνευση εικόνων που αψηφούν την κοινή λογική.

Δύο εικόνες από το σύνολο δεδομένων WHOOPS! μαζί με αυτόματα παραγόμενα δηλώσεις από το μοντέλο LVLM. Η αριστερή εικόνα είναι πραγματική, οδηγώντας σε συνεπείς περιγραφές, ενώ η ασυνήθιστη δεξιά εικόνα προκαλεί το μοντέλο να hallucinate, παράγοντας αντίθετες ή ψευδείς δηλώσεις. Πηγή: https://arxiv.org/pdf/2503.15948

Ζητηθείσα να αξιολογήσει την πραγματικότητα της δεύτερης εικόνας, το LVLM μπορεί να δει ότι κάτι δεν πάει καλά,既然 η απεικονισμένη καμήλα έχει τρεις βουνά, που είναι άγνωστο στη φύση.

Ωστόσο, το LVLM αρχικά συγχέει >2 βουνά με >2 ζώα,既然 αυτό είναι ο μόνος τρόπος που θα μπορούσατε να δείτε τρεις βουνά σε μια ‘εικόνα καμήλας’. Στη συνέχεια, προχωρεί να hallucinate κάτι ακόμη απίθανο από τρεις βουνά (δηλ. ‘δύο κεφάλια’) και ποτέ δεν περιγράφει το πολύ που φαίνεται να έχει προκαλέσει τις υποψίες του – το απίθανο επιπλέον βουνό.

Οι ερευνητές του νέου έργου βρήκαν ότι τα μοντέλα LVLM μπορούν να εκτελέσουν αυτή τη種 evaluation φυσικά, και σε σύγκριση με (ή καλύτερα από) μοντέλα που έχουν ρυθμιστεί για μια εργασία αυτού του είδους.既然 η ρύθμιση είναι σύνθετη, ακριβή και rather εύθραυστη σε σχέση με την εφαρμογή, η ανακάλυψη μιας φυσικής χρήσης για ένα από τα μεγαλύτερα εμπόδια στην τρέχουσα επανάσταση του AI είναι μια αναζωογονητική στροφή στις γενικές τάσεις της βιβλιογραφίας.

Ανοιχτή Αξιολόγηση

Η σημασία της προσέγγισης, οι συγγραφείς ισχυρίζονται, είναι ότι μπορεί να αναπτυχθεί με ανοιχτά πλαίσια. ενώ ένα προηγμένο και υψηλής επένδυσης μοντέλο όπως το ChatGPT μπορεί (η εργασία παραδέχεται) να προσφέρει καλύτερα αποτελέσματα σε αυτή την εργασία, η αμφισβητούμενη πραγματική αξία της βιβλιογραφίας για την πλειοψηφία μας (και ειδικά για τις κοινότητες hobbyist και VFX) είναι η Möglichkeit να ενσωματώσει και να αναπτύξει νέες đột pháσεις σε τοπικές εφαρμογές· αντίθετα, όλα τα προορισμένα για ένα ιδιωτικό εμπορικό σύστημα API υπόκεινται σε ανάκληση, αυθαίρετες αύξησεις τιμών και πολιτικές λογοκρισίας που είναι πιο πιθανό να αντανακλούν τις εταιρικές ανησυχίες της εταιρείας παρά τις ανάγκες και τις ευθύνες του χρήστη.

Το νέο έγγραφο έχει τον τίτλο Μην Αγωνίζεστε με τις Hallucinations, Χρησιμοποιήστε Τες: Εκτιμώντας την Πραγματικότητα των Εικόνων χρησιμοποιώντας NLI πάνω από Ατομικά Γεωγονότα, και προέρχεται από πέντε ερευνητές από το Ινστιτούτο Επιστημών και Τεχνολογίας Skolkovo (Skoltech), το Ινστιτούτο Φυσικής και Τεχνολογίας της Μόσχας, και τις ρωσικές εταιρείες MTS AI και AIRI. Το έργο έχει μια συνδεδεμένη σελίδα GitHub.

Μέθοδος

Οι συγγραφείς χρησιμοποιούν το ισραηλινο-αμερικανικό Σύνολο Δεδομένων WHOOPS! για το έργο·

Παραδείγματα αδύνατων εικόνων από το Σύνολο Δεδομένων WHOOPS! Είναι αξιοσημείωτο πώς αυτές οι εικόνες συνθέτουν πιθανές στοιχεία, και ότι η απίθανότητά τους πρέπει να υπολογιστεί με βάση την συνένωση αυτών των ασυμβίβαστων στοιχείων. Πηγή: https://whoops-benchmark.github.io/

Το σύνολο δεδομένων αποτελείται από 500 συνθετικές εικόνες και πάνω από 10.874 αναφορές, ειδικά σχεδιασμένες για να δοκιμάσουν την κοινή λογική και τη σύνθετη κατανόηση των μοντέλων AI. Δημιουργήθηκε σε συνεργασία με σχεδιαστές που είχαν αναλάβει να δημιουργήσουν προκλητικές εικόνες μέσω συστημάτων κειμένου-εικόνας όπως Midjourney και η σειρά DALL-E – παράγοντας σενάρια που είναι δύσκολο ή αδύνατο να συλληφθούν φυσικά·

Παραδείγματα από το Σύνολο Δεδομένων WHOOPS! Πηγή: https://huggingface.co/datasets/nlphuji/whoops

Η νέα προσέγγιση λειτουργεί σε τρεις στάδια· πρώτα, το LVLM (συγκεκριμένα LLaVA-v1.6-mistral-7b) προτροπείται να παράγει πολλαπλά απλά δηλώσεις – που ονομάζονται ‘ατομικά γεγονότα’ – που περιγράφουν μια εικόνα. Αυτές οι δηλώσεις παράγονται χρησιμοποιώντας Diverse Beam Search, εξασφαλίζοντας τη μεταβλητότητα των εξόδων.

Diverse Beam Search παράγει μια καλύτερη ποικιλία επιλογών legend με την оптимποίηση ενός diversity-augmented αντικειμενικού. Πηγή: https://arxiv.org/pdf/1610.02424

Στη συνέχεια, κάθε παραγόμενο δήλωση συγκρίνεται συστηματικά με κάθε άλλη δήλωση χρησιμοποιώντας ένα μοντέλο Φυσικής Γλώσσας Συλλογισμού, το οποίο αναθέτει βαθμολογίες που αντανακλούν εάν ζευγάρια δηλώσεων συνεπάγονται, αντιφάσκουν ή είναι ουδέτερα μεταξύ τους.

Οι αντίθεσεις δείχνουν hallucinations ή μη πραγματικά στοιχεία μέσα στην εικόνα·

Σχήμα για το πλήγμα ανίχνευσης.

Τέλος, η μέθοδος συγχωνεύει αυτές τις βαθμολογίες NLI σε ένα μόνο ‘βαθμό πραγματικότητας’ που ποσοτικοποιεί την συνολική συνεκτικότητα των παραγόμενων δηλώσεων.

Οι ερευνητές εξέτασαν διαφορετικές μεθόδους συγχώνευσης, με μια προσέγγιση που βασίζεται στο clustering να εκτελείται καλύτερα. Οι συγγραφείς εφαρμόζουν τον αλγόριθμο k-means clustering για να χωρίσουν τους ατομικούς βαθμολογίες NLI σε δύο clusters, και το κέντρο του cluster με τις χαμηλότερες τιμές επιλέχθηκε ως το τελικό μέτρο.

Χρησιμοποιώντας δύο clusters που ευθυγραμμίζονται με τη δυαδική φύση της εργασίας ταξινόμησης, δηλ. διακρίνοντας πραγματικές από μη πραγματικές εικόνες. Η λογική είναι παρόμοια με το να επιλέξεις απλά την χαμηλότερη βαθμολογία συνολικά· ωστόσο, το clustering επιτρέπει στο μέτρο να αντιπροσωπεύει τον μέσο ανταγωνισμό μεταξύ πολλαπλών γεγονότων, αντί να βασίζεται σε μια seule εξαίρεση.

Δεδομένα και Δοκιμές

Οι ερευνητές δοκιμάζουν το σύστημά τους στο σύνολο δεδομένων WHOOPS!, χρησιμοποιώντας περιστρεφόμενα τεστ διαμερισμάτων (δηλ. cross-validation). Τα μοντέλα που δοκιμάστηκαν ήταν BLIP2 FlanT5-XL και BLIP2 FlanT5-XXL σε διαμερισμάτων, και BLIP2 FlanT5-XXL σε μορφή zero-shot (δηλ. χωρίς πρόσθετη εκπαίδευση).

Για μια γραμμή-ακολουθία-βασισμένη γραμμή, οι συγγραφείς προέτρεψαν τα LVLMs με την φράση ‘Είναι αυτό ασυνήθιστο; Παρακαλώ εξηγήστε σύντομα με μια σύντομη πρόταση’, η οποία πρώτη έρευνα βρήκε αποτελεσματική για την ανίχνευση μη πραγματικών εικόνων.

Τα μοντέλα που αξιολογήθηκαν ήταν LLaVA 1.6 Mistral 7B, LLaVA 1.6 Vicuna 13B, και δύο μεγέθη (7/13 δισεκατομμύρια παραμέτρους) του InstructBLIP.

Η διαδικασία δοκιμής ήταν κεντρισμένη σε 102 ζευγάρια πραγματικών και μη πραγματικών (‘παράξενων’) εικόνων. Κάθε ζευγάρι αποτελούνταν από μια κανονική εικόνα και μια αντίθετη εικόνα που παραβιάζει την κοινή λογική.

Τρεις ανθρώπινοι αναλυτές ετικέτουν τις εικόνες, φθάνοντας σε μια συναίνεση του 92%, που δείχνει ισχυρή ανθρώπινη συμφωνία σχετικά με το τι συνιστά ‘παράξενη’. Η ακρίβεια των μεθόδων αξιολόγησης μετρήθηκε από την ικανότητά τους να διακρίνουν σωστά μεταξύ πραγματικών και μη πραγματικών εικόνων.

Το σύστημα αξιολογήθηκε χρησιμοποιώντας τριπλή cross-validation, τυχαία ανακατεύοντας δεδομένα με ένα σταθερό σπόρο. Οι συγγραφείς điều chỉnhεσαν τα βάρη για τις βαθμολογίες entailment (δηλώσεις που λογικά συμφωνούν) και contradiction (δηλώσεις που λογικά ανταγωνίζονται) κατά την εκπαίδευση, ενώ οι ‘ουδέτερες’ βαθμολογίες ήταν σταθερές στο μηδέν. Η τελική ακρίβεια υπολογίστηκε ως ο μέσος όρος σε όλα τα διαμερισμάτα δοκιμών.

Σύγκριση διαφορετικών μοντέλων NLI και μεθόδων συγχώνευσης σε ένα υποσύνολο πέντε παραγόμενων γεγονότων, μετρημένα από την ακρίβεια.

Σχετικά με τα αρχικά αποτελέσματα που εμφανίζονται παραπάνω, το έγγραφο αναφέρει·

‘Η μέθοδος [‘clust’] ξεχωρίζει ως μια από τις καλύτερες επιδόσεις. Αυτό υποδηλώνει ότι η συγχώνευση όλων των βαθμολογιών ανταγωνισμού είναι κρίσιμη, αντί να επικεντρωθεί μόνο σε ακραίες τιμές. Επιπλέον, το μεγαλύτερο μοντέλο NLI (nli-deberta-v3-large) υπερέχει όλων των άλλων για όλες τις μεθόδους συγχώνευσης, υποδεικνύοντας ότι καταλαβαίνει καλύτερα την ουσία του προβλήματος.’

Οι συγγραφείς βρήκαν ότι τα βέλτιστα βάρη ευνοούσαν συνεχώς την αντίθεση έναντι της entailment, υποδεικνύοντας ότι οι αντίθεσεις ήταν πιο ενημερωτικές για την διάκριση μη πραγματικών εικόνων. Η μέθοδός τους υπερέβαλε όλες τις άλλες μεθόδους zero-shot που δοκιμάστηκαν, πλησιάζοντας στενά την απόδοση του μοντέλου BLIP2 που είχε ρυθμιστεί·

Επίδραση διαφορετικών προσεγγίσεων στο σύνολο δεδομένων WHOOPS! Οι μεθόδους που έχουν ρυθμιστεί (ft) εμφανίζονται στην κορυφή, ενώ οι μεθόδους zero-shot (zs) εμφανίζονται κάτω. Το μέγεθος του μοντέλου υποδηλώνει τον αριθμό παραμέτρων, και η ακρίβεια χρησιμοποιείται ως μετρική αξιολόγησης.

Επίσης, σημείωσαν, κάπως απροσδόκητα, ότι το InstructBLIP εκτελέστηκε καλύτερα από τα αντίστοιχα μοντέλα LLaVA με την ίδια προτροπή. Ενώ αναγνώριζαν την υπεροχή του GPT-4o, το έγγραφο τονίζει την προτίμηση των συγγραφέων για την επίδειξη πρακτικών, ανοιχτών λύσεων, και, φαίνεται, μπορεί να ισχυριστεί καινοτομία στο να εκμεταλλεύεται σκόπιμα τις hallucinations ως διαγνωστικό εργαλείο.

Συμπέρασμα

Ωστόσο, οι συγγραφείς αναγνωρίζουν το χρέος του έργου τους στην έξοδο του 2024 FaithScore, μια συνεργασία μεταξύ του Πανεπιστημίου του Τέξας στο Ντάλας και του Πανεπιστημίου Τζονς Χόπκινς.

Εικονογράφηση του πώς λειτουργεί η αξιολόγηση FaithScore. Πρώτα, οι περιγραφικές δηλώσεις μέσα σε μια απάντηση που παράγεται από το LVLM αναγνωρίζονται. Στη συνέχεια, αυτές οι δηλώσεις διασπώνται σε ατομικά γεγονότα. Τέλος, τα ατομικά γεγονότα συγκρίνονται με την είσοδο εικόνας για να επιβεβαιωθεί η ακρίβειά τους. Πηγή: https://arxiv.org/pdf/2311.01477

Το FaithScore μετρά την πίστη των περιγραφών που παράγονται από το LVLM, επιβεβαιώνοντας τη συνέπεια ενάντια στο περιεχόμενο εικόνας, ενώ η νέα εργασία χρησιμοποιεί σκόπιμα τις hallucinations του LVLM για την ανίχνευση μη πραγματικών εικόνων μέσω αντίθεων σε παραγόμενες δηλώσεις χρησιμοποιώντας NLI.

Το νέο έργο είναι, φυσικά, εξαρτώμενο από τις ιδιομορφίες των τρεχουσών μοντέλων γλώσσας, και από την τάση τους να hallucinate. Εάν η ανάπτυξη μοντέλων θα οδηγήσει ποτέ σε ένα εντελώς μη hallucinating μοντέλο, ακόμη και οι γενικές αρχές του νέου έργου δεν θα είναι πλέον εφαρμόσιμες. Ωστόσο, αυτό παραμένει μια πρόκληση.

Πρώτη δημοσίευση την Τρίτη, 25 Μαρτίου 2025