Μειώνοντας τις Hallucinations Εικόνας του AI με την Εξαγωγή τους

Τα μοντέλα όρασης τύπου ChatGPT συχνά «οραματίζονται» στοιχεία που δεν ανήκουν σε μια εικόνα. Μια νέα μέθοδος μειώνει αυτά τα λάθη, δείχνοντας στο μοντέλο εξαγερμένες εκδοχές των δικών του οραματισμών, με βάση τις λεζάντες – και στη συνέχεια ζητώντας του να προσπαθήσει ξανά. Αυτή η προσέγγιση δεν απαιτεί επαναεκπαίδευση ή πρόσθετα δεδομένα και μπορεί να εφαρμοστεί σε eine ευρεία γκάμα μοντέλων και τύπων μοντέλων.

Μια νέα δημοσίευση από την Κίνα προσφέρει μια ενδιαφέρουσα άποψη για το ενοχλητικό και επίμονο πρόβλημα των οραματισμών σε εικόνες και βίντεο που δημιουργούνται από το AI – στοιχεία που σαφώς δεν πρέπει να υπάρχουν στην εικόνα, με βάση την αίτηση και την είσοδο του χρήστη.

Στην ουσία, το σύστημα λαμβάνει μια εικόνα και αφήνει το μοντέλο να την περιγράψει, όπως συνήθως· στη συνέχεια, μετατρέπει αυτήν την λεζάντα σε νέα εικόνα χρησιμοποιώντας ένα μοντέλο κειμένου-εικόνας – και οποιαδήποτε επιπλέον αντικείμενα ή λεπτομέρειες σε αυτήν την δεύτερη εικόνα θα είναι άμεσες αναπαραστάσεις των αρχικών οραματισμών του μοντέλου. Στη συνέχεια, συγκρίνοντας την αρχική και τη δημιουργημένη εικόνα, το σύστημα οδηγεί απαλά το μοντέλο μακριά από αυτά τα λάθη την επόμενη φορά που θα προσπαθήσει:

Εικονογράφηση του τρόπου με τον οποίο η νέα μέθοδος αναγνωρίζει και μειώνει τους οραματισμούς στις λεζάντες εικόνας. Το κανονικό μοντέλο περιγράφει πουλιά που δεν υπάρχουν στην αρχική εικόνα, οδηγώντας σε μια ανακατασκευασμένη εικόνα που τα προσθέτει. Αυτά τα λάθη σημειώνονται με κόκκινο. Αντίθετα, η προτεινόμενη μέθοδος αποφεύγει αυτές τις εφευρετικές λεπτομέρειες, διατηρώντας την λεζάντα συγκεκριμένη και ευφάνταστη. Πηγή: https://arxiv.org/pdf/2509.21997

Η μέθοδος αρχίζει με το να δείχνει στο μοντέλο πραγματικές εικόνες και να το αφήνει να τις περιγράψει, συμπεριλαμβανομένων ορισμένων περιγραφών που εμφανίζουν αντικείμενα ή λεπτομέρειες που δεν υπάρχουν πραγματικά. Αυτές οι λεζάντες οραματισμού χρησιμοποιούνται στη συνέχεια για να δημιουργηθούν συνθετικές εικόνες που κάνουν τα λάθη πιο εύκολα να ανιχνευθούν. Συγκρίνοντας την πραγματική και τη δημιουργημένη εικόνα, το σύστημα μαθαίνει ποια εσωτερικά μοτίβα στο μοντέλο tend να παράγουν εφευρεμένα περιεχόμενο.

… (το υπόλοιπο του κειμένου)

Το Πλεγμένο Ιστό

Στο παράδειγμα που εμφανίζεται παραπάνω, από το έγγραφο, μπορούμε να δούμε ότι η πλεξούδα είναι πιθανότατα υπεύθυνη για την εμβάθυνση των «πουλιών» στην είσοδο εικόνας, ακόμη και αν η πρώτη εικόνα φαίνεται να μην περιέχει πουλιά.

Η πλεξούδα συμβαίνει όταν ένα μοντέλο επιμένει να συνδέει ορισμένες έννοιες με άλλες έννοιες, απλώς και μόνο επειδή οι δύο (ή περισσότερες) έννοιες tend να εμφανίζονται συχνά μαζί στην αρχική κατανομή δεδομένων στην οποία εκπαιδεύτηκε το μοντέλο. Σε αυτήν την περίπτωση, το μοντέλο μπορεί να έχει δει πολλές εικόνες αεροπλάnu+πουλιά, προκαλώντας μια σύνδεση που δεν ισχύει για την συγκεκριμένη εικόνα, αλλά που ωστόσο εισβάλλει στην παραγώμενη λεζάντα.

… (το υπόλοιπο του κειμένου)

Μέθοδος

Οι συγγραφείς έχουν δημιουργήσει μια πλήρη διαδικασία, που εμφανίζεται παρακάτω, σχεδιασμένη για να εκθέσει και να καταστείλει τους οραματισμούς στις λεζάντες εικόνας:… (το υπόλοιπο του κειμένου)

Δεδομένα και Δοκιμές

Η επικύρωση της αποτελεσματικότητας της νέας μεθόδου περιελάμβανε τη χρήση τριών κατάλληλων βεντσών: Αξιολόγηση Οραματισμών Λεζάντας με Σχετικότητα Εικόνας (CHAIR); Αξιολόγηση MLLM βέντα (MME); και Αξιολόγηση Pooling-με-Βάση Αντικειμένου (POPE)…. (το υπόλοιπο του κειμένου)

Συμπέρασμα

Αν και αυτό το έγγραφο είναι σαφώς βιαστικό και υποφέρει από την έλλειψη δομής, εστίασης και σαφήνειας, η κεντρική μηχανισμός που παρουσιάζεται παραμένει εφευρετικός…. (το υπόλοιπο του κειμένου)

* Ασυμβίβαστα, το κύριο σώμα αυτού του εγγράφου παρουσιάζει αποτελέσματα με τίτλους που εξηγούνται μόνο στο παράρτημα και όχι στο κύριο έγγραφο – μια όλο και πιο συχνή κακή συνήθεια στη βιβλιογραφία, καθώς οι ερευνητές επιδιώκουν να περιορίσουν την κεντρική тезη σε 8-9 σελίδες, ακόμη και όταν το υλικό δεν το επιτρέπει. Σε κάθε περίπτωση, η βέντα CHAIR, που χρησιμοποιήθηκε για την αξιολόγηση του οραματισμού αντικειμένων στις λεζάντες, βασίστηκε σε ένα υποσύνολο 500 εικόνων MSCOCO από προηγούμενη εργασία. Δύο μορφές χρησιμοποιήθηκαν: CHAIR_s, που μετράει πόσο συχνά εμφανίζονται οραματισμοί σε μια δεδομένη λεζάντα; και CHAIR_I, που μετράει πόσα από τα αναφερόμενα αντικείμενα οραματίζονται. HAR@β , που εισήχθη στο κύριο έγγραφο, ορίστηκε ως μια F_β-στυλ συνδυασμός καταστολής οραματισμού και ανάκλησης αντικειμένου.

Πρώτη δημοσίευση Τρίτη, 30 Σεπτεμβρίου 2025